案例分析

前言

通过本案例，你可以：

1. 熟悉在 Linux 系统中安装 Hadoop 集群、安装 Mysql 数据库，安装 Sqoop 数据迁移工具，安装 Spark ，安装 Hive 数据仓库。
2. 在 HDFS 分布式文件系统中创建文件夹、上传文件。
3. 在 Hive 中建立表，使用 Hive 对 HDFS 中的文件进行操作，使用 HQL 进行业务查询。
4. 使用 Sqoop 将 Hive 中的数据迁移到 Mysql 中。
5. 了解 Spark 的 MLlib自带的工具，使用 Spark-Shell 编程。使用 Spark 读取 csv 文件，并分析数据。
6. Web 项目整合 ECharts，可视化展示数据分析结果。

数据分析流程

环境准备

软件要求

硬件要求

本案例可以在单机上完成（即伪分布式环境），也可以在集群环境下完成。**由于硬件限制，我的所有操作均在伪分布式环境下完成。**单机的要求， 8 G 以上内存，500 G 磁盘存储。

环境搭建

1. 安装 Linux 系统。（参考本人博客：VMware 安装 Linux 系统（CentOS 7 图文教程））
2. Linux 安装 JDK。（参考本人博客：Linux 安装 JDK(图文教程)）
3. Hadoop 伪分布式搭建。（参考本人博客：Hadoop 集群搭建详细步骤）另：本次使用的是仅主机模式，主机名为centos2020（使用命令：hostnamectl set-hostname centos2020）。
4. MySQL 安装。（参考本人博客：Linux 安装 MySQL）
5. Linux 安装 Hive 。（参考本人博客：Linux 安装 Hive）
6. Linux 安装 Sqoop。（参考本人博客：Linux 安装 Sqoop）
7. Linux 安装 Spark（单机版，参考本人博客：Linux 安装 Spark）
8. echarts 下载

最后

以上就是朴素音响最近收集整理的关于淘宝双11大数据分析（环境篇）案例分析的全部内容，更多相关淘宝双11大数据分析（环境篇）案例分析内容请搜索靠谱客的其他文章。