概述
本文用来记录自己学习hadoop生态而作，并给大家提供参考，如有问题，请见谅。
一：安装准备
1，VMware + CentOS-7-x86_64-Everything-1511.iso（下载地址：
http://mirrors.cn99.com/centos/7/isos/x86_64/CentOS-7-x86_64-Everything-1511.iso ）
2，hadoop-3.0.0-alpha1.tar.gz（下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.0-alpha1/）
3，jdk8
二：安装部署
1，安装VMware（过程忽略），创建linux虚拟机，配置虚拟机网络（可以百度一下，网上有很多详细的资料过程，后续自己也会总结一下配置过程）
关闭防火墙，root用户执行： systemctl stop firewalld.service
失效防火墙，root用户执行： systemctl disable firewalld.service
2，linux为hadoop创建用户执行命令 useradd hadoop
修改hadoop密码： passwd 123456789
3，切换root用户为创建的hadoop用户，创建hadoop相关软件的安装目录
注：在需要root用户权限修改系统文件或参数的时候，最好使用sudo
为hadoop用户增加sudo权限，切换到root用户，修改 vi /etc/sudoers.d
4，修改主机名，sudo vi /etc/hostname
我将主机名修改为 xingxp-hadoop-133 ，之后在配置hadoop配置文件的时候需要。
增加主机名映射 : sudo vi /etc/hosts
5，配置java环境变量
解压 jdk ： tar -zxvf jdk-8u91-linux-x64.gz -C app/
修改环境变量：sudo vi /etc/profile
在末尾增加内容：
执行 source /etc/profile 是文件生效。
6，安装配置hadoop
解压hadoop-3.0.0-alpha1.tar.gz，执行： tar -zxvf /tmp/hadoop-3.0.0-alpha1.tar.gz -C /home/hadoop/app/
配置hadoop环境变量：sudo vi /etc/profile
文件末尾增加内容
修改相关hadoop目录/home/hadoop/app/hadoop-3.0.0/etc/hadoop下相关hadoop配置文件（标记为必须修改文件）：
1）hadoop-env.sh hadoop环境变量文件
增加java环境变量，防止不能直接读取系统环境变量
2）core-site.xml hadoop核心配置文件，修改如下：
在hadoop安装目录下创建目录： tmp-data ，用与存放namenode，datanode数据，执行：mkdir /home/hadoop/app/hadoop-3.0.0/tmp-data
3）hdfs-site.xml 文件系统配置文件，修改如下：
4）yarn-site.xml 资源调度配置文件，修改如下：
5）mapred-site.xml mapreduce配置，修改如下：
7，配置ssh免登陆，否则在启动hadoop的时候报错
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
8，初始化hadoop
执行：hadoop namenode -format 进行初始化
9，启动dfs
执行：start-dfs.sh 启动dfs
查看dfs启动情况 ，执行 ：jps
如果是集群，多个datanode的话，需要修改配置文件workers，来指定有哪些datanode
这里我就配置了一个，如果有多个，可以一次添加（注：使用机器名，之后在hosts文件中做映射）
10，启动yarn
执行：start-yarn.sh ,启动yarn
三：测试hdfs
1，通过web服务查看（jetty）
默认地址为： http://xingxp-hadoop-133:9870/
2，上传文件，执行：hdfs fs -get hdfs://xingxp-hadoop-133:9000/jdk-8u91-linux-x64.gz，web页面可以查看到，也可以通过web页面下载。
3，下载文件，执行：hadoop fs -get hdfs://xingxp-hadoop-133:9000/jdk-8u91-linux-x64.gz
最后
以上就是纯真砖头为你收集整理的Centos7 + Hadoop 3.0 伪分布式环境安装部署的全部内容，希望文章能够帮你解决Centos7 + Hadoop 3.0 伪分布式环境安装部署所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复