本地hadoop环境搭建（环境：windows10）

77 阅读 0 评论 51 点赞

我是靠谱客的博主清爽月光，最近开发中收集的这篇文章主要介绍本地hadoop环境搭建（环境：windows10），觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

一、准备工作：
1、下载VMware、centos7

二、创建虚拟机
   步骤一：点击新建虚拟机--选择自定义模式--下一步
   步骤二：选择兼容性，默认即可。
   步骤三：此处选择光驱。
   步骤四：选择系统类型，根据镜像来进行选择即可。（前面下载得centos7）
   步骤五：命名虚拟机。（可自定义）
   步骤六：选择处理器线程数，这个地方要注意，是根据主机CPU而定。处理器数量和内核数量可自定义。
   步骤七：内存大小选择，不得超过主机自身内存即可。
   步骤八：选择网络类型。
   步骤九：看见推荐——直接下一步
   步骤十：定义磁盘容量大小。
三、设置网络和镜像位置
   步骤一：选择创建好的虚拟机，右键--设置
   步骤二：选择CD/DVD(IDE) ，点击浏览，选择准备好的镜像iso文件
   步骤三：选择添加，找到网络适配器，完成
   步骤四：选择网络适配器。
   根据以上教程配置的虚拟机，开机后就可以进行一步一步的镜像安装。

四、虚拟机配置mac地址和IP地址以及主机名设置、添加公钥和私钥、时间同步问题
   步骤一：vmware中记录下每个虚拟机得mac地址（重点1），进入每个虚拟机中如下操作：
               vi /etc/sysconfig/network-scripts/ifcfg-ens33
               修改以下几个参数：
               BOOTPROTO=dhcp  #自动获取ip，网上很多设置为static的静态ip，实际上在操作中并未成功
               HWADDR=00:0C:  :  :    （填写“重点1”内容）#添加MAC地址   之前尝试过很多方法都没有成功，添加了这个之后就OK了
               ONBOOT:yes  #默认是no  设置为yes后重启就好了
               /* (此点为设置静态IP地址方法，mac地址还是为“重点1”得内容)
                   一、进入网络配置文件目录
                   首先，确保在root用户下进行操作。进入网络配置文件network-scripts目录下。
                   [root@localhost /]# cd /etc/sysconfig/network-scripts/
                   二、找到我们需要修改的配置文件
                   使用ls命令，列出该目录下的文件。其中“ifcfg-ens33”的文件，为我们需要修改的网络配置文件。
                   三、修改配置文件
                   使用vim命令（vi命令也可以）,对文件进行配置，
                   我们需要修改BOOTPROTO="static"也就是将dhcp改为static，
                   修改ONBOOT="yes" 意思是将网卡设置为开机启用，
                   同时在文字下方添加
                   IPADDR=192.168.0.230 #静态IP
                   GATEWAY=192.168.0.1 #默认网关
                   NETMASK=255.255.255.0 #子网掩码
                   DNS1=192.168.0.1 #DNS 配置
                   DNS2=8.8.8.8 #谷歌地址
                   ESC :+WQ，保存退出！

                   四、重启网络服务
                   使用service network restart命令，重启网络服务。
                   五、查看我们改动后的效果
                   因为现在是Centos7所以我们使用新的命令，我们输入ip addr进行查看。
               */
   步骤二：设置每台主机命和配置
       1、/etc/hostname 删除全部，输入主机名即可（例如：node1）
       2、/etc/hosts      这里添加当前集群内得全部虚拟机得全部IP地址（例如：
                                       192.168.72.110 node1 node1.hadoop.com
                                       192.168.72.120 node2 node2.hadoop.com
                                       192.168.72.130 node3 node3.hadoop.com）

   步骤三：ssh免密登录
       在三台虚拟机上创建 mkdir ~/.ssh
       在.ssh下ssh-keygen -t rsa
       生成两个文件，一个私钥，一个公钥
       cp id_rsa.pub authorized_keys
       scp /root/.ssh/authorized_keys node1:/root/.ssh
       scp /root/.ssh/authorized_keys node2:/root/.ssh
       chmod 644 authorized_keys 每台机器都需要更改权限
       重启sshd后master就可免密登录master  node1 node2

   步骤四：所以机子得时间必须要保持一致性(采用联网一直)
       1、yum install -y ntp /*安装插件ntp*/
       2、crontab -e            /*定时任务*/
       3、设置定时：*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com

五、每台安装jdk
   1、查看是否存在openjdk，如果存在进行删除。
           （查询命令：rpm -qa | grep java
           删除命令：rpm -e 需要删除得包名）
   2、创建目录：
       mkdir -p /export/softwares   #软件包目录   下载jdk安装包放入该目录中(yum -y install lrzsz)
       mkdir -p /export/servers   #安装目录   解压JDK到当前目录       (tar -xvf jdk-8u251-linux-x64.tar.gz -C ../servers/)
   3、配置JDK环境
       vi /etc/profile
       export JAVA_HOME=/export/servers/jdk1.8.0_251
       export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
       export PATH=$PATH:${JAVA_HOME}/bin
       (生效配置：source /etc/profile)

六、选择其中一台进行mysql安装和配置
   1．查看是否有安装过mysql:       rpm -qa | grep -i mysql
   2．删除mysql   :               yum -y remove MySQL-*
   3．把所有出现的目录统统删除   find / -name mysql
   4．删除配置文件               rm -rf /etc/my.cnf
   5．删除mysql的默认密码       rm -rf /root/.mysql_sercret
   1．配置Mysql 8.0安装源       sudo rpm -Uvh https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm
   2．安装Mysql 8.0               sudo yum --enablerepo=mysql80-community install mysql-community-server
   4．启动mysql服务               sudo service mysqld start
   5．查看mysql服务运行状态       service mysqld status
   6．查看root临时密码           grep "A temporary password" /var/log/mysqld.log
   7．更改临时密码
           输入：mysql -uroot -p
           在Enter password：后面输入临时密码
           登录成功
           输入：ALTER USER 'root'@'localhost' IDENTIFIED BY 'Loveshan99..';
           会提示：ERROR 1819 (HY000): Your password does not satisfy the current policy requirements(密码不符合当前策略)
           方案1: 设置符合策略的密码(大小写字母+数据+符号)
           方案2:密码策略改简单一点
       方案2设置方式：
           先看看当前的密码验证策略输入：SHOW VARIABLES LIKE 'validate_password.%';
           策略说明
           validate_password.length 是密码的最小长度，默认是8，我们把它改成6
           输入：set global validate_password.length=6;
           validate_password.policy 验证密码的复杂程度，我们把它改成0
           输入：set global validate_password.policy=0;
           validate_password.check_user_name 用户名检查，用户名和密码不能相同，我们也把它关掉
           输入：set global validate_password.check_user_name=off;
           再执行修改密码的命令
           输入：ALTER USER ‘root’@‘localhost’ IDENTIFIED BY ‘12345’;
           密码设成功
   7．配置远程访问
       输入：GRANT ALL ON *.* TO 'root'@'%';
       看下默认MySQL用户：
       输入：use mysql;
       输入：select host, user, authentication_string, plugin from user;
       输入：CREATE USER ‘root’@’%’ IDENTIFIED BY ‘KC$abc123’;
       输入：select host, user, authentication_string, plugin from user;
       输入：GRANT ALL ON *.* TO 'root'@'%';
   8．客户端连接mysql报错
       原因是mysql8的加密方式规则不一样，是caching_sha2_password
       需要加密方式改成mysql_native_password就行了
       语法:ALTER USER ‘[用户名]’@’%’ IDENTIFIED WITH mysql_native_password BY ‘[密码]’;
       输入：ALTER USER ‘root’@’%’ IDENTIFIED WITH mysql_native_password BY ‘root’;
       加密方式以及改成了mysql_native_password
   9．客户端连接mysql还报错
       查看防火墙状态，关闭状态
       阿里云需要开放3306端口

七、搭建zookeeper集群
   1、下载zookeeper安装包。
   2、安装配置zookeeper，（解压zookeeper到/export/servers/）
   3、配置环境变量：(vi /etc/profile)
       export ZOOKEEPER_HOME=/export/servers/zookeeper
       export PATH=${ZOOKEEPER_HOME}/bin:$PATH
   4、创建文件夹：mkdir /export/servers/zookeeper/zkdatas
   5、创建文件：mkdir /export/servers/zookeeper/zkdatas/myid (添加序号)
   6、修复：（vi conf/zoo.cfg）
       tickTime=2000
       initLimit=10
       syncLimit=5
       dataDir=/export/servers/zookeeper-3.4.9/zkdatas
       clientPort=2181
       autopurge.snapRetainCount=3
       autopurge.purgeInterval=1
       server.1=node1:2888:3888
       server.2=node2:2888:3888
       server.3=node3:2888:3888