大数据基础1

1、Linux下命令行中的复制和粘贴

安装gpm：yum install -y gpm*

开启gpm服务：systemctl start gpm

2、打开网卡

vi /etc/sysconfig/network-scripts/ifcfg-ens33

3、修改为静态IP

BOOTPROTO=”dhcp” 这个是动态IP
BOOTPROTO=”static”这个是静态IP
BOOTPROTO=”none”这个是无

4、IP地址

IPADDR=192.168.116.121

5、网关

GATEWAY=192.168.116.2

6、子网掩码

NETMASK=255.255.255.0

7、DNS服务器1、2

DNS1=8.8.8.8
DNS2=8.8.4.4

8、vi /etc/resolve.conf

nameserver 8.8.8.8
nameserver 8.8.4.4

9、重启网卡

service network restart

10、 如何测试可以ping通

ping 192.168.116.2
ping www.baidu.com

11、解压JDK命令

tar -zxvf jdk-8u192-linux-x64.tar.gz -C /opt/module/

12、系统JDK环境变量的位置

vi /etc/profile

13、写入

 
 

  
  export JAVA_HOME=/opt/module/jdk1.8.0_192

 
 
 
 

  
  export PATH=
  
  $JAVA_HOME/bin:
  
  $PATH

 
 

14、环境变量生效

source /etc/profile

15、检验JDK是否生效

输入javac，回车

16、解压Hadoop

使用windscp上传
tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module/

17、解压Hadoop

使用windscp上传
tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module/

18、创建日志logs和临时目录tmp

mkdir logs tmp

[root@localhost hadoop-2.7.3]#cd etc/hadoop/

19、vi hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_192

20、vi core-site.xml

 
 

  
  <!-- 指定HDFS中NameNode的地址 -->

 
 
 
 

  
  <property>

 
 
 
 
    
  
  <name>fs.defaultFS
  
  </name>

 
 
 
 
    
  
  <value>hdfs://hsiehchou121:9000
  
  </value>

 
 
 
 

  
  </property>

 
 
 
 

  
  

 
 
 
 

  
  <!-- 指定hadoop运行时产生文件的存储目录 -->

 
 
 
 

  
  <property>

 
 
 
 
    
  
  <name>hadoop.tmp.dir
  
  </name>

 
 
 
 
    
  
  <value>/opt/module/hadoop-2.7.3/tmp
  
  </value>

 
 
 
 

  
  </property>

 
 

21、vi hdfs-site.xml

 
 

  
  <!-- 指定HDFS副本的数量 -->

 
 
 
 

  
  <property>

 
 
 
 
    
  
  <name>dfs.replication
  
  </name>

 
 
 
 
    
  
  <value>1
  
  </value>

 
 
 
 

  
  </property>

 
 

22、修改主机名

hostnamectl set-hostname 主机名
如：hostnamectl set-hostname hsiehchou121

23、检查主机名

hostname

24、格式化 hdfs

[root@localhost hadoop-2.7.3]#bin/hdfs namenode -format

25、启动 hdfs

[root@localhost hadoop-2.7.3]#sbin/start-dfs.sh

26、关闭 hdfs

[root@localhost hadoop-2.7.3]#sbin/stop-dfs.sh

27、查看进程

jps

 
 

  
  [root@localhost hadoop
  
  -2.7
  
  .3]# jps

 
 
 
 

  
  39668 DataNode

 
 
 
 

  
  39547 NameNode

 
 
 
 

  
  39932 Jps

 
 
 
 

  
  39823 SecondaryNameNode

 
 

28、页面

IP地址:50070
如:192.168.116.121:50070
显示页面就对了

29、临时关闭防火墙

systemctl stop firewalld.service

30、永久禁用防火墙

systemctl disable firewalld.service

31、查看防火墙状态

systemctl status firewalld.service

32、SSH无密码登录

[root@localhost hadoop-2.7.3]$ ssh-keygen -t rsa
然后敲（三个回车）

 
 

  
  [root
  
  @localhost hadoop
  
  -2.7
  
  .3]
  
  # ssh-copy-id hsiehchou121

 
 
 
 

  
  [root
  
  @localhost hadoop
  
  -2.7
  
  .3]
  
  # ssh hsiehchou121

 
 
 
 

  
  [root
  
  @hsiehchou121 ~]
  
  # 

 
 
 
 

  
  [root
  
  @hsiehchou121 ~]
  
  # exit

 
 
 
 

  
  logout

 
 

33、关闭selinux防火墙

vi /etc/selinux/config

 
 

  
  SELINUX=enforcing 改成

 
 
 
 

  
  SELINUX=disabled

 
 

最后

以上就是靓丽山水为你收集整理的大数据基础1的全部内容，希望文章能够帮你解决大数据基础1所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。