我是靠谱客的博主 危机超短裙,最近开发中收集的这篇文章主要介绍在 ubuntu 上安装hadoop1、第一步,安装Ubuntu 第二步,进去之后窗口是非常小的,我们来弄一下全屏第三部:创建hadoop账户第4步,安装java jdk第5步,安装hadoop3.1.3第六步,hadoop单机配置,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

 

 

1、第一步,安装Ubuntu 

随便找个教程安装就可以了

第二步,进去之后窗口是非常小的,我们来弄一下全屏

点击虚拟机----安装VMware-tools   

安装成功之后会在桌面显示VMware-tools文件

先吧这个压缩包复制一下,粘贴到其他位置,我是粘贴到这里

提取到此处就可以看见这两个,进去文件夹

 

进去文件之后,右键打开终端

输入命令 sudo ./vmware-install.pl                    之后哪里打y,其他回车就行,之后就全屏了。

第三部:创建hadoop账户

sudo passwd hadoop

添加管理员权限 

sudo adduser hadoop sudo

 

关闭终端,之后重新开启一下。 开启快捷键ctr+alt+t

切换到Hadoop用户。

su hadoop

执行更新命令

sudo apt-get update

 

再下载一下vim

sudo apt-get install vim

 

安装SSH、配置SSH无密码登陆

sudo apt-get install openssh-server

ssh localhost

这里打个yes,r然后输入一下密码

执行下面的

exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

现在输入 ,即可以免密登录了

ssh localhost

 

不要结束先。先创建个文件夹来保存一下等下要用的jdk

cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件

 

 

 

 

 

第4步,安装java jdk

下载有点慢,我们来自动选择最近服务器,下载会快一点

点开网址,https://www.oracle.com/java/technologies/javase-jdk8-downloads.html

下载对于版本的Ubuntu之后,打开所在文件夹

在文件夹里面,右键打开终端。吧文件解压到刚刚创建的jvm中

sudo tar -zxvf ./jdk-8u241-linux-x64.tar.gz -C /usr/lib/jvm  #把JDK文件解压到/usr/lib/jvm目录下

解压完看一下安装成功了不,这里是成功,解压到下面了。

cd /usr/lib/jvm
ls

接下来我们来配置一下环境变量

 

cd ~
gedit ~/.bashr

 然后吧下面的粘贴到文件头部

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_241
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

点击保存即可

source ~/.bashrc #执行命令让配置马上生效
java -version  #查看jdk是否配置成功

 

 

 

 

第5步,安装hadoop3.1.3

下载官网

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

我这里是点击http 下的 第一个gz文件下载

下载成功之后打开所在文件夹,在文件夹那边右键打开打开终端

sudo tar -zxf hadoop-3.1.3.tar.gz -C /usr/local 

修改一下用户名和文件权限

cd /usr/local/
sudo mv ./hadoop-3.1.3/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       # 修改文件权限
sudo chmod -R 777 /usr/local/hadoop/logs

查看一下hadoop 是否可用

cd /usr/local/hadoop
./bin/hadoop version

没问题


 

第六步,hadoop单机配置

 

创建input 文件夹

cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep ./input ./output 'dfs[a-z.]+'

 

 

第七步,hadoop 伪分布式

 

cd /usr/local/hadoop/etc/hadoop/ 

 

sudo gedit core-site.xml

打开之后吧原来这个替换了

原来是这样的

<configuration>
</configuration>

 替换之后是这样的

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

 

接下来还有一个文件配置一下

sudo gedit hdfs-site.xml

 

 

接下来,先配置一下

cd /usr/local/hadoop/etc/hadoop/
sudo gedit hadoop-env.sh

 找到里面第二个JAVA_HOME ,r然后吧这个替换上去 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_241

 

 NameNode 的格式化:

 

cd /usr/local/hadoop
sudo ./bin/hdfs namenode -format

关闭,重新打开终端测试一下

最后

以上就是危机超短裙为你收集整理的在 ubuntu 上安装hadoop1、第一步,安装Ubuntu 第二步,进去之后窗口是非常小的,我们来弄一下全屏第三部:创建hadoop账户第4步,安装java jdk第5步,安装hadoop3.1.3第六步,hadoop单机配置的全部内容,希望文章能够帮你解决在 ubuntu 上安装hadoop1、第一步,安装Ubuntu 第二步,进去之后窗口是非常小的,我们来弄一下全屏第三部:创建hadoop账户第4步,安装java jdk第5步,安装hadoop3.1.3第六步,hadoop单机配置所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(44)

评论列表共有 0 条评论

立即
投稿
返回
顶部