arcgis伪节点检查_Win10 Hadoop伪分布式配置一(安装)

56 阅读 0 评论 37 点赞

我是靠谱客的博主文艺期待，最近开发中收集的这篇文章主要介绍arcgis伪节点检查_Win10 Hadoop伪分布式配置一(安装)，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

1.环境

Windows 10 2004 企业版 x64

jdk-8u261-windows-x64.exe

hadoop-2.7.7.tar.gz

2.Java环境配置

(1) 一个小插曲

由于在安装Hadoop之前，我的电脑中已经安装过jdk1.8.0_261，但是由于当时装载了D盘，在控制台输入jps指令时，显示“jps不是内部或外部命令”，比较苦恼，当时直接头脑一热直接卸载了jdk1.8.0_261，想重装在C盘，但是再安装的时候，就一直弹对话框显示“this version of jdk is already installed.....”，各种删注册表都不好使，最后找到一个神器：

Windows Installer CleanUp Utility

彻底卸载了jdk，才能顺利重装jdk，这软件长这样：

虽然界面简陋了一些，但是能解决问题就是好软件！

(2) 正常安装jdk，网上很多教程，此处不再赘述，但是有几个地方需要特别注意：

尽量安装再默认路径，即C盘，本文为 C:Program FilesJavajdk1.8.0_261
JAVA_HOME环境变量中，应该使用 C:Progra~1Javajdk1.8.0_261，如图

就是得用Progra~1代替原来路径中的Program Files

(3) 检查安装

cmd(管理员)输入set JAVA_HOME，查看路径是否正确：

cmd(管理员)输入set path，进一步查看：

cmd(管理员)输入java -version，查看java版本信息：

cmd(管理员)输入jps：

至此，Java环境成功配置。

3.配置Hadoop

(1) 下载并解压Hadoop

下载网站：Index of /apache/hadoop/common

其实已有更新版，但是还是选择了稍微低一点的2.7.7，省的出了问题麻烦

将Hadoop解压到D盘，据说是Hadoop路径中最好不要有空格，不知道会出什么问题，反正就解压到没空格的路径得了。

本文路径D:hadoop-2.7.7

添加环境变量HADOOP_HOME，值为hadoop路径D:hadoop-2.7.7，如图

然后在Path中添加%HADOOP_HOME%bin，如图

(2) 下载配置好的二进制文件

接下来下载一些配置好的二进制文件，一般教程里给出了两类：

简书教程windows环境搭建hadoop伪集群给的是winutils
CSND教程Windows下配置Hadoop环境（全过程）给的是hadooponwindows

其实两个都可以，只不过选用winutils需要多修改一些文件，hadooponwindows很多都弄好了，修改的少一些，最终配置完成后，两个基本是一样的。

winutils面向的hadoop版本更多一些，hadooponwindows只面向2.7.1版本。但是本文采用hadooponwindows配置2.7.7也是可行的。

以hadooponwindows为例，下载完成后是有三个文件

将hadooponwindows中的bin目录和etc目录复制，直接覆盖D:hadoop-2.7.7路径下的bin目录和etc目录即可。

(3) 修改3个配置文件

注：采用winutils的话是修改4个，按上文的教程即可。

首先修改D:hadoop-2.7.7etchadoop目录下的hadoop-env.cmd文件，即将文件第26行中的JAVA_HOME路径改为本文所设路径C:PROGRA~1Javajdk1.8.0_261

set JAVA_HOME=C:PROGRA~1Javajdk1.8.0_261

然后修改D:hadoop-2.7.7etchadoop目录下的hdfs-site.xml文件，改完如图

<configuration>
 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/hadoop-2.7.7/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/hadoop-2.7.7/data/datanode</value>
    </property>
</configuration>

最后修改D:hadoop-2.7.7etchadoop目录下的core-site.xml文件，如图：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
	<property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

(4) 拷贝hadoop.dll文件

最后，将D:hadoop-2.7.7bin目录下的hadoop.dll文件拷贝至C:WindowsSystem32目录下一份，避免window平台使用MapReduce测试时报错。

(5) 验证安装

以管理员身份打开cmd，输入指令hdfs namenode -format