Hadoop 中需要的配置文件及其作用

71 阅读 0 评论 47 点赞

我是靠谱客的博主冷艳大象，最近开发中收集的这篇文章主要介绍Hadoop 中需要的配置文件及其作用，觉得挺不错的，现在分享给大家，希望可以做个参考。

1）core-site.xml：

(1)fs.defaultFS:hdfs://cluster1(域名)，这里的值指的是默认的 HDFS 路径。

(2)hadoop.tmp.dir:/export/data/hadoop_tmp,这里的路径默认是 NameNode、DataNode、secondaryNamenode 等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。

（3)ha.zookeeper.quorum:hadoop101:2181,hadoop102:2181,hadoop103:2181, 这里是ZooKeeper 集群的地址和端口。注意，数量一定是奇数，且不少于三个节点。

2）hadoop-env.sh: 只需设置 jdk 的安装路径，如：export JAVA_HOME=/usr/local/jdk。

3）hdfs-site.xml：

(1) dfs.replication:他决定着系统里面的文件块的数据备份个数，默认为 3 个。

(2) dfs.data.dir:datanode 节点存储在文件系统的目录。

(3) dfs.name.dir:是 namenode 节点存储 hadoop 文件系统信息的本地系统路径。

4）mapred-site.xml：mapreduce.framework.name: yarn 指定 mr 运行在 yarn 上

以上就是冷艳大象为你收集整理的Hadoop 中需要的配置文件及其作用的全部内容，希望文章能够帮你解决Hadoop 中需要的配置文件及其作用所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。