CDH5.4 hadoop 修改日志默认路径

75 阅读 0 评论 50 点赞

我是靠谱客的博主烂漫小蚂蚁，最近开发中收集的这篇文章主要介绍CDH5.4 hadoop 修改日志默认路径，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

涉及到Hadoop 日志存储位置的共有三个地方的配置文件，分别是

/etc/Hadoop/conf/hadoop-env.sh

/usr/lib/hadoop/libexec/hadoop-config.sh

/etc/default/hadoop

该三处文件的起作用的优先级分别是Hadoop-env.sh > Hadoop-config.sh > /etc/default/Hadoop

所以修改hadoop日志存储位置，就有了三种方式

方式一：在Hadoop-env.sh 中修改

因在cloudera集成的 Hadoop中，Hadoop-env.sh 在/etc/Hadoop/conf 目录下已不存在，可以新建hadoop-env.sh

在其中添加内容：

    export HADOOP_LOG_DIR=/mnt/disk1/hadoop-hdfs    # 指向自定义的路径
    export HADOOP_SECURE_DN_LOG_DIR=$HADOOP_LOG_DIR

方式二：

修改 usr/lib/hadoop/libexec/hadoop-config.sh

 # default log directory & file
 if [ "$HADOOP_LOG_DIR" = "" ]; then
   HADOOP_LOG_DIR="$HADOOP_PREFIX/logs"
 fi

方式三：

修改 /usr/default/ 的相关文件（hadoop-hdfs-namenode、hadoop-hdfs-datanode、 hadoop-mapreduce-historyserver、hadoop-yarn-nodemanager、 hadoop-yarn-resourcemanager）

1）修改hadoop-hdfs-namenode 将如下的两项修改为自己自定义的路径

     export HADOOP_LOG_DIR=/mnt/disk1/hadoop-hdfs
     export HADOOP_PRIVILEGED_NFS_LOG_DIR=/mnt/disk1/hadoop-hdfs

2）修改hadoop-hdfs-datanode

      export HADOOP_LOG_DIR=/mnt/disk1/hadoop-hdfs
      export HADOOP_PRIVILEGED_NFS_LOG_DIR=/mnt/disk1/hadoop-hdfs

3）修改 hadoop-mapreduce-historyserver

      export HADOOP_MAPRED_LOG_DIR=/mnt/disk1/hadoop-mapreduce
      export HADOOP_LOG_DIR=/mnt/disk1/hadoop-mapreduce

4）修改 hadoop-yarn-nodemanager

       export YARN_LOG_DIR=/mnt/disk1/hadoop-yarn

5）修改 hadoop-yarn-resourcemanager

       export YARN_LOG_DIR=/mnt/disk1/hadoop-yarn

有关yarn的日志配置，还需检查下/etc/Hadoop/conf/yarn-site.xml 的配置文件，有些人也会直接在这里面配置yarn的日志路径

最后，在自定的路径下，新建三个文件夹

        mkdir  hadoop-hdfs
        mkdir  hadoop-yarn
        mkdir  hadoop-mapredcue

修改文件夹的属性

        chown  yarn:hadoop  hadoop-yarn
        chown  hdsf:hadoop  hadoop-hdfs
        chown  mapred:hadoop hadoop-mapreduce

必要时：也可以分别将文件权限修改为 chmod 777 hadoop-yarn

最后重启服务验证：

        service hadoop-hdfs-namenode restart 
        service hadoop-hdfs-datanode  restart
        service hadoop-yarn-resourcemanager restart
        service Hadoop-yarn-nodemanager restart 
        service   Hadoop-mapreduce-historyserver -restart