CDH6.2配置spark.yarn.jars目录

按照官网的文档采用以下操作即可：

• 进入CM界面
• 选择spark服务
• 配置 搜索spark-defaults.conf
• 添加spark.yarn.jars=hdfs://ns1/user/spark/jars
• 部署客户端并重启

但实际重启后发现节点上的配置文件依然是默认属性，没有分发覆盖，具体还没找到解决办法。

暂时采用软链的方式，如果不得已在CM界面修改了配置并部署，则需要重新创建软链：

创建外部配置文件vi /data/common/conf/spark/spark-defaults.conf

# 默认配置
...
...

# yarn运行依赖jar
spark.yarn.jars=hdfs://ns1/user/spark/jars/spark/*,hdfs://ns1/user/spark/jars/hive/*,hdfs://ns1/user/spark/jars/dongao/*
# 编码问题
spark.driver.extraJavaOptions=-Dfile.encoding=utf-8
spark.executor.extraJavaOptions=-Dfile.encoding=utf-8

创建软链:

ln -s /data/common/conf/spark/spark-defaults.conf /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/spark/conf/spark-defaults.conf

线索（20190826 - 待验证）

在元数据（processes表）中查到spark使用的脚本csd/csd.sh，于是在节点上搜了下locate csd，发现存在/opt/cloudera/cm/csd/SPARK_ON_YARN6_2-6.2.0.jar文件，于是下载查看。

在scripts/common.sh中发现了替换spark-default.conf属性的内容：

 # Set the location of the YARN jars to point to the install directory on all nodes.
  local jars="local:$SPARK_HOME/jars/*,local:$SPARK_HOME/hive/*"
  replace_spark_conf "spark.yarn.jars" "$jars" "$SPARK_DEFAULTS"

感觉修改此文件将此段内容注释掉应该能够解决

最后

以上就是紧张手机为你收集整理的CDH6.2配置spark.yarn.jars目录的全部内容，希望文章能够帮你解决CDH6.2配置spark.yarn.jars目录所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。