我是靠谱客的博主 冷艳身影，这篇文章主要介绍yarn集群下启动spark错误WARN:66 - Neither spark.yarn.jars nor spark.yarn.archive is set，现在分享给大家，希望可以做个参考。
yarn集群下启动spark错误如下：
WARN Client:66 - Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
解决办法
在hdfs上创建目录：
hdfs dfs -mkdir -p /home/hadoop/spark_jars
上传spark的jars
hdfs dfs -put /opt/module/spark-2.3.0-yarn/jars/* /home/hadoop/spark_jars/
在spark的conf的spark-default.conf ，添加如下的配置:
spark.yarn.jars=hdfs://master:9000/opt/module/spark-2.3.0-yarn/jars/* /home/hadoop/spark_jars/ ok.
最后
以上就是冷艳身影最近收集整理的关于yarn集群下启动spark错误WARN:66 - Neither spark.yarn.jars nor spark.yarn.archive is set的全部内容，更多相关yarn集群下启动spark错误WARN:66内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复