我是靠谱客的博主 冷艳身影，最近开发中收集的这篇文章主要介绍yarn集群下启动spark错误WARN:66 - Neither spark.yarn.jars nor spark.yarn.archive is set，觉得挺不错的，现在分享给大家，希望可以做个参考。
概述
yarn集群下启动spark错误如下：
WARN Client:66 - Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
解决办法
在hdfs上创建目录：
hdfs dfs -mkdir -p /home/hadoop/spark_jars
上传spark的jars
hdfs dfs -put /opt/module/spark-2.3.0-yarn/jars/* /home/hadoop/spark_jars/
在spark的conf的spark-default.conf ，添加如下的配置:
spark.yarn.jars=hdfs://master:9000/opt/module/spark-2.3.0-yarn/jars/* /home/hadoop/spark_jars/ ok.
最后
以上就是冷艳身影为你收集整理的yarn集群下启动spark错误WARN:66 - Neither spark.yarn.jars nor spark.yarn.archive is set的全部内容，希望文章能够帮你解决yarn集群下启动spark错误WARN:66 - Neither spark.yarn.jars nor spark.yarn.archive is set所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复