[解决]spark提交任务：java.net.UnknownHostException: ns1

177 阅读 0 评论 117 点赞

我是靠谱客的博主着急面包，这篇文章主要介绍[解决]spark提交任务：java.net.UnknownHostException: ns1，现在分享给大家，希望可以做个参考。

在搭建好spark运行环境后，首次提交spark任务时，提示：java.net.UnknownHostException: ns1。

原因是hdfs集群配置了HA，spark无法识别节点的别名。

解决方法如下：

1.复制Hadoop目录下etc/hadoop中的hdfs-site.xml和core-site.xml文件到spark的conf/目录下；

2.将spark的conf/目录下的spark-default.conf.template更名为spark-default.xml(mv spark-default.conf.template spark-default.xml)；

3.在spark-default.xml文件中添加如下配置(具体路径以自己实际路径为准)：

spark.files file:///usr/local/soft/spark-1.6.0/conf/hdfs-site.xml,file:///usr/local/soft/spark-1.6.0/conf/core-site.xml

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。