概述
在Spark On Hive使用SparkSQL读取hive表中的数据，local和client模式下测试都可以通过，但在yarn的cluster模式下测试抛出了如下异常：
org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database ‘test’ not found;
最后找出原因：把spark的任务jar放到yarn集群上面运行时，执行job的节点可能不是Hive所在的节点。则会找不到Hive的配置文件，造成找不到数据库错误。
所以要用 --files 把hive-site.xml广播到各个节点
spark-submit --master yarn --deploy-mode cluster --files …/hive-site.xml --…
最后
以上就是潇洒云朵为你收集整理的Spark SQL 读取 Hive表中数据 在Cluster模式下找不到库的全部内容，希望文章能够帮你解决Spark SQL 读取 Hive表中数据 在Cluster模式下找不到库所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复