sparksql踩坑

68 阅读 0 评论 45 点赞

我是靠谱客的博主迷人蚂蚁，最近开发中收集的这篇文章主要介绍sparksql踩坑，觉得挺不错的，现在分享给大家，希望可以做个参考。

今天使用sparksql时遇到如下问题

It is possible the underlying files have been updated. You can explicitly invalidate the cache in Spark by running 'REFRESH TABLE tableName

查阅了网上资料说是由于sparkSession封装在actor中，每个actor都有自己独占的sparkSession，有些sql是保存数据到hive和hdfs上，但由于是一个多线程模型，如果不加任何干预的情况下，actor1跑出来的数据通过actor2读的时候会抛出异常

解决方式是：

// spark is an existing SparkSession
spark.catalog.refreshTable(“my_table”)

但是加上之后并没有解决，最后发现是输出路径和输入路径相同导致overwrite输入文件

result_df.coalesce(1).write.mode(“overwrite”).csv(“path”)

将输出路径更改即可

以上就是迷人蚂蚁为你收集整理的sparksql踩坑的全部内容，希望文章能够帮你解决sparksql踩坑所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。