sparksql踩坑

192 阅读 0 评论 127 点赞

我是靠谱客的博主迷人蚂蚁，这篇文章主要介绍sparksql踩坑，现在分享给大家，希望可以做个参考。

今天使用sparksql时遇到如下问题

It is possible the underlying files have been updated. You can explicitly invalidate the cache in Spark by running 'REFRESH TABLE tableName

查阅了网上资料说是由于sparkSession封装在actor中，每个actor都有自己独占的sparkSession，有些sql是保存数据到hive和hdfs上，但由于是一个多线程模型，如果不加任何干预的情况下，actor1跑出来的数据通过actor2读的时候会抛出异常

解决方式是：

// spark is an existing SparkSession
spark.catalog.refreshTable(“my_table”)

但是加上之后并没有解决，最后发现是输出路径和输入路径相同导致overwrite输入文件

result_df.coalesce(1).write.mode(“overwrite”).csv(“path”)

将输出路径更改即可

以上就是迷人蚂蚁最近收集整理的关于sparksql踩坑的全部内容，更多相关sparksql踩坑内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。