积极宝贝

文章
5
资源
0
加入时间
2年10月17天
spark踩坑记

spark踩坑记

排查过程中发现是因为使用了tez作为hive的执行引擎，然后执行insert select union all 时，对应的hdfs数据路径，不是直接存放数据文件，而是先有子目录HIVE_UNION_SUBDIR_x，子目录下再存放数据文件。1.由于spark存在一个机制，为了提高性能，会缓存parquet的元数据信息。当通过hive或其他方式更新了parquet表时，缓存的元数据信息未更新，导致SparkSQL查询不到新插入的数据。
spark 2023-10-08

他的专栏

python编程（0）
Linux服务器（0）
Photoshop教程（0）
Linux Shell（1）
WIN10计算机不支持3D游戏怎么办（1）
零声-linux课程总结（1）
spark（1）
sae（1）

他的归档

2023年10月（2）

热门文章

1
linux中shell脚本实现下载完关机
2
WIN10计算机不支持3D游戏怎么办,Win10系统玩游戏提示显卡不支持3d图形加速功能如何解决...
3
Linux C实现线程池主要目的线程池生活例子来说明线程池线程池主要API代码实现代码说明
4
spark踩坑记
5
在新浪SAE上搭建自己的Discuz！1 SAE环境配置2 上传代码3 Discuz!X安装