概述
Hive metastore Parquet表转换（Hive metastore Parquet table conversion）
当向Hive metastore中读写Parquet表时，Spark SQL将使用Spark SQL自带的Parquet SerDe（SerDe：Serialize/Deserilize的简称,目的是用于序列化和反序列化），而不是用Hive的SerDe，Spark SQL自带的SerDe拥有更好的性能。这个优化的配置参数为spark.sql.hive.convertMetastoreParquet，默认值为开启。
最后
以上就是要减肥小松鼠为你收集整理的spark.sql.hive.convertMetastoreParquet参数优化的全部内容，希望文章能够帮你解决spark.sql.hive.convertMetastoreParquet参数优化所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复