1. 从HIVE表读数据并转成dict
from pyspark import SparkContext
from pyspark.sql import HiveContext,SparkSession
sc = SparkContext()
sql_context = HiveContext(sc)
sql_data = sqlContext.sql("SELECT key,value1,value2,value3 from db.table")
sql_data_rdd = sql_data.rdd.map(lambda x: x.asDict())
my_dict = sql_data_rdd.collectAsMap()
最后
以上就是结实日记本最近收集整理的关于HIVE表读数据并转成dict的全部内容，更多相关HIVE表读数据并转成dict内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复