概述
1. 从HIVE表读数据并转成dict
from pyspark import SparkContext
from pyspark.sql import HiveContext,SparkSession
sc = SparkContext()
sql_context = HiveContext(sc)
sql_data = sqlContext.sql("SELECT key,value1,value2,value3 from db.table")
sql_data_rdd = sql_data.rdd.map(lambda x: x.asDict())
my_dict = sql_data_rdd.collectAsMap()
最后
以上就是结实日记本为你收集整理的HIVE表读数据并转成dict的全部内容，希望文章能够帮你解决HIVE表读数据并转成dict所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复