sparksql使用hive数据源保存在mysql数据库

//导入包并配置
hive数据源
val spark = SparkSession.builder()
.master(“local”)
.appName(“AreaTopNRoadFlowAnalyzer”)
.config(“fs.defaultFS”, “hdfs://ip:9000”)
//数据存放位置
.config(“spark.sql.warehouse.dir”, “hdfs://ip:9000/test”)
.enableHiveSupport()
.getOrCreate()
spark.sparkContext.setLogLevel(“WARN”)
val= df spark.sql =“select * from 数据库名字.表名”

往mysql里写入输入
df.write.format(“jdbc”).option(“driver”,“com.mysql.jdbc.Driver”)
//数据库名字自己创建
.option(“url”, “jdbc:mysql://ip:3306/数据库名字”)
//topn_road_car_count 表名字 自动创建
.option(“dbtable”, “topn_road_car_count”)
.option(“user”, “root”)
.option(“password”,“root”)
.mode(SaveMode.Append).save()
spark.close()

最后

以上就是轻松耳机为你收集整理的sparksql使用hive数据源保存在mysql数据库的全部内容，希望文章能够帮你解决sparksql使用hive数据源保存在mysql数据库所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。