sparksql使用hive数据源保存在mysql数据库

236 阅读 0 评论 156 点赞

我是靠谱客的博主轻松耳机，这篇文章主要介绍sparksql使用hive数据源保存在mysql数据库，现在分享给大家，希望可以做个参考。

//导入包并配置
hive数据源
val spark = SparkSession.builder()
.master(“local”)
.appName(“AreaTopNRoadFlowAnalyzer”)
.config(“fs.defaultFS”, “hdfs://ip:9000”)
//数据存放位置
.config(“spark.sql.warehouse.dir”, “hdfs://ip:9000/test”)
.enableHiveSupport()
.getOrCreate()
spark.sparkContext.setLogLevel(“WARN”)
val= df spark.sql =“select * from 数据库名字.表名”

往mysql里写入输入
df.write.format(“jdbc”).option(“driver”,“com.mysql.jdbc.Driver”)
//数据库名字自己创建
.option(“url”, “jdbc:mysql://ip:3306/数据库名字”)
//topn_road_car_count 表名字自动创建
.option(“dbtable”, “topn_road_car_count”)
.option(“user”, “root”)
.option(“password”,“root”)
.mode(SaveMode.Append).save()
spark.close()