高职大数据赛项离线数据清洗

任务一：数据清洗

编写 Scala 工程代码，将 ods 库中表 customer，nation，region，supplier 全量抽取到 Hive 的 dwd 库中对应表中。表中有涉及到 timestamp 类型的，均要 求按照 yyyy-MM-dd HH:mm:ss，不记录毫秒数，若原数据中只有年月日，则在时 分秒的位置添加 00:00:00，添加之后使其符合 yyyy-MM-dd HH:mm:ss。 1、 将 ods 库中 customer 表数据抽取到 dwd 库中 dim_customer 的分区表，分区 字段为 etldate 且值与 ods 库的相对应表该值相等，并添加 dwd_insert_user、 dwd_insert_time 、 dwd_modify_user 、 dwd_modify_time 四 列 , 其 中 dwd_insert_user、dwd_modify_user 均填写“user1”，dwd_insert_time、 dwd_modify_time 均填写当前操作时间（年月日必须是今天，时分秒只需在 比赛时间范围内即可），并进行数据类型转换。在 hive cli 中按照 cust_key 顺序排序，查询 dim_customer 前 1 条数据，将结果内容复制粘贴至客户端 桌面【Release模块 C 提交结果.docx】中对应的任务序号下

System.setProperty("HADOOP_USER_NAME", "root")
val spark = SparkSession
.builder()
.master("local[*]")
.appName("dwd")
.config("spark.sql.war

最后

以上就是英勇大雁为你收集整理的高职大数据赛项离线数据清洗的全部内容，希望文章能够帮你解决高职大数据赛项离线数据清洗所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。