我是靠谱客的博主 不安蛋挞,最近开发中收集的这篇文章主要介绍使用动态分区的方式为Hive中的分区表加载数据1.创建临时表,为临时表添加数据2.创建分区表3.在hive命令行设置动态分区参数4.为分区表动态加载数据,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

1.创建临时表,为临时表添加数据

Drop table if exists test.tmp;
create table test.tmp(
shopid int,
userid int,
areaid int,
shopname string,
shoplevel tinyint,
status tinyint,
createtime string,
modifytime string,
dt string
)
row format delimited fields terminated by ',';
load data local inpath 'tmp.dat' into table test.tmp;

tmp.dat

105307,78921,100049,如山xxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105308,78921,100236,美丽xxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105309,78921,100063,Juxxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105310,78921,100235,兰思xxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105311,78921,100016,LExxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105312,78921,100325,美乐xxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105313,78921,100285,奥克xxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105314,78921,100116,贝加xxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105315,78921,100036,Caxxx授权店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105316,78921,100143,凯萨xxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01

2.创建分区表

Drop table if exists test.ods_trade_shops;
create table test.ods_trade_shops(
shopid int,
userid int,
areaid int,
shopname string,
shoplevel tinyint,
status tinyint,
createtime string,
modifytime string
)
partitioned by(dt string)
row format delimited fields terminated by ',';

3.在hive命令行设置动态分区参数

set hive.exec.dynamic.partition=true;   --此参数hive0.9.0版本开始默认就为true,使用hive0.9.0及以上版本可以不用设置

set hive.exec.dynamic.partition.mode=nonstrict;

4.为分区表动态加载数据

insert into table test.ods_trade_shops
partition(dt)
select * from test.tmp;

 

最后

以上就是不安蛋挞为你收集整理的使用动态分区的方式为Hive中的分区表加载数据1.创建临时表,为临时表添加数据2.创建分区表3.在hive命令行设置动态分区参数4.为分区表动态加载数据的全部内容,希望文章能够帮你解决使用动态分区的方式为Hive中的分区表加载数据1.创建临时表,为临时表添加数据2.创建分区表3.在hive命令行设置动态分区参数4.为分区表动态加载数据所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(46)

评论列表共有 0 条评论

立即
投稿
返回
顶部