大数据基础知识学习-----Hive学习笔记（九）DDL数据定义分区表注意事项

分区表注意事项

创建二级分区表

hive (default)> create table dept_partition2(
deptno int, dname string, loc string
)
partitioned by (month string, day string)
row format delimited fields terminated by 't';

正常的加载数据

加载数据到二级分区表中

hive (default)> load data local inpath '/opt/module/datas/dept.txt' into table default.dept_partition2 partition(month='201709', day='13');

查询分区数据

hive (default)> select * from dept_partition2 where month='201709' and day='13';

把数据直接上传到分区目录上，让分区表和数据产生关联的三种方式

• 方式一：上传数据后修复
  
  • 上传数据
  • hive (default)> dfs -mkdir -p /user/hive/warehouse/dept_partition2/month=201709/day=12;
  • hive (default)> dfs -put /opt/module/datas/dept.txt /user/hive/warehouse/dept_partition2/month=201709/day=12;
  • 查询数据（老版本的hive，查询不到刚上传的数据）
  • hive (default)> select * from dept_partition2 where month=’201709’ and day=’12’;
  • 执行修复命令
  • hive>msck repair table dept_partition2;
  • 再次查询数据
  • hive (default)> select * from dept_partition2 where month=’201709’ and day=’12’;
• 方式二：上传数据后添加分区
  
  • 上传数据
  • hive (default)> dfs -mkdir -p /user/hive/warehouse/dept_partition2/month=201709/day=11;
  • hive (default)> dfs -put /opt/module/datas/dept.txt /user/hive/warehouse/dept_partition2/month=201709/day=11;
  • 执行添加分区
  • hive (default)> alter table dept_partition2 add partition(month=’201709’, day=’11’);
  • 查询数据
  • hive (default)> select * from dept_partition2 where month=’201709’ and day=’11’;
• 方式三：上传数据后load数据到分区
  
  • 创建目录
  • hive (default)> dfs -mkdir -p /user/hive/warehouse/dept_partition2/month=201709/day=10;
  • 上传数据：
  • hive (default)> load data local inpath ‘/opt/module/datas/dept.txt’ into table dept_partition2 partition(month=’201709’,day=’10’);
  • 查询数据：
  • hive (default)> select * from dept_partition2 where month=’201709’ and day=’10’;

最后

以上就是悦耳黄蜂为你收集整理的大数据基础知识学习-----Hive学习笔记（九）DDL数据定义分区表注意事项的全部内容，希望文章能够帮你解决大数据基础知识学习-----Hive学习笔记（九）DDL数据定义分区表注意事项所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。