我是靠谱客的博主 搞怪发箍,最近开发中收集的这篇文章主要介绍Hive学习笔记 --- 动态分区与静态分区,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

一、简述动态分区与静态分区

  • Dynamic Partition 动态分区:每次运行时是通过数据来自动判断生成,自动生成写入的分区内;

  • Static Partition 静态分区:每次运行时是通过用户手动指定分区,然后数据写入指定的分区下面哪;

 

二、动态分区与静态分区使用的差异

CREATE TABLE table_dynamic_partition   

(  

    user_id int,  

    user_name STRING  

)  

PARTITIONED BY (dt STRING, ht STRING)  

ROW FORMAT DELIMITED FIELDS TERMINATED BY "t”

 

  • Dynamic Partition 动态分区

使用表的动态分区是,我们需要设置参数如下:

set hive.exec.dynamic.partition=true;  

set hive.exec.dynamic.partition.mode=nonstrict;

 

我们在将table_dynamic_partition表的数据写入到一张新表 table_result_partition

insert overwrite table table_result_partition partition (dt, ht) select * from table_dynamic_partition where dt='2020-03-16’;  

 <

最后

以上就是搞怪发箍为你收集整理的Hive学习笔记 --- 动态分区与静态分区的全部内容,希望文章能够帮你解决Hive学习笔记 --- 动态分区与静态分区所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(64)

评论列表共有 0 条评论

立即
投稿
返回
顶部