hive列转行 （collect_all()/collect_list() 不去重）

collect_all()     hive 0.12

collect_list()  hive 0.13

一、问题

hive如何将

a       b1
a       b2
a       b2
c       d1
c       d1
d       d2

变为：

a       ["b1","b2","b2"]
c       ["d1","d1"]
d       ["d2"]

二、数据

test.txt   （空格分隔）

三、答案

1.建表

drop table tmp_jzl_20151027_test;
create table tmp_jzl_20151027_test
(
  col1 string,
  col2 string
)
row format delimited 
  fields terminated by ' '
stored as textfile;

load data local inpath '/home/jiangzl/shell/test.txt' into table tmp_jzl_20151027_test;

2.处理

hive> 
    > select col1, collect_all(col2))
    > from tmp_jzl_20151027_test  
    > group by col1; 

a       ["b1","b2","b2"]
c       ["d1","d1"]
d       ["d2"]

最后

以上就是淡然飞机为你收集整理的hive列转行 （collect_all()/collect_list() 不去重）的全部内容，希望文章能够帮你解决hive列转行 （collect_all()/collect_list() 不去重）所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。