概述
今天同事问了我个问题，想对表中字段为’,'分隔组成的数据进行去重，例如一个数据列中存的是“宋小宝,宋小宝,田野,宋晓峰,宋晓峰”，处理后的展示结果为“宋小宝，田野，宋晓峰”。当时时间比较着急，我就用行转列 再转行处理了，不知道有没有更优化的写法，先记录下来吧!有简单方法的同学可以评论一下让我学习学习，非常感谢！
直接上代码展示
select sb.ssss,concat_ws(',',collect_set(sb.xxx))
from
(
select a.ssss,b.xxx from
( select 'a' as ssss,'宋小宝,宋小宝,田野,宋晓峰,宋晓峰' as bbb ) a lateral view explode(split(A.bbb ,','))b as xxx)sb
group by sb.ssss
我这晚上回家进行记录的，当时只给他拍了个照片发过去了，所以没法截图了，你们可以看下最后的展示结果。
结果
临时通知明天要去加班一天，各位晚安。
最后
以上就是风趣灰狼为你收集整理的利用hive中的行转列列转行处理字段中逗号分隔的重复数据的全部内容，希望文章能够帮你解决利用hive中的行转列列转行处理字段中逗号分隔的重复数据所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复