健康航空

文章
7
资源
1
加入时间
3年0月20天

Scala处理数据groupby,collect_list保持顺序,explode一行展开为多行

目录1. 数据说明及处理目标2.groupby,按某列有序collect_list3.explode 展开udf返回的array4.将单列按照分隔符展开为多列1. 数据说明及处理目标DataFrame格式及内容如下图所示,每个rdid下有多个wakeup_id,每条wakeup_id对应多条ctime及page_id。处理目标:获取每个wakeup_id下的page_id变化序列,假设某wakeup_id下的page_id有序列表为[1,3,4,6,6,7,8,8],那么所...