Flink技术灵活使用总结(三)数据清洗和数据报表实战
数据清洗需求分析针对算法产生的日志数据进行清洗拆分1：算法产生的日志数据是嵌套json格式，需要拆分打平2：针对算法中的国家字段进行大区转换3：最后把不同类型的日志数据分别进行存储架构图数据清洗架构图数据报表需求分析主要针对直播/短视频平台审核指标的统计1：统计不同大区每1 min内过审(上架)的数据量2：统计不同大区每1 min内未过审(下架)的数据量3：统计不同大区每1 min内加黑名单的数据量架构图数据报表架构图存入es主要...
