勤奋鸵鸟

文章
4
资源
0
加入时间
3年0月21天

Flink解析kafka canal未压平数据为message报错

canal使用非flatmessage方式获取mysql bin log日志发至kafka比直接发送json效率要高很多,数据发到kafka后需要实时解析为json,这里可以使用strom或者flink,公司本来就是使用strom解析,但是在吞吐量上有瓶颈,优化空间不大。所以试一试通过flink来做。非flatmessage需要使用特定的反序列化方式来处理为Message对象,所以这里需要自定...