迅速枕头

文章
7
资源
2
加入时间
2年10月17天

kafka offset判断

在使用Spark streaming读取kafka数据时,为了避免数据丢失,我们会在zookeeper中保存kafka的topic对应的partition的offset信息(每次执行成功后,才更新zk中的offset信息);从而保证执行失败的下一轮,可以从特定的offset开始读。实现方式类似下面文章所示:http://blog.csdn.net/rongyongfeikai2/artic