kafka offset判断
在使用Spark streaming读取kafka数据时,为了避免数据丢失,我们会在zookeeper中保存kafka的topic对应的partition的offset信息(每次执行成功后,才更新zk中的offset信息);从而保证执行失败的下一轮,可以从特定的offset开始读。实现方式类似下面文章所示:http://blog.csdn.net/rongyongfeikai2/artic