SparkStreaming消费Kafka数据手动提交偏移量维护在自定义环境的方式
所谓的手动管理偏移量就是用户自己定义消息何时被真正处理完,并在提交偏移量之前一般会用偏移量做一些其他的操作,好处是用户可以确保只有消息被真正处理完成后再提交偏移量。所以需要我们在代码逻辑中得到实时的偏移量,并且保证<<任务处理完成之后再提交偏移量>>这种时序性。手动管理kafka偏移量有以下优点:a)一般情况下,保证数据不丢失,不重复被消费b)可以方便地查看offset信息操作的api是OffsetRange这个类,它有untilOffse