我是靠谱客的博主 难过月亮,这篇文章主要介绍Spark手动提交偏移量,现在分享给大家,希望可以做个参考。

Spark手动提交偏移量

//strem是读取的数据流,可以是kafka数据
stream.foreachRDD(
{
rdd =>
//对rdd的操作
rdd.flatMap(s => {
var s1 = s.value().replace(",", "")
var s2 = s1.replace(".", "")
var s3 = s2.replace("?", "")
s3.split(" ")
})
//每次操作完一次rdd就提交一次偏移量:
//获取rdd中offset相关的信息:offsetRange里面就包含该批次各个分区的offset信息。
var offsetRange=rdd.asInstanceOf[HasOffsetRanges].offsetRanges
//提交偏移量
stream.asInstanceOf[CanCommitOffsets].commitAsync(offsetRange)
}
)

最后

以上就是难过月亮最近收集整理的关于Spark手动提交偏移量的全部内容,更多相关Spark手动提交偏移量内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(81)

评论列表共有 0 条评论

立即
投稿
返回
顶部