强健黄蜂

文章
6
资源
0
加入时间
3年0月8天
SparkStreaming自适应上游kafka topic partition数目变化

SparkStreaming自适应上游kafka topic partition数目变化

背景Spark Streaming 作业在运行过程中，上游 topic 增加 partition 数目从 A 增加到 B，会造成作业丢失数据，因为该作业只从 topic 中读取了原来的 A 个 partition 的数据，新增的 B-A 个 partition 的数据会被忽略掉。思考过程为了作业能够长时间的运行，一开始遇到这种情况的时候，想到两种方案：感知上游 to
Spark 2023-12-07

他的专栏

Windows 10（0）
Windows 7（0）
python编程（1）
显示器（0）
HTML5（0）
电视盒子（0）
平板电脑（0）
电脑常识（0）
打印外设（1）
3DMAX教程（1）
自定义（1）
Nginx（1）
Spark（1）

他的归档

2023年12月（1）
2023年07月（1）
2022年10月（1）
2022年04月（3）

热门文章

1
打印机共享连接时常见错误及解决方法分享
2
3Dmax中怎么直接加光？3Dmax中贴光的详细教程
3
Python Tkinter GUI编程入门介绍
4
自定义微信登录扫码样式解决办法
5
支持keep alive长连接【转】1 保持和client的长连接2. upstream设置3. keepalive参数的理解4.另外一种高级方式5【补充】6【注意】7【参考】
6
SparkStreaming自适应上游kafka topic partition数目变化