含糊爆米花

文章
3
资源
0
加入时间
3年0月21天

一起学习Spark(十)结构化流Structured Streaming编程指南(6)-checkpoint失败恢复&查询更改后的语义恢复&连续处理

1.使用检查点(checkpoint)从失败中恢复在出现故障或有意关闭后,可以使用检查点和写前日志来恢复查询的进度和状态,并从中断的地方继续。我们可以给查询配置一个检查点位置,这样查询会将所有的进度信息(即在每个触发器中处理的偏移范围)和正在运行的聚合(例如之前示例中的word count)保存到检查点的位置。检查点的位置必须是HDFS兼容文件系统中的一个路径,并且可以在启动查询时设置为Dat...