结实小蝴蝶

文章
9
资源
0
加入时间
2年10月21天

流处理框架概览storm(record ack容错)

流处理框架概览storm(record ack容错)微批处理 (Trident, Spark Streaming)flink(分布式一致性快照容错)storm(record ack容错)虽然流处理多年来一直广泛应用于金融等行业,但它最近正成为更广泛的用例的数据基础设施的一部分。开源框架的可用性推动了这种采用。也许开源世界中第一个广泛使用的大规模流处理框架是Apache Storm。Storm使用一种上游备份和记录确认机制来保证消息在失败后被重新处理。需要注意的是,Storm并不保证状态的一致性,