流处理和批处理框架的异同Flink与storm的主要区别译文大数据处理引擎Spark与Flink对比分析性能对比问题

171 阅读 0 评论 113 点赞

2019独角兽企业重金招聘Python工程师标准>>>

分布式流处理需求日益增加，包括支付交易、社交网络、物联网（IOT）、系统监控等。业界对流处理已经有几种适用的框架来解决，下面我们来比较各流处理框架的相同点以及区别。

分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图（DAG）。

DAG是任务链的图形化表示，我们用它来描述流处理作业的拓扑。如下图，数据从sources流经处理任务链到sinks。单机可以运行DAG，但本篇文章主要聚焦在多台机器上运行DAG的情况。

关注点

当选择不同的流处理系统时，有以下几点需要注意的：

运行时和编程模型࿱

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。