我是靠谱客的博主 虚心黄蜂，最近开发中收集的这篇文章主要介绍流处理和批处理框架的异同Flink与storm的主要区别译文大数据处理引擎Spark与Flink对比分析性能对比问题，觉得挺不错的，现在分享给大家，希望可以做个参考。
概述
2019独角兽企业重金招聘Python工程师标准>>> 
分布式流处理需求日益增加，包括支付交易、社交网络、物联网（IOT）、系统监控等。业界对流处理已经有几种适用的框架来解决，下面我们来比较各流处理框架的相同点以及区别。
分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图（DAG）。
DAG是任务链的图形化表示，我们用它来描述流处理作业的拓扑。如下图，数据从sources流经处理任务链到sinks。单机可以运行DAG，但本篇文章主要聚焦在多台机器上运行DAG的情况。
关注点
当选择不同的流处理系统时，有以下几点需要注意的：
运行时和编程模型
最后
以上就是虚心黄蜂为你收集整理的流处理和批处理框架的异同Flink与storm的主要区别译文大数据处理引擎Spark与Flink对比分析性能对比问题的全部内容，希望文章能够帮你解决流处理和批处理框架的异同Flink与storm的主要区别译文大数据处理引擎Spark与Flink对比分析性能对比问题所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复