概述
关注点
当选择不同的流处理系统时，有以下几点需要注意的：
•
运行时和编程模型：平台框架提供的编程模型决定了许多特色功能，编程模型要足
够处理各种应用场景。这是一个相当重要的点，后续会继续。
•
函数式原语：流处理平台应该能提供丰富的功能函数，比如，
map
或者
filter
这
类易扩展、处理单条信息的函数；处理多条信息的函数
aggregation
；跨数据流、
不易扩展的操作
join
。
•
状态管理：大部分应用都需要保持状态处理的逻辑。流处理平台应该提供存储、访
问和更新状态信息。
•
消息传输保障：消息传输保障一般有三种：
at most once
，
at least once
和
exactly once
。
At most once
的消息传输机制是每条消息传输零次或者一次，即
消息可能会丢失；
A t least once
意味着每条消息会进行多次传输尝试，至少一
次成功，即消息传输可能重复但不会丢失；
Exactly once
的消息传输机制是每条
消息有且只有一次，即消息传输既不会丢失也不会重复。
•
容错：流处理框架中的失败会发生在各个层次，比如，网络部分，磁盘崩溃或者节
点宕机等。流处理框架应该具备从所有这种失败中恢复，并从上一个成功的状态
(无脏数据)重新消费。
最后
以上就是精明蜜粉为你收集整理的python流处理框架_主流流处理框架比较的全部内容，希望文章能够帮你解决python流处理框架_主流流处理框架比较所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复