概述
速度快这个词对于任何架构需要针对应用场景来描述。
官网的这张图下边有一行字：Logistic regression in Hadoop and Spark
迭代场景下spark的处理速度大致是hadoop的100倍。
????️原因
那么快的原因主要有两点：
- 基于内存，spark中间结果不落盘（hadoop频繁落盘）
- 有DAG（有向无环图）：来切分任务的执行先后顺序。
????️对比：
MR(mapreduce)：
Spark:
可以看出MR中间频繁读写落盘，而spark则中间结果一直在内存中。
最后
以上就是紧张铃铛为你收集整理的spark处理速度为什么比MapReduce快？的全部内容，希望文章能够帮你解决spark处理速度为什么比MapReduce快？所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复