速度快这个词对于任何架构需要针对应用场景来描述。
官网的这张图下边有一行字：Logistic regression in Hadoop and Spark
迭代场景下spark的处理速度大致是hadoop的100倍。
????️原因
那么快的原因主要有两点：
- 基于内存，spark中间结果不落盘（hadoop频繁落盘）
- 有DAG（有向无环图）：来切分任务的执行先后顺序。
????️对比：
MR(mapreduce)：
Spark:
可以看出MR中间频繁读写落盘，而spark则中间结果一直在内存中。
最后
以上就是紧张铃铛最近收集整理的关于spark处理速度为什么比MapReduce快？的全部内容，更多相关spark处理速度为什么比MapReduce快内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复