速度快这个词对于任何架构需要针对应用场景来描述。官网的这张图下边有一行字:Logistic regression in Hadoop and Spark迭代场景下spark的处理速度大致是hadoop的100倍。????️原因那么快的原因主要有两点:基于内存,spark中间结果不落盘(hadoop频繁落盘)有DAG(有向无环图):来切分任务的执行先后顺序。????️对比:MR(mapreduce):Spark:可以看出MR中间频繁读写落盘,而spark则中间结果一直在内存中。
Spark
2023-10-15
48 点赞
0 评论
72 浏览