孤独咖啡

文章
5
资源
0
加入时间
3年0月21天

spark比mapreduce快的一个原因

接触spark时间不长,但是有些概念还是没有太校准,于是回顾了一下spark的文档。读到shuffle操作那块发现spark的shuffle操作后的reduce也是存储到文件然后从文件中读取。以前一直以为spark快是因为这部分操作是在内存中执行,也就是reduce操作从内存中读取shufflemaptask的结果。看来以后学知识还是要扎实一点,慢一点没有关系。上面指出了,spark也是从文件...