爱笑母鸡

文章
6
资源
0
加入时间
4年0月9天

Spark为什么受欢迎

原因1:优秀的数据模型和丰富的计算抽象Spark出现之前,已经有了非常成熟的计算系统MapReduce,并提供高级API(map/reduce),在集群中运行计算,提供容错,从而实现分布式计算。虽然MapReduce提供了数据访问和计算的抽象,但是数据的重用只是简单地将中间数据写入一个稳定的文件系统(比如HDFS),所以会产生数据复制备份、磁盘I/O和数据序列化,所以在多个计算中遇到需要重用中间结果的操作时效率会很低。这种操作非常常见,比如迭代计算、交互式数据挖掘、图形计算等等。在认识到这个问题