能干发带

文章
4
资源
0
加入时间
2年10月24天

Spark为啥比hadoop速度快?

1.统一的RDD抽象和操作,基于该抽象一个栈就可以轻松的处理实时流计算,SQL交互式查询,机器学习和图计算等。 基于统一的技术堆栈,使得Spark称为大数据通用计算平台。 2.基于内存的迭代式计算 回顾下hadoop中经典处理过程: MapReduce在每次执行时都要从磁盘读取数据,计算完毕后都要把数据存放到磁盘上。 比如:机器学习的时候