热情飞鸟

文章
6
资源
0
加入时间
2年10月17天

Spark与Hadoop的关系

一、实现原理的比较(1)Hadoop和Spark都是并行计算,两者都是用MR模型进行计算(2)Hadoop一个作业称为一个Job,Job里面分为Map Task和Reduce Task阶段,每个Task都在自己的进程中运行,当Task结束时,进程也会随之结束;(3)Spark用户提交的任务称为application,一个application对应一个SparkContext,app中存在多个...