hive与spark

92 阅读 0 评论 61 点赞

我是靠谱客的博主怕黑小馒头，最近开发中收集的这篇文章主要介绍hive与spark，觉得挺不错的，现在分享给大家，希望可以做个参考。

1 本质区别:Spark除了需要shuffle的计算，其他是将结果/中间结果持久化到内存中，而MR是都需要落地到磁盘(map.reduce落地都写)，因此Spark格外适用于频繁读写中间结果的迭代计算

2 资源:MR是基于进程，Spark是基于线程。MR是多进程单线程模型，而Spark是多进程多线程模型；

MR代码验证：MapReduce任务是多进程单线程模式验证

3 并行度:此外，速度区别之二在于任务的并行度不同：

Spark会增加任务的并行度从而提高速度：由于将中间结果写到磁盘与从磁盘读取中间结果属于不同的环节，MR只是将它们简单的通过串行执行衔接起来。而Spark把不同的环节抽象为Stage，允许多个Stage既可以串行执行，又可以并行执行。

4 运行环境:MR运行在YARN上

Spark支持多种运行模式 Local Standalone YARN

spark on hive:hive只负责存储角色,spark负责解析sql优化执行

hive on spark:hive既作为存储又负责sql的解析优化,spark负责执行.

区别:

1 本质上相同,都是把map端数据分类处理后交给reduce过程

2 数据流有所区别,mr是map/spill/merge/shuffle/sort/reduce 等各阶段逐一实现,spark是基于dag数据流,可以实现更为复杂的数据流操作(宽窄依赖)

以上就是怕黑小馒头为你收集整理的hive与spark的全部内容，希望文章能够帮你解决hive与spark所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。