我是靠谱客的博主 呆萌鞋子,最近开发中收集的这篇文章主要介绍spark为什么比hive速度快?,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

spark是什么?

spark是针对于大规模数据处理的统一分析引擎,通俗点说就是基于内存计算的框架

spark和hive的区别?

  1. spark的job输出结果可保存在内存中,而MapReduce的job输出结果只能保存在磁盘中,io读取速度要比内存中慢;
  2. spark以线程方式运行,MapReduce以进程的方式运行,进程要比线程耗费时间和资源;
  3. spark提供了更为丰富的算子操作;
  4. spark提供了更容易的api,支持python,java,scala;

spark为什么比hive速度快?

  1. spark底层不需要调用MapReduce,而hive底层调用的是MapReduce;
  2. spark基于内存计算,而hive基于磁盘计算,内存的读取速度远超过磁盘读取速度;
  3. spark以线程方式进行运行,而hive以进程方式运行,一个进程中可以跑多个线程,进程要比线程耗费资源和时间;

最后

以上就是呆萌鞋子为你收集整理的spark为什么比hive速度快?的全部内容,希望文章能够帮你解决spark为什么比hive速度快?所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(65)

评论列表共有 0 条评论

立即
投稿
返回
顶部