Spark存储模式的工作原理详解

78 阅读 0 评论 52 点赞

我是靠谱客的博主柔弱蜻蜓，最近开发中收集的这篇文章主要介绍Spark存储模式的工作原理详解，觉得挺不错的，现在分享给大家，希望可以做个参考。

Spark存储模式使用了Master/Slave,RPC机制进行通信，Master负责元数据管理，Slave负责上报本地数据状态。

存储模式架构说明：

1. Executor启动时创建SparkEnv,SparkEnv创建BlockManager和数据同步的服务BlockTranferService；

2. BlockManager创建后，会创建BlockManagerMasterEndPoint和BlockManagerSlaveEndPoint,并注册到Driver,这样保证了Executor和Driver建立了通信机制；

3. BlockTranferService创建后，节点之间通过它来进行通信和数据同步，使用了Netty框架实现。

以上就是柔弱蜻蜓为你收集整理的Spark存储模式的工作原理详解的全部内容，希望文章能够帮你解决Spark存储模式的工作原理详解所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。