Spark存储模式使用了Master/Slave,RPC机制进行通信，Master负责元数据管理，Slave负责上报本地数据状态。
存储模式架构说明：
1. Executor启动时创建SparkEnv,SparkEnv创建BlockManager和数据同步的服务BlockTranferService；
2. BlockManager创建后，会创建BlockManagerMasterEndPoint和BlockManagerSlaveEndPoint,并注册到Driver,这样保证了Executor和Driver建立了通信机制；
3. BlockTranferService创建后，节点之间通过它来进行通信和数据同步，使用了Netty框架实现。
最后
以上就是柔弱蜻蜓最近收集整理的关于Spark存储模式的工作原理详解的全部内容，更多相关Spark存储模式内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复