Spark存储模式的工作原理详解
Spark存储模式使用了Master/Slave,RPC机制进行通信,Master负责元数据管理,Slave负责上报本地数据状态。存储模式架构说明:1. Executor启动时创建SparkEnv,SparkEnv创建BlockManager和数据同步的服务BlockTranferService;2. BlockManager创建后,会创建BlockManagerMasterEndPo...