Spark 的角色理解

60 阅读 0 评论 40 点赞

我是靠谱客的博主完美奇异果，最近开发中收集的这篇文章主要介绍Spark 的角色理解，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

Master节点主要完成集群管理器的中心化部分，作用是分配Application 到Worker节点，维护Worker节点，Driver，Application的状态，Worker节点负责具体业务的运行。
在这里插入图片描述
Driver端的主要作用是：初始化SparkContext 与Spark集群进行通信，真正执行sc.textFile() , map,flatmap() 都是在Executor中进行执行的。
上图是Spark的四种模式分别是Local Local-Cluster Standalone Yarn Mesos 模式，四种模式之间相互独立互不相关，四种模式的区别在于上图所示的Cluster Manager 的不同。一个Worker节点可以有多个的Executor。
在Driver端只是进行提交操作，初始化SparkContext，new 对象等操作，比如在Driver端创建了一个数组，Executor中需要用到这个数组，这时候就会把数据发送到Executor中。