Spark06——Spark架构及角色介绍
Spark架构图如下:Spark架构同样使用了分布式计算中master-slave模型。master是集群中含有master进程的节点,slave是集群中含有worker进程的节点。master用于管理worker,接收提交的任务,进行任务的分配调度。worker用于管理自己节点上的executor,需要定时向master报活。角色介绍Spark应用程序以一组独立的进程运行在集群上,...