Spark 的角色理解
Master节点主要完成集群管理器的中心化部分,作用是分配Application 到Worker节点,维护Worker节点,Driver,Application的状态,Worker节点负责具体业务的运行。Driver端的主要作用是:初始化SparkContext 与Spark集群进行通信,真正执行sc.textFile() , map,flatmap() 都是在Executor中进行执行的。...