概述
-
Driver（驱动器）
-
Spark的驱动器是执行开发程序中的main方法的进程。它负责开发人员编写的用来创建SparkContext、创建RDD，以及进行RDD的转化操作和行动操作代码的执行
-
把用户程序转为作业（JOB）
-
跟踪Executor的运行状况
-
为执行器节点调度任务
-
UI展示应用运行状况
-
-
-
Executor（执行器）
-
Spark Executor是一个工作进程，负责在 Spark 作业中运行任务，任务间相互独立。Spark 应用启动时，Executor节点被同时启动，并且始终伴随着整个 Spark 应用的生命周期而存在。如果有Executor节点发生了故障或崩溃，Spark 应用也可以继续执行，会将出错节点上的任务调度到其他Executor节点上继续运行
-
负责运行组成 Spark 应用的任务，并将结果返回给驱动器进程
-
-
-
转载于:https://www.cnblogs.com/xiangyuguan/p/11429724.html
最后
以上就是认真蓝天为你收集整理的SPARK 重要角色的全部内容，希望文章能够帮你解决SPARK 重要角色所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复