使用spark-submit部署应用Spark运行时架构使用spark-submit部署应用
Spark运行时架构在分布式环境下,Spark集群采用的是主/从结构。在一个Spark集群中,有一个驱动器(driver)节点和一个执行器(executor)节点。Spark应用通过一个叫做集群管理器(Cluster Manager)的外部服务在集群中的机器上启动。Spark自带的集群管理器被称为独立集群管理器。Spark也能运行在Hadoop Yarn和Apache Mesos这两大开元集群管理器上。集群管理器Spark依赖于集群管理器来启动执行器节点,而在某些特殊情况下,也依赖集群管理器来启