spark on yarn 提交参数

75 阅读 0 评论 50 点赞

我是靠谱客的博主快乐唇膏，最近开发中收集的这篇文章主要介绍spark on yarn 提交参数，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

bin/spark-submit -h -v 3.0.1

参数名	参数说明
--master	master 地址(提交任务到哪里执行) 例: spark://host:port yarn local。
--deploy-mode	在本地 (client) 启动 driver 或在 cluster 上启动。默认是 client
--class	应用程序的主类。
--name	应用程序的名称。
--jars	用逗号分隔的本地jar包,设置后这些jar将包含在driver和executor的classpath下。
--packages	包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标。
--exclude-packages	了避免冲突而指定不包含的 package
--repositories	远程 repository。
--conf PROP=VALUE	指定 spark 配置属性的值。例如 --conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m"
--properties-file	加载的配置文件，默认为 conf/spark-defaults.conf
--driver-memory	Driver内存，默认 1G
--driver-java-options	传给 driver 的额外的 Java 选项。
--driver-library-path	传给 driver 的额外的库路径。
--driver-class-path	传给 driver 的额外的类路径。
--driver-cores	Driver 的核数，默认是1。在 yarn 或者 standalone 下使用。
--executor-memory	每个 executor 的内存，默认是1G
--total-executor-cores	executor 总核数。仅仅在 mesos 或者 standalone 下使用。
--num-executors	启动的 executor 数量。默认为2。在 yarn / Kubernetes下使用。
--executor-core	每个 executor 的核数。在yarn或者standalone下使用。

测试案例:

bin/spark-submit 
--master yarn 
--deploy-mode cluster 
--class cn.test.mySparkPi 
--driver-memory 2G 
--driver-cores 2 
--num-executors 2
--executor-memory 4G 
--executor-core 2 
--/opt/data/jars/pi.jar