概述
|
参数名称
|
含义
|
|
--master MASTER_URL
|
可以是spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local
|
|
--deploy-mode DEPLOY_MODE
|
Driver程序运行的地方，client或者cluster
|
|
--class CLASS_NAME
|
主类名称，含包名
|
|
--name NAME
|
Application名称
|
|
--jars JARS
|
Driver依赖的第三方jar包
|
|
--py-files PY_FILES
|
用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip, .egg, .py文件列表
|
|
--files FILES
|
用逗号隔开的要放置在每个executor工作目录的文件列表
|
|
--properties-file FILE
|
设置应用程序属性的文件路径，默认是conf/spark-defaults.conf
|
|
--driver-memory MEM
|
Driver程序使用内存大小
|
|
--driver-java-options
|
|
|
--driver-library-path
|
Driver程序的库路径
|
|
--driver-class-path
|
Driver程序的类路径
|
|
--executor-memory MEM
|
executor内存大小，默认1G
|
|
--driver-cores NUM
|
Driver程序的使用CPU个数，仅限于Spark Alone模式
|
|
--supervise
|
失败后是否重启Driver，仅限于Spark Alone模式
|
|
--total-executor-cores NUM
|
executor使用的总核数，仅限于Spark Alone、Spark on Mesos模式
|
|
--executor-cores NUM
|
每个executor使用的内核数，默认为1，仅限于Spark on Yarn模式
|
|
--queue QUEUE_NAME
|
提交应用程序给哪个YARN的队列，默认是default队列，仅限于Spark on Yarn模式
|
|
--num-executors NUM
|
启动的executor数量，默认是2个，仅限于Spark on Yarn模式
|
|
--archives ARCHIVES
|
仅限于Spark on Yarn模式
|
输入spark-submit -h就能得到上面的列表.
最后
以上就是怕孤单心锁为你收集整理的spark-submit工具参数说明的全部内容，希望文章能够帮你解决spark-submit工具参数说明所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复