spark-submit工具参数说明

http://blog.csdn.net/sa14023053/article/details/51986549

https://my.oschina.net/u/140462/blog/519409

–master 指定spark运行模式

参数 模式

Local[N]	本地模式。使用N个线程
Local cluster[worker,core,Memory]	伪分布式模式，可以配置所需要启动的虚拟工作节点数量，以及每个工作节点所管理的CPU的数量和内存大小
Spark://hostname:port	Standalone 模式、需要部署Spark到相关节点，URL 为Spark Master 主机地址和端口（Spark://master:7077）
Mesos://hostname:port	Mesos 模式， 需要部署Spark 和Mesos到相关节点，URL为Mesos主机地址和端口
YARN standalone/YARN cluster	YARN 模式一，主程序逻辑和任务都运行在YARN集群中
YARN client	YARN 模式二，主程序逻辑运行在本地，具体任务运行在YARN集群

 

 

执行时需要传入的参数说明

Usage: spark-submit [options] <app jar | python file> [app options]

 

参数名称	含义
--master MASTER_URL	可以是spark://host:port, mesos://host:port, yarn,  yarn-cluster,yarn-client, local
--deploy-mode DEPLOY_MODE	Driver程序运行的地方，client或者cluster
--class CLASS_NAME	主类名称，含包名
--name NAME	Application名称
--jars JARS	Driver依赖的第三方jar包
--py-files PY_FILES	用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip,  .egg, .py文件列表
--files FILES	用逗号隔开的要放置在每个executor工作目录的文件列表
--properties-file FILE	设置应用程序属性的文件路径，默认是conf/spark-defaults.conf
--driver-memory MEM	Driver程序使用内存大小
--driver-java-options
--driver-library-path	Driver程序的库路径
--driver-class-path	Driver程序的类路径
--executor-memory MEM	executor内存大小，默认1G
--driver-cores NUM	Driver程序的使用CPU个数，仅限于Spark Alone模式
--supervise	失败后是否重启Driver，仅限于Spark  Alone模式
--total-executor-cores NUM	executor使用的总核数，仅限于Spark Alone、Spark on Mesos模式
--executor-cores NUM	每个executor使用的内核数，默认为1，仅限于Spark on Yarn模式
--queue QUEUE_NAME	提交应用程序给哪个YARN的队列，默认是default队列，仅限于Spark on Yarn模式
--num-executors NUM	启动的executor数量，默认是2个，仅限于Spark on Yarn模式
--archives ARCHIVES	仅限于Spark on Yarn模式