Spark Submit用于启动集群中的应用程序,他的运行命令跟Spark Shell差不多。
./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # other options
<application-jar> \
[application-arguments]
- --class:应用程序的入口
- --master:master URL,这个同Spark Shell
- deploy-mode:部署模式,默认client
- application-jar:jar包地址
- application-arguments:应用程序入口的参数
其他参数也和Spark Shell差不多,可以通过$SPARK_HOME/bin/spark-submit --help
查看。
下面我们用Spark自带的程序来计算Pi。类似的例子可以参考官网
$SPARK_HOME/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://bigdata01:7077,bigdata03:7077 \
--executor-memory 512m \
--total-executor-cores 2 \
$SPARK_HOME/examples/jars/spark-examples_2.11-2.4.5.jar \
100
运行过程中的web界面,运行时通过http://bigdata01:4040/jobs 访问:
运行结果如下:
http://bigdata01:8080/可以看到,已经完成了两次Applications,在Completed Applications中还可以看到运行的信息
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。