spark常用命令

发表于 更新于 分类于 阅读次数： Valine：

前言

spark常用命令

命令备忘

样例example运行

1
2
3
4
5
6
7
8
9
## 求pi
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
--conf spark.driver.extraJavaOptions=-Dlog4j.configuration=file:///opt/soft/spark/myself/log4j.properties \
--executor-memory 1G \
--total-executor-cores 2 \
/opt/soft/spark/examples/jars/spark-examples_2.12-3.5.1.jar \
100

参考文章