Spark History Server配置

0

本文是对于自己编译的Spark部署,如果是CDH集成的Spark则可直接在管理界面中查看。

1.在hdfs中创建一个目录,用于保存Spark运行日志信息。

]$ hdfs dfs -mkdir /spark/historylog

2.配置spark conf,使Spark History Server从此目录中读取日志信息

]$ vim spark-defaults.conf
spark.eventLog.compress          true
spark.eventLog.dir               hdfs://nameservice1/spark/historylog
spark.yarn.historyServer.address hadoop002:18080

其中spark.eventLog.dir保存日志相关信息的路径,可以是hdfs://开头的HDFS路径,也可以是file://开头的本地路径,都需要提前创建。

3.添加环境参数

]$ vim spark-env.sh
    export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://mycluster/spark/historylog \
    -Dspark.history.ui.port=18080 \
    -Dspark.history.retainedApplications=20"

4.启动服务

]# ./sbin/start-history-server.sh

你可能感兴趣的

载入中...