Spark Web UI 的应用说明

每个 SparkContext 运行时，都会运行一个 Web UI ，默认 4040 端口。

解读：每个 Spark Application 都会开启一个自己的 Web UI，默认端口号为4040。 访问地址： http://:4040 。如果同一 node 上运行了多个 Spark Application 则这些应用的端口将会往上累加，eg ： 4040,4041,4042 。

Spark Application 的只在 application 运行期间有效，application 运行完成，则通过 application Web UI ，是查看不到信息的。持久化 Application Web UI 相关信息，需要开启 Spark 的日志持久化功能。设置 spark.eventLog.enabled 为 true。

解读：默认情况下，如果 Spark Application 执行完毕后，我们就不能通过 Web UI 查看到 Spark Application 执行的相关信息，这无疑于对排查问题和程序 调优都没有好处，所以 Spark Events 日志功能需要开启。

Spark 日志服务，可以用于查看各种集群模式的 Spark Application 日志。

解读：不止要开启 Spark Events 日志功能，还需要启动 Spark 的日志服务。启动后，通过 URL 可以访问日志服务 Web UI。

最后

以上就是热情小天鹅为你收集整理的Spark Web UI 的应用说明的全部内容，希望文章能够帮你解决Spark Web UI 的应用说明所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。