我是靠谱客的博主 粗暴黑裤,最近开发中收集的这篇文章主要介绍spark 4040端口_查看Spark任务的详细信息,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos

在学习Spark的过程中,查看任务的DAG、stage、task等详细信息是学习的重要手段,在此做个小结;

环境信息

本文对应的环境信息如下:

  1. CentOS Linux release 7.5.1804
  2. JDK:1.8.0_191
  3. hadoop:2.7.7
  4. spark:2.3.2

参考文档(准备环境用到)

搭建hadoop、spark、运行耗时任务,请参考以下文章:

  1. on Yarn模式部署Spark集群:《部署Spark2.2集群(on Yarn模式)》
  2. 开发一个比较耗时的计算任务:《spark实战之:分析维基百科网站统计数据(java版)》

经过以上准备,我们就有了一个可以用的Spark集群环境,并且计算任务也准备好了。

观察运行时任

最后

以上就是粗暴黑裤为你收集整理的spark 4040端口_查看Spark任务的详细信息的全部内容,希望文章能够帮你解决spark 4040端口_查看Spark任务的详细信息所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(42)

评论列表共有 0 条评论

立即
投稿
返回
顶部