欢迎访问我的GitHub
这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos
在学习Spark的过程中,查看任务的DAG、stage、task等详细信息是学习的重要手段,在此做个小结;
环境信息
本文对应的环境信息如下:
- CentOS Linux release 7.5.1804
- JDK:1.8.0_191
- hadoop:2.7.7
- spark:2.3.2
参考文档(准备环境用到)
搭建hadoop、spark、运行耗时任务,请参考以下文章:
- on Yarn模式部署Spark集群:《部署Spark2.2集群(on Yarn模式)》
- 开发一个比较耗时的计算任务:《spark实战之:分析维基百科网站统计数据(java版)》
经过以上准备,我们就有了一个可以用的Spark集群环境,并且计算任务也准备好了。
观察运行时任
最后
以上就是粗暴黑裤最近收集整理的关于spark 4040端口_查看Spark任务的详细信息的全部内容,更多相关spark内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复