概述
欢迎访问我的GitHub
这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos
在学习Spark的过程中,查看任务的DAG、stage、task等详细信息是学习的重要手段,在此做个小结;
环境信息
本文对应的环境信息如下:
- CentOS Linux release 7.5.1804
- JDK:1.8.0_191
- hadoop:2.7.7
- spark:2.3.2
参考文档(准备环境用到)
搭建hadoop、spark、运行耗时任务,请参考以下文章:
- on Yarn模式部署Spark集群:《部署Spark2.2集群(on Yarn模式)》
- 开发一个比较耗时的计算任务:《spark实战之:分析维基百科网站统计数据(java版)》
经过以上准备,我们就有了一个可以用的Spark集群环境,并且计算任务也准备好了。
观察运行时任
最后
以上就是粗暴黑裤为你收集整理的spark 4040端口_查看Spark任务的详细信息的全部内容,希望文章能够帮你解决spark 4040端口_查看Spark任务的详细信息所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复