高大板栗

文章
3
资源
0
加入时间
2年10月21天

hadoop 依赖式job_job-timer: 定时任务管理工具,可提供spark、yarn大数据平台分析任务的运行与日志收集;集成阿里 datax 3.0 ETL工具,并提供图形界面的管理;集中式...

job-timer定时任务管理工具,目前可管理三类任务:spark job、datax 数据导入/导出任务、shell脚本。一个任务包含的属性有:标题、说明、类型(spark|datax|shell)、运行参数、开始时间、运行周期定时任务以组的方式进行管理,进行一次数据分析通常需要多个任务协同工作,比如需要先导出数据到hdfs,然后用spark分析导出的数据,在导出数据时可能还需要做一些文件转移、...