我是靠谱客的博主 魔幻钢笔,这篇文章主要介绍架构设计:数据平台调度系统从Azkaban 到 Apache DolphinScheduler的实践,现在分享给大家,希望可以做个参考。

文章目录

    • 简介
    • 01 项目背景
    • 02 系统架构
    • 03 详细实践
      • 3.1内部系统对接
      • 3.2 Azkaban 的兼容
      • 3.3 功能优化汇总
    • 04 特性增强
      • 4.1 前端重构
      • 4.2 依赖调度
      • 4.3 任务拓展
      • 4.4监控告警
    • 05 未来规划
      • 5.1 跟进社区特性
      • 5.2 完善数据同步
      • 5.3 连接其他系统


简介

Fordeal 的数据平台调度系统之前是基于 Azkaban 进行二次开发的,但是在用户层面、技术层面都存在一些痛点问题难以被解决。比如在用户层面缺少任务可视化编辑界面、补数等必要功能,导致用户上手难体验差。在技术层面,架构过时,持续迭代难度大。基于这些情况,

最后

以上就是魔幻钢笔最近收集整理的关于架构设计:数据平台调度系统从Azkaban 到 Apache DolphinScheduler的实践的全部内容,更多相关架构设计:数据平台调度系统从Azkaban内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(49)

评论列表共有 0 条评论

立即
投稿
返回
顶部