我是靠谱客的博主 无语烧鹅,最近开发中收集的这篇文章主要介绍Hadoop 通用数据摄取框架:Gobblin,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

Gobblin 是 Hadoop 通用数据摄取框架,可以从各种数据源中提取,转换和加载海量数据。比如:数据库,rest APIs,filers,等等。Gobblin 处理日常规划任务需要所有数据摄取 ETLs,包括作业/任务规划,任务分配,错误处理,状态管理,数据质量检测,数据发布等等。

Gobblin 通过同样的执行框架从不同数据源摄取数据,在同一个地方管理所有不同数据源的元数据。同时结合了其他特性,比如自动伸缩,容错,数据质量保证,可扩展和处理数据模型改革等等。Gobblin 变得更容易使用,是个高效的数据摄取框架。

项目主页:https://github.com/linkedin/gobblin

最后

以上就是无语烧鹅为你收集整理的Hadoop 通用数据摄取框架:Gobblin的全部内容,希望文章能够帮你解决Hadoop 通用数据摄取框架:Gobblin所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(42)

评论列表共有 0 条评论

立即
投稿
返回
顶部