有赞数据治理之提质降本（整理）

有赞数据治理之提质降本

https://mp.weixin.qq.com/s/B6VWtTZT8XI3AiYx6PxLtA

1. 内容质量校验

   • 预定义校验：包括数据量的波动、文件还有组件唯一性的校验等等。
   • 自定义校验：比如说非空校验、数值范围校验、还支持自定义SQL校验。
     质量校验的结果
   • 正常的话，下游任务就可以正常进行；
   • 如果是可接受的异常，这时候会触发邮件和企业微信的报警；
   • 如果是不可接受的异常，结果数据是有问题的，则阻断下游的任务执行以避免数据资源的浪费，同时触发电话报警，通知相关人去处理。

2. 质量分

   • 规范性：比如名字规不规范，注释有没有填，必须的质量检验有没有配。

   • 认可度：要关注数据的使用情况，包括下游依赖情况、搜索、收藏、关注的次数等等。

   • 准确性：就是数据的质量校验是不是经常出错，如果经常出错，这个数据可能就有一些问题，不值得信赖；还有数据的分区是不是连续的，是不是有缺失。

   • 及时性：数据的超时情况，还有deadline临近情况等等。

     这四项定义好，确定分类和细则、定义好权重，通过简单的公式就可以算出一个质量分。

     质量成本，其实是围绕着量化、产品以及运营这三个方面进行的，这也是数据治理的三辆马车。量化是为了让大家更直观地感受到当前的质量、成本现状，有哪些问题。让大家了解之后需要通过产品作为载体去支持大家做降本以及分析的需求。有了产品之后，还需要通过有效的运营手段，把这一套降本机制，以及提升大家成本意识的意图，给跑起来，最终形成一个良性的循环。

3. 成本和质量的发展方向

   • 大质量：离线表和在线表；服务质量（服务稳定性，效率，延迟）；业务质量（服务的稳定性，接口延迟）。
   • 全成本
   • 重运营

最后

以上就是务实豆芽为你收集整理的有赞数据治理之提质降本（整理）的全部内容，希望文章能够帮你解决有赞数据治理之提质降本（整理）所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。