浅谈增量数据的四种抽取模式
大数据云时代,数据上云ETL已成了最基础,最根本,最必须的一个步骤。目前数据传输迁移的工具非常多,比如DataX,DTS,Kettle等等。为了保证云上存储空间的有效利用和数据的整体唯一性,就没必要每天都上一份全量,故几乎所有数据上云的策略都是全量加增量的模式:即第一次上一份全量,后续每天只上增量,这样前一天的全量加上今天的增量就是今天的全量。既然是要每天上增量,那么如何获取增量数据便成了一个...