数据有很多种下发方式：
简单的来说分为增量和全量。
全量获取：
当表是一个全量分区表：
复制代码
1一般数据下发的来源表是一个分区表，全量就是一次下发一个分区。
当表是一个增量分区表：
复制代码
1一次性下发全表
当表是一个拉链表：
复制代码
1获取每个客户的最新状态全量下发。(伪代码如下)
复制代码
1
2
3
4select 字段 ( select 字段 ,over (partition by id order by batch_date1 desc) as cnn from table_Z where batch_date ='xxxxxxxx' ) a where cnn =1;
增量获取：
但是往往非大数据系统无法一口气吃掉千万级别的数据量。
一般会采取增量下发的方式。
当表是一个增量分区表：
复制代码
1只需要下发一个分区
当表是一个全量分区表：
需要对今天的分区数据和昨天分区数据的数据进行比对，然后寻找新增，差异，和删除三部分。然后下发
伪代码：
新增和差异: 需要约定好增改标识
复制代码
1
2
3
4
5
6
7select 字段，增改标识 (select 字段 from table_F where batch_date=今天) t0 left join (select 字段 from table_F where batch_date=昨天) t1 on t0.id=t1.id where （t0.字段1<>nvl（t1.字段1，'not exist'） or t0.字段2<>nvl（t1.字段2，'not exist'）.....);
删除：需要约定好 删除标识
复制代码
1
2
3
4
5
6
7select 字段 ，删除标识 from （select 字段 from table_F where bacth_date ='昨天'） t0 left join (select 字段 from table_F where bacth_date ='今天') t1 on t0.id =t1.id where t1 is null;
不过也可以用outer 的方式实现：
当表是一个全量拉链表：
复制代码
1select 字段 from table_Z where batch_date='今天' and stat_date='今天'
转载于:https://www.cnblogs.com/wqbin/p/11270190.html
最后
以上就是纯情保温杯最近收集整理的关于数据的全量与增量的全部内容，更多相关数据内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复