大数据量快速处理的架构设计
在业务数据的处理过程中，经常会遇到夜间批次处理大量的数据，而且会有时效的要求，这就对程序执行的性能有了较高要求。特别是当应用系统跑了2年以上时，就会有大表或者特大表的操作了，数据量达到百万甚至上亿。 这时回顾前期的设计，就可能会发现好多问题。 可能是由于数据模型设计的时候没有考虑表的分区和及时归档，造成大表处理慢； 也可能是涉及到的sql的设计没有考虑走索引，或有隐式转换、全表扫描、...
