java 对大数据的处理
最近做了一个项目，数据量每次处理在两百万左右，这里记录一下最近开发时处理大量数据的思路，主要思路是将大数据化小，多次处理，不足之处还请指出。文件读取：首先是一个文件上传，数据入库，10-200万条不等，这里主要考虑到一次性读取，JVM分配出来的栈内存不一定会够（个人对内存这一块还是处于一知半解的状态，所以比较谨慎，若诸位大神有好的认知，希望评论留下地址分享一下），是依行读取数据，设定一个批量值
