淡定雪糕

文章
5
资源
0
加入时间
2年10月24天

python读取超大csv

《python读取超大csv》  现在工作中遇到的数据动辄千万或上亿的数据,其中图像数据是以 oss 链接的形式放入到 csv 中,csv文件所占磁盘空间一般就会20G起,所以直接读入内存是不现实的,这里记录一种使用 pandas 读取超大 csv 文件的方法。Key Words:pandas、迭代器、超大csv Beijing, 2021作者:mxsurui Agile Pioneer  import pandas as pd预览 csv 内容# 导入部分数据进行测试.