python读取超大csv
《python读取超大csv》 现在工作中遇到的数据动辄千万或上亿的数据,其中图像数据是以 oss 链接的形式放入到 csv 中,csv文件所占磁盘空间一般就会20G起,所以直接读入内存是不现实的,这里记录一种使用 pandas 读取超大 csv 文件的方法。Key Words:pandas、迭代器、超大csv Beijing, 2021作者:mxsurui Agile Pioneer import pandas as pd预览 csv 内容# 导入部分数据进行测试.