大数据ETL实践探索（9）---- 使用pandas sqlalchemy进行多进程百万级数据入库postgresSQL
最近有个需求，需要将100W 40个字段左右的 excel 格式数据录入 postgreSQL 数据库。 我想了几种办法：使用psycopg2 原生 api使用pgAdmin 页面 建立好table 直接导入csv使用pandas to_sql 方法使用 sqlalchemy 批量录入方法使用python 多进程，pandas 数据清洗后用 sqlalchemy 批量录入方法先说一下结论吧，我实验的流程是读取3个文件大小分别是3000行，30万行，70万行，清洗合并后是一个111万行40 个字
