怕孤独招牌

文章
2
资源
0
加入时间
2年10月24天

从零开始搭建WEB服务系统——使用IDEA搭建项目第一步安装开发环境第二步创建web项目

第一步安装开发环境IDEA安装请参考https://blog.csdn.net/a158123/article/details/102690129JDK安装请参考https://blog.csdn.net/wumingxiaozei/article/details/95628747第二步创建web项目2.1使用IDEA创建项目步骤如下点击创建新的项目选择JDK版本,点击下一步输入完成后,点击下一步选择相关组件,点击下一步选择项目存储位置,点

大数据ETL实践探索(9)---- 使用pandas sqlalchemy进行多进程百万级数据入库postgresSQL

最近有个需求,需要将100W 40个字段左右的 excel 格式数据录入 postgreSQL 数据库。 我想了几种办法:使用psycopg2 原生 api使用pgAdmin 页面 建立好table 直接导入csv使用pandas to_sql 方法使用 sqlalchemy 批量录入方法使用python 多进程,pandas 数据清洗后用 sqlalchemy 批量录入方法先说一下结论吧,我实验的流程是读取3个文件大小分别是3000行,30万行,70万行,清洗合并后是一个111万行40 个字