想人陪蓝天

文章
6
资源
0
加入时间
3年0月9天
用python pandas按块读取超大csv/txt

用python pandas按块读取超大csv/txt

如果一个csv文件过大，比如说达到好几G，直接读取的话内存估计hold不住，幸好pandas支持使用chunksize指定行数，每次按多少行多少行来读取，这样就避免了一次性读取过多数据导致内存崩溃。用row["某个列的名称"] 即可读取该列的对应数据了，之后就可以进行数据处理了。import pandas as pdchunksize = 1000count = 1for df in pd.read_csv('1.txt',chunksize=chunksize): prin
python 2024-08-25
Java使用ffmpeg和mencoder实现视频转码

Java使用ffmpeg和mencoder实现视频转码

准备：需要下载ffmpeg和mencoder，百度一搜就有了。请自行下载。不墨迹，上代码：1）首先需要定义几个量：Contants.javapublic class Contants { public static final String ffmpegpath = "D:\\DevTools\\ffmpeg\\bin\\ffmpeg.exe";//ffmpeg的安装位置 pu
Java 2023-09-17
MySQL中遍历结果集根据结果再进行判断查询不同的数据表，将结果集再返回，case when和join的使用

MySQL中遍历结果集根据结果再进行判断查询不同的数据表，将结果集再返回，case when和join的使用

case when then 和Join 的使用，解决条件下，链接同数据表业务场景：用户和管理员都可以向活动表中添加数据，表中有两个属性，creator_id存放创建者的id，create_type创建人类型,0用户，1管理员，要求，根据creator_id获取到创建者的名称，方便展示。分别有用户表和管理员表思路一（常规解决，不建议）先查出所有数据，再使用java进行遍历，根据type的不同，再根据id查询数据，再将数据赋值，繁琐，低效！！！！思路二使用sql中的case when 和join
mysql 2023-09-13

他的专栏

JavaScript（0）
Windows 8（0）
Windows 10（1）
C语言（1）
mysql（1）
Java（1）
matlab java mac（1）
python（1）

他的归档

2024年08月（1）
2023年09月（3）
2022年05月（1）
2022年04月（1）

热门文章

1
Win10商店不显示应用的更新日期怎么办?试试这款工具吧
2
C++实现LeetCode(190.颠倒二进制位)
3
MySQL中遍历结果集根据结果再进行判断查询不同的数据表，将结果集再返回，case when和join的使用
4
Java使用ffmpeg和mencoder实现视频转码
5
matlab java mac_macOS使用MATLAB报错java.lang.NullPointerException
6
用python pandas按块读取超大csv/txt