数据量太大,节省内存的几种方式
1、使用nrows和skip_rows来读取。提前申明dtype和usecols,可以节省内存空间。train_data=pd.read_csv(train_dir,skiprows=range(1,SKIP_ROWS),nrows=TRAIN_ROWS,dtype=dtypes,usecols=use_cols)2、如果要兼顾内存和速度。可以使用reader来分块阅读。在创建reader的时候,...