python使用DataLoader对数据集进行批处理

59 阅读 0 评论 39 点赞

我是靠谱客的博主轻松犀牛，最近开发中收集的这篇文章主要介绍python使用DataLoader对数据集进行批处理，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

使用DataLoader对数据集进行批处理，转自

https://www.cnblogs.com/JeasonIsCoding/p/10168753.html

第一步：创建torch能够识别的数据集类型

首先建立两个向量X和Y，一个作为输入的数据，一个作为正确的结果：

import torch
import torch.utils.data as Data
BATCH_SIZE = 3
# 批训练的数据个数
x = torch.linspace(1,9,9)
# x data (torch tensor)
y = torch.linspace(9,1,9)
# y data (torch tensor)

随后把X和Y组成一个完整的数据集，并转化为pytorch能识别的数据集类型：

# 先转换成 torch 能够识别的 Dataset
torch_dataset = Data.TensorDataset( x, y )

现在来看一下这些数据的数据类型：

In [1]:
type(torch_dataset)
out[1]:
torch.utils.data.dataset.TensorDataset
In [2]:
type(x)
out[2]:
torch.Tensor

可以看出X和Y通过Data.TensorDataset() 这个函数拼装成了一个数据集，数据集的类型是TensorDataset

第二步：把上一步的数据集放入Data.DataLoader中，生成一个迭代器，从而方便进行批处理

# 把 dataset 放入 Dataloader
loader = Data.DataLoader(
dataset = torch_dataset,# torch TensorDataset format
batch_size = BATCH_SIZE,#mini batch size
shuffle = True, # 是否打乱数据
num_workers = 2, # 多线程来读数据
)

DataLoader中也有很多其他参数：

dataset：
Dataset类型，从其中加载数据
batch_size：	int，可选。每个batch加载多少样本
shuffle：
bool，可选。为True时表示每个epoch都对数据进行洗牌
sampler：
Sampler，可选。从数据集中采样样本的方法。
num_workers：	int，可选。加载数据时使用多少子进程。默认值为0，表示在主进程中加载数据。
collate_fn：	callable，可选。
pin_memory：	bool，可选
drop_last：
bool，可选。True表示如果最后剩下不完全的batch,丢弃。False表示不丢弃。

第三步：用上面定义好的迭代器进行训练

这里利用print来模拟训练过程：

for epoch in range(5):
# 训练所有数据5次
i = 0
for batch_x,batch_y in loader:
i = i+1
print('Epoch:{}|num:{}|batch_x:{}|batch_y:{}'
.format(epoch,i,batch_x,batch_y))

为了便于观察分批的结果，这里设置：

shuffle = False, # 是否打乱数据

即：

# 把 dataset 放入 Dataloader
loader = Data.DataLoader(
dataset = torch_dataset,# torch TensorDataset format
batch_size = BATCH_SIZE,#mini batch size
shuffle = False, # 是否打乱数据
num_workers = 2, # 多线程来读数据
)

输出结果是：

Epoch:0|num:1|batch_x:tensor([1., 2., 3.])|batch_y:tensor([9., 8., 7.])
Epoch:0|num:2|batch_x:tensor([4., 5., 6.])|batch_y:tensor([6., 5., 4.])
Epoch:0|num:3|batch_x:tensor([7., 8., 9.])|batch_y:tensor([3., 2., 1.])
Epoch:1|num:1|batch_x:tensor([1., 2., 3.])|batch_y:tensor([9., 8., 7.])
Epoch:1|num:2|batch_x:tensor([4., 5., 6.])|batch_y:tensor([6., 5., 4.])
Epoch:1|num:3|batch_x:tensor([7., 8., 9.])|batch_y:tensor([3., 2., 1.])
Epoch:2|num:1|batch_x:tensor([1., 2., 3.])|batch_y:tensor([9., 8., 7.])
Epoch:2|num:2|batch_x:tensor([4., 5., 6.])|batch_y:tensor([6., 5., 4.])
Epoch:2|num:3|batch_x:tensor([7., 8., 9.])|batch_y:tensor([3., 2., 1.])
Epoch:3|num:1|batch_x:tensor([1., 2., 3.])|batch_y:tensor([9., 8., 7.])
Epoch:3|num:2|batch_x:tensor([4., 5., 6.])|batch_y:tensor([6., 5., 4.])
Epoch:3|num:3|batch_x:tensor([7., 8., 9.])|batch_y:tensor([3., 2., 1.])
Epoch:4|num:1|batch_x:tensor([1., 2., 3.])|batch_y:tensor([9., 8., 7.])
Epoch:4|num:2|batch_x:tensor([4., 5., 6.])|batch_y:tensor([6., 5., 4.])
Epoch:4|num:3|batch_x:tensor([7., 8., 9.])|batch_y:tensor([3., 2., 1.])

可以看到，所有数据一共训练了5次。数据中一共9组，设置的mini-batch是3，即每一次训练网络的时候送入3组数据。

此外，还可以利用python中的enumerate()，是对所有可以迭代的数据类型（含有很多东西的list等等）进行取操作的函数，用法如下：

for epoch in range(5):
# 训练所有数据5次
i = 0
for step,(batch_x,batch_y) in enumerate(loader):
# 假设这里在进行训练
i = i+1
# 打印一些数据
print('Epoch:{}|num:{}|batch_x:{}|batch_y:{}'
.format(epoch,i,batch_x,batch_y))