我是靠谱客的博主 美好灯泡,最近开发中收集的这篇文章主要介绍【Torch笔记】DataLoader与Dataset【Torch笔记】DataLoader与Dataset,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

【Torch笔记】DataLoader与Dataset

torch.utils.data.DataLoader 用于构建可迭代的数据装载器:

  • dataset:Dataset类,决定数据从哪里读取以及如何读取
  • batchsize:批大小
  • num_works:是否多进程读取数据
  • shuffle:每个epoch是否乱序
  • drop_last:当样本数不能被 bathsize 整除时,是否舍弃最后一批数据

Epoch:所有训练样本都已输入到模型中,称为一个 Epoch

Iteration:一批样本输入到模型中,称之为一个 Iteration

Batchsize:批大小,决定一个 Epoch 有多少个 Iteration

torch.utils.data.Dataset 是 Dataset 抽象类,所有自定义的 Dataset 都要继承它,并完成复写 __getitem__()

__get_item__() 接收一个索引,放回一个样本。

先实现 Dataset,然后创建 Dataset 实例,再根据实例创建 DataLoader。

image-20221028210759686

【Pytorch的数据读取机制】

Q1:读哪些数据?

A1:Sampler会返回index,确定读取哪些数据。

Q2:从哪些数据?

A2:在Dataset中进行设置。

Q3:怎么读数据?

A3:使用Dataset中的getitem。

image-20221028211655826

最后

以上就是美好灯泡为你收集整理的【Torch笔记】DataLoader与Dataset【Torch笔记】DataLoader与Dataset的全部内容,希望文章能够帮你解决【Torch笔记】DataLoader与Dataset【Torch笔记】DataLoader与Dataset所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(35)

评论列表共有 0 条评论

立即
投稿
返回
顶部