对于iterable-style类型的dataset来说，数据的加载顺序是完全由用户定义的迭代器来确定的。
而对于map-style类型的dataset来说，数据的索引的加载顺序由torch.utils.data.Sampler类确定。例如当使用SGD进行网络训练的时候，sampler会自动生成乱序的序列（相对数据读取的顺序），然后每次从中选择一个进行读取，或者选择一个batch进行mini-batch SGD训练。
torch.utils.data.distributed.DistributedSampler：一个在总体数据集的一个子集中采样的采样器。
参数：
- dataset：用来sample的数据集
- num_replicas(optional)：参与分布式训练的进程数
- rank(optional)：当前运行进程的编号
- shuffle(optional)：如果为真，sampler将会打乱索引
https://pytorch.org/docs/stable/data.html#iterable-style-datasets
https://pytorch.org/docs/stable/data.html#torch.utils.data.Sampler
最后
以上就是矮小小兔子最近收集整理的关于pytorch Sampler的全部内容，更多相关pytorch内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
![[Pytorch] Sampler, DataLoader和数据batch的形成1. 简介2. 整体流程3. Sampler和BatchSampler4. DataLoader](https://file2.kaopuke.com:8081/files_image/reation/bcimg4.png)
发表评论 取消回复