torch分布式训练学习笔记分布式通讯包 - torch.distributed
分布式通讯包 - torch.distributed基本 初始化 TCP初始化 共享文件系统初始化 环境变量初始化 组 点对点通信 集体功能torch.distributed提供了一种类似MPI的接口，用于跨多机器网络交换张量数据。它支持几种不同的后端和初始化方法。目前，torch.distributed支持三个后端，每个后端具有不同的功能。下表显示哪些功能可用于CPU / CUDA张量。只有当用于构建PyTorch的实现支持它时，MPI才支持cuda。后端 tcp ..
