pytorch分布式训练(二init_process_group)
backend str/Backend 是通信所用的后端,可以是"ncll" "gloo"或者是一个torch.distributed.Backend类(Backend.GLOO)init_method str 这个URL指定了如何初始化互相通信的进程world_size int 执行训练的所有的进程数rank int this进程的编号,也是其优先级timeout timedelta 每个进程执行的超时时间,默认是30分钟,这个参数只适用于gloo后端g