GPU使用错误:维度不匹配
错误:上述错误看着像是维度不匹配,实际是生成数据的错误1、GPU数量2,使用Dataparallel加载inputs:[batch_size, length]其中的一个输入,即bert中positional embedding,偷了个巧,反正每个样本其值都一样,所幸在DataLoader中将其维度设置为[1, length, embed_dim],然后就悲剧了。模型进行数据并行时,例如这里是两块GPU,实际是将数据分成两份,按照batch_size的维度进行分配。如果positional emb