概述
错误：
上述错误看着像是维度不匹配，实际是生成数据的错误
1、GPU数量2，使用Dataparallel加载
inputs：[batch_size, length]
其中的一个输入，即bert中positional embedding，偷了个巧，反正每个样本其值都一样，所幸在DataLoader中将其维度设置为[1, length, embed_dim]，然后就悲剧了。
模型进行数据并行时，例如这里是两块GPU，实际是将数据分成两份，按照batch_size的维度进行分配。如果positional embedding的维度为[1, length, embed_dim]，那么就不满足分配，所有就出现上图维度不匹配的错误。
解决方法：
只需将positional embedding的维度初始化为[batch_size, length, embed_dim]
最后
以上就是失眠衬衫为你收集整理的GPU使用错误：维度不匹配的全部内容，希望文章能够帮你解决GPU使用错误：维度不匹配所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
![[DeeplearningAI笔记]ML strategy_2_2训练和开发/测试数据集不匹配问题机器学习策略-不匹配的训练和开发/测试数据](/uploads/reation/bcimg1.png)
发表评论 取消回复