腼腆玉米

文章
7
资源
0
加入时间
3年0月9天

pytorch中如何给网络添加mask样例

深度学习中,我们经常会遇到需要添加mask的场景,如:nlp中为了长度对齐,需要补齐长度,但在计算attention时会将补齐位置mask掉从而不参与attention计算; mask相关的预训练任务,如MLM、MAE等,需要mask掉被遮盖的token,以完成预测的预训练任务; 计算loss时想忽略掉一些不想用来计算该loss的样本。nlp bert中常见的mask补齐位置的方法为:将mask位置的mask设置为一个很小的数,如-10000,# 将attention_mask设置