前段时间在看transformer的时候，看到他的self-attention机制的公式里需要除以维度的算术平方根，想了一会没有想明白。
回去看原论文。作者认为，当d较大时，点积的幅度也就变大，容易进入softmax函数的梯度消失区域。
什么叫点积的幅度变大？这里作者指的应该是方差会变大。点积之后，数据的方差会改变，不等同于原分布。这就需要我们进行一个操作使方差等同于原分布。假设原分布是标准正态分布，那为什么需要除以根号d来归一化到标准正态分布呢？我尝试自己推导一下公式：
波浪线那块我是直接将各个qi*ki之间看成是相互独立的，但是，并没有严格的证明过程。（要是有懂的大佬可以在评论区教我一下）
综上，除以维度的算术平方根会使得分布重新归一化到数据原分布，防止出现梯度消失。
最后
以上就是可爱唇彩最近收集整理的关于transformer中的缩放点积注意力为什么要除以根号d的全部内容，更多相关transformer中内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
![[Android官方Demo系列] PageTransformer缩放](/uploads/reation/bcimg13.png)
发表评论 取消回复