完美手机

文章
7
资源
1
加入时间
2年10月24天

7-2 自注意力机制 原理7-2 自注意力机制 原理

实际上是中的一种,自注意力机制实际上也是一种网络的构型,它想要解决的问题是网络接收的输入是很多向量,并且向量的大小也是不确定的情况,比如机器翻译(序列到序列的问题,机器自己决定多少个标签),词性标注(Pos tagging一个向量对应一个标签),语义分析(多个向量对应一个标签)等文字处理问题。Query,Key,Value的概念取自于,举个简单的搜索的例子来说。当你在某电商平台搜索某件商品(年轻女士冬季穿的红色薄款羽绒服)时,self-attention中的Q,K,V也是起着类似的作用,在矩阵计