无私耳机

文章
9
资源
0
加入时间
2年10月24天

深度学习笔记------注意力机制1.什么是注意力机制2 空间注意力模型3  通道注意力机制4 空间和通道混合注意力机制 5,总结

1.什么是注意力机制 当我们人类在看东西时,一般会将注意力集中注视着某个地方,而不会关注全部所有信息。例如当我们一看到下面这张猫的图片时,主要会将目光停留在猫的脸部,以及留意猫的躯干,而后面的草地则会被当成背景忽略掉,也就是说我们在每一处空间位置上的注意力分布是不一样的。如下图,当需要识别的是猫咪的时候,其他绿色本经特征就是无用的。attention机制就是找到这些最有用的信息。深度学习中的注意力机制(Attention Mechanism)和人类视觉的注意力机制类似,就是在众多信息中把注..