【视觉注意力机制集锦】引言1 注意力机制2 视觉注意力机制近来发展
视觉注意力机制集锦之引言1 注意力机制1.1 注意力机制简介卷积神经网络具有很强的拟合数据的能力,但是由于优化算法和计算能力的限制,在实践中,卷积网络很难达到通用近似的能力。特别是在处理规模较大的输入数据,实现复杂任务时,计算能力仍可能成为模型的瓶颈。卷积网络中的局部连接的卷积结构、池化层等设计本身可以用来简化网络结构、缓解模型复杂度和表达能力的矛盾。针对网络模型的任务,我们需要进行进一步的操作,可以在不过多增加模型复杂度的同时提高模型的表达能力。神经网络中,可以存储的信息量称为网络容量,显然,