注意力机制新综述笔记,21年
21年注意力机制小综述的翻译A review on the attention mechanism of deep learningAbstract可以说,注意力已经成为深度学习领域最重要的概念之一。它的灵感来自于人类的生物系统,即在处理大量信息时倾向于关注独特的部分。随着深度神经网络的发展,注意力机制已被广泛用于不同的应用领域。本文旨在对近年来提出的最先进的注意力模型进行概述。为了更好地理解注意力机制,我们建立了一个适用于大多数注意力结构的统一模型。模型中实现的每一步注意机制都有详细的描述。此