【自然语言处理】聊聊注意力机制(Attention Mechanism)的发展
前言其实，关于注意力机制的文章真的有很多，而且写得相当精彩（毕竟过去这么多年了），那这篇侧重于简单的一个介绍，使大家对注意力机制有个初步了解。正文首先这件事还要从序列到序列模型（Seq2seq Model）开始说起，最早的序列到序列模型是一个CNN+LSTM。简单来说就是把CNN把编码端映射成一个固定向量，然后用LSTM一步步解码。接着一个自然的想法是使用LSTM，因为LSTM的处理序列...
