《Neural Machine Translation with Key-Value Memory-Augmented Attention》(IJCAI 2018)
问题:重复翻译,漏译问题,传统基于注意力的NMT不能有效追踪注意力历史,导致decoder会忽略历史的注意力信息解决方法:一个及时更新的key-memory来跟踪注意力历史,一个固定的value-memory来存储翻译过程中源语句的表示。通过两个存储器之间的非平凡变换和迭代交互,解码器关注于更合适的源端单词,用于在每个解码步骤预测下一个目标单词,因此可以提高翻译的充分性。思路:首先利用d...