概述
在seq2seq结构中，encoder把所有的输入序列都编码成一个统一的语义向量context，然后再由decoder解码。
但是由于context包含原始序列中的所有信息，它的长度就成了限制模型性能的瓶颈，如机器翻译问题，当要翻译的句子比较长时，一个context可能存不了那么多信息，就会造成精度下降。除此之外，如果按照上述方式实现，只用到了编码器的最后一个隐藏层状态，信息利用率低。
所以要改进seq2seq结构，最好的切入角度就是：利用encoder所有隐藏层状态
解决context长度限制的问题 -- attention。
接下来了解一下attention注意力机制基本思路。
那么到底什么是注意力机制呢？
最后
以上就是飞快宝马为你收集整理的4. Attention注意力机制（2017年提出）的全部内容，希望文章能够帮你解决4. Attention注意力机制（2017年提出）所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复