概述
ft —遗忘门层，it — gt — 输入门层，ct ----细胞状态更新，ot 输出门*， ht 当前时刻的隐层输出
根据BPTT推导得：
从上述公式可知三个门的激活函数是sigmoid， 也就是输出要么接近于0 ， 要么接近于1。这就使得 
当门为1时， 梯度能够很好的在LSTM中传递，很大程度上减轻了梯度消失发生的概率， 当门为0时，说明上一时刻的信息对当前时刻没有影响， 我们也就没有必要传递梯度回去来更新参数了。所以， 这就是为什么通过门机制就能够缓解梯度的原因
最后
以上就是刻苦小刺猬为你收集整理的为什么LSTM能够缓解梯度消失梯度爆炸的全部内容，希望文章能够帮你解决为什么LSTM能够缓解梯度消失梯度爆炸所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复