我是靠谱客的博主 美满芝麻,这篇文章主要介绍lstm是怎么解决梯度消失问题的,现在分享给大家,希望可以做个参考。

https://www.quora.com/How-does-LSTM-help-prevent-the-vanishing-and-exploding-gradient-problem-in-a-recurrent-neural-network#:~:text=The%20vanishing%20(and%20exploding)%20gradient%20problem%20is%20caused%20by%20the,controlled%20by%20the%20forget%20gate.&text=Compared%20with%20LSTM%2C%20it%20is,be%20stacked%20into%20deep%20models.

这篇文章,从直觉的角度讲解了下,我觉得比较容易理解。

 

the LSTM architecture is resistant to exploding and vanishing gradients, although mathematically both phenomena are still possible.

LSTM这个结构其实并没有彻底解决梯度的消失或爆炸问题,只是有所缓解。因为除了cell单元的更新是改为加法外,其他的路径上仍然是做乘法,所以在其他路径上仍然存在梯度的消失或爆炸问题。

最后

以上就是美满芝麻最近收集整理的关于lstm是怎么解决梯度消失问题的的全部内容,更多相关lstm是怎么解决梯度消失问题内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(49)

评论列表共有 0 条评论

立即
投稿
返回
顶部