lstm 损失降不下去_RNN&LSTM中的梯度消失问题

78 阅读 0 评论 52 点赞

我是靠谱客的博主明亮水壶，最近开发中收集的这篇文章主要介绍lstm 损失降不下去_RNN&LSTM中的梯度消失问题，觉得挺不错的，现在分享给大家，希望可以做个参考。

当深入了解LSTM之后，就会面临以下两个问题：

本文就这两个问题展开了细节描述，各位同学看到这里的时候，请拿起手边的纸和笔，因为接下来会有大量的公式需要进行演算，只有自己一步一步推到才能够明白其中的数学原理，我也会尽量做到每个变量都说明清楚，每个推导都尽量做到细致。如有不当之处敬请指正，谢谢！

公式比较多，请大家耐心看下去~~~

一、RNN中的梯度消失是如何产生的？

虽然RNN能够处理序列数据，并取得一定的效果，可是其也面临一个很大的问题，一旦序列数据很长，RNN网络将很难train的动，其中一个重要的原因就是在Backpropagation的时候，出现了梯度消失的问题，导致权重无法得到有效的更新，呈现出无法得到更新的现象。

在此，我先假设大家已经了解使用梯度下降的方法来做BackPropagation，也掌握RNN的原理。接下来我们来仔细看看其架构。

当我们需要更新

参数时&#

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。