LSTM：对比标准RNN

109 阅读 0 评论 72 点赞

我是靠谱客的博主完美黑猫，最近开发中收集的这篇文章主要介绍LSTM：对比标准RNN，觉得挺不错的，现在分享给大家，希望可以做个参考。

RNN，recurrent neural network
LSTM，long short-term memory network

LSTM隐藏层激活函数，通常使用tanh函数。
输出层使用softmax函数。

RNN反向传播算法，back-propagation through time

LSTM可以学习长期依赖信息，增加遗忘门，输入门，输出门。

具体见：
https://www.cnblogs.com/jiangxinyang/p/9362922.html

LSTM解决RNN梯度弥散。

在RNN中将tanh换成ReLU可以一定程度上解决梯度消失，但：
RNN中使用ReLU会导致非常大但输出值，导致梯度爆炸；正交权重矩阵可以解决梯度爆炸；

以上就是完美黑猫为你收集整理的LSTM：对比标准RNN的全部内容，希望文章能够帮你解决LSTM：对比标准RNN所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。