清新学姐

文章
4
资源
0
加入时间
3年1月13天

LSTM如何解决梯度消失

哪些问题?梯度消失会导致我们的神经网络中前面层的网络权重无法得到更新,也就停止了学习。梯度爆炸会使得学习不稳定, 参数变化太大导致无法获取最优参数。在深度多层感知机网络中,梯度爆炸会导致网络不稳定,最好的结果是无法从训练数据中学习,最坏的结果是由于权重值为NaN而无法更新权重。在循环神经网络(RNN)中,梯度爆炸会导致网络不稳定,使得网络无法从训练数据中得到很好的学习,最好的结果是网络不能在长输入数据序列上学习。原因何在?举个例子如上图,是一个每层只有一个神经元的神经网络,且每一层的激活函数