概述
和CNN等深度神经网络梯度消失的原因不同，RNN中所谓的梯度消失并不是真正意义上的梯度消失，准确的说应该是梯度消散
RNN 中同样的优化参数在各个时刻共享，最终的梯度 g = 各个时间步的梯度 g_t 的和；较远时刻的输出对相比于相邻时刻的输出，梯度的计算需要更多次求导运算，这就导致远距离的梯度更容易消失或爆炸，换一个角度来说，RNN中的总梯度不会消失，而是远距离输出对应的梯度更容易消失，从而导致模型难以学到远距离的依赖关系。
关于LSTM介绍请参考为篇文章->#通俗理解# LSTM网络
最后
以上就是俭朴人生为你收集整理的#从根本上分析# RNN网络梯度消失的原因的全部内容，希望文章能够帮你解决#从根本上分析# RNN网络梯度消失的原因所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复