概述
RNN梯度消失理解
深度学习与RNN模型
-
**深度学习主要思想为统计不变性(最主要的是权重共享,大大降低神经网络中的向量维数,一定程度上可以避免过拟合同时也能降低计算量),表现在空间上权重共享上体现为CNN(Convolutional Neural Network),时间上权重共享体现为RNN(Recurrent Neural Networks)。
RNN前向传播:
-
处理序列数据,如下图:
-
该图为unrolling状态的RNN,将每个时刻的输入输出以及互相的影响更为直观的体现出来,上一时刻的隐藏层输出会对下一时刻的隐藏层产生影响,公式体现为:
RNN反向传播(BP)更新参数:
-
假定目前在t时刻,需要更新至t=1时刻之间的参数,定义L为损失函数,公式如下:
-
若theta初始化为小于1的数,假如前向传播了上万次,那么在反向传播更新t=1时的参数时,导致求得的偏导极小,接近于0(小于1的数连续相乘),从而导致了所谓的梯度消失现象。
梯度消失会使RNN的长时记忆失效,因为无法更新参数,关于梯度消失的解决方案,下个博客再续!
最后
以上就是安静汉堡为你收集整理的【深度学习】深度学习中RNN梯度消失的全部内容,希望文章能够帮你解决【深度学习】深度学习中RNN梯度消失所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复