我是靠谱客的博主 安静汉堡,最近开发中收集的这篇文章主要介绍【深度学习】深度学习中RNN梯度消失,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

RNN梯度消失理解

深度学习与RNN模型

**深度学习主要思想为统计不变性(最主要的是权重共享,大大降低神经网络中的向量维数,一定程度上可以避免过拟合同时也能降低计算量),表现在空间上权重共享上体现为CNN(Convolutional Neural Network),时间上权重共享体现为RNN(Recurrent Neural Networks)。 RNN前向传播:
处理序列数据,如下图:
这里写图片描述
该图为unrolling状态的RNN,将每个时刻的输入输出以及互相的影响更为直观的体现出来,上一时刻的隐藏层输出会对下一时刻的隐藏层产生影响,公式体现为:
这里写图片描述
RNN反向传播(BP)更新参数:
假定目前在t时刻,需要更新至t=1时刻之间的参数,定义L为损失函数,公式如下:
这里写图片描述

若theta初始化为小于1的数,假如前向传播了上万次,那么在反向传播更新t=1时的参数时,导致求得的偏导极小,接近于0(小于1的数连续相乘),从而导致了所谓的梯度消失现象。
梯度消失会使RNN的长时记忆失效,因为无法更新参数,关于梯度消失的解决方案,下个博客再续!

最后

以上就是安静汉堡为你收集整理的【深度学习】深度学习中RNN梯度消失的全部内容,希望文章能够帮你解决【深度学习】深度学习中RNN梯度消失所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(43)

评论列表共有 0 条评论

立即
投稿
返回
顶部