我是靠谱客的博主 微笑音响，最近开发中收集的这篇文章主要介绍【深度学习】防止梯度消失的方法权重初始化的角度网络结构的角度损失函数的角度学习率自适应的角度梯度截断、权重正则化（防止梯度爆炸），觉得挺不错的，现在分享给大家，希望可以做个参考。
概述
【深度学习】防止梯度消失的方法
- 权重初始化的角度
- 网络结构的角度
- 损失函数的角度
- 学习率自适应的角度
- 梯度截断、权重正则化（防止梯度爆炸）
深度网络容易出现梯度消失问题，造成网络学习停滞。深度网络中参数的梯度为激活值与状态梯度的乘积（例如 ∂ l o s s ∂ w 2 = ∂ l o s s ∂ z 3 ∂ z 3 ∂ w 3 = ∂ l o s s ∂ z 3 a 2 ( z 3 = w 2 a 2 ) frac{partial{loss}}{partial w_2} = frac{partial{loss}}{partial z_3}frac{partial{z_3}}{partial w_3}=frac{partial{loss}}{partial z_3}a_2(z_3=w_2a_2) ∂w2∂loss=∂z3∂loss∂w3∂z3=∂z3∂lossa2(z3=w2a2)），为了避免梯度消失，应避免这两项为零。’
权重初始化的角度
Xavier初始化+tanh激活函数；
Kaiming初始化+ReLU激活函数；
BatchNorm层；
预训练+finetune
网络结构的角度
网络使用残差结构：自适应网络深度，同时避免梯度消失
RNN中为缓解长期依赖带来的梯度消失，用LSTM、GRU
损失函数的角度
linear+MSE loss; sigmoid+BCE loss; softmax+CrossEntropy loss.通过损失函数来抵消激活函数求导后造成的梯度消失影响
学习率自适应的角度
Adagrad由于累计梯度导致容易梯度消失，可以考虑RMSprop,Adam
梯度截断、权重正则化（防止梯度爆炸）
最后
以上就是微笑音响为你收集整理的【深度学习】防止梯度消失的方法权重初始化的角度网络结构的角度损失函数的角度学习率自适应的角度梯度截断、权重正则化（防止梯度爆炸）的全部内容，希望文章能够帮你解决【深度学习】防止梯度消失的方法权重初始化的角度网络结构的角度损失函数的角度学习率自适应的角度梯度截断、权重正则化（防止梯度爆炸）所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复