概述
from:https://zhuanlan.zhihu.com/p/44163528
哪些问题？
- 梯度消失会导致我们的神经网络中前面层的网络权重无法得到更新，也就停止了学习。
- 梯度爆炸会使得学习不稳定， 参数变化太大导致无法获取最优参数。
- 在深度多层感知机网络中，梯度爆炸会导致网络不稳定，最好的结果是无法从训练数据中学习，最坏的结果是由于权重值为NaN而无法更新权重。
- 在循环神经网络（RNN）中，梯度爆炸会导致网络不稳定，使得网络无法从训练数据中得到很好的学习，最好的结果是网络不能在长输入数据序列上学习。
3. 原因何在？
让我们以一个很简单的例子分析一下，这样便于理解。
如上图，是一个每层只有一个神经元的神经网络，且每一层的激活函数为sigmoid，则有：
最后
以上就是无语画板为你收集整理的LSTM如何解决梯度消失或爆炸的？的全部内容，希望文章能够帮你解决LSTM如何解决梯度消失或爆炸的？所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复