梯度消失、梯度爆炸产生的原因
一、梯度消失、梯度爆炸产生的原因 对于1.1 1.2，其实就是矩阵的高次幂导致的。在多层神经网络中，影响因素主要是权值和激活函数的偏导数。1.1 前馈网络若要对于w1求梯度，根据链式求导法则，得到的解为： 通常，若使用的激活函数为sigmoid函数，其导数最大为1/4：这样可以看到，如果我们使用标准化初始w，那么各个层次的相乘都是0-1之间的小数，而激活函数f的导数也是0-1之间的数，其连乘后，结果会变的很小，导致梯度消失。若我们初始化的w是很大的数，w大到乘以激活函数的导数都大于1，那么
