神经网络中怎么解决梯度消失问题
在深度网络中，网络参数的学习是通过反向传播的链式求导法则来求 Loss 对某个参数 的偏导数，然后进行参数更新的。因此造成梯度消失的原因主要有两个：1.当网络层 数很深，而当前的参数所在层又靠近网络的输入时，求导链就会非常长；2.如果其中的某些中间结果的值很小，并经过链式的累成作用，最终求得的梯度值就会接近于零，而导致参数得不到更新。可通过以下方法解决梯度消失的问题：1. 选用合适的激活函数。比如 ReLU 或者 Leaky ReLU。因为像 Sigmoid 和 Tanh 这样的激活函数，会.
