深度学习中的梯度消失、梯度爆炸问题的原因以及解决方法
本文简要介绍梯度消失 (gradient vanishing) 和梯度爆炸 (gradient exploding) 问题，并给出一些可行的解决方法。神经网络在更新参数的过程中，使用反向传播 (Backpropagation) 算法求得各层网络的梯度，可以看作是神经网络式的链式法则。反向传播过程是导致梯度消失和梯度爆炸问题的主要原因，而且随着网络的深度增加，这些问题越发明显。深度神经网络在解决...
