【深度学习基础知识 - 03】梯度消失和梯度爆炸的概念及解决方案概念梯度消失和梯度爆炸的解决方案
梯度消失和梯度爆炸是人工智能领域出现的高频词汇，这篇文章对其进行简要介绍。概念梯度消失就是指在网络反向传播过程中由于链式求导法则不断的累积，如果每一层的梯度都小于1，由于累乘效应，出现了某些参数的梯度非常小的现象。在使用这些梯度更新梯度的时候参数值基本没有发生变化，因此就出现了网络训练停滞、模型无法继续优化的问题。梯度爆炸与之刚好相反，在网络反向传播过程中由于链式求导法则的累乘效应，在每一层梯度都大于1的时候，就可能会出现某些参数的梯度非常大。在使用这些梯度更新参数的时候就会导致参数变化过大，就
