#从根本上分析# RNN网络梯度消失的原因
和CNN等深度神经网络梯度消失的原因不同，RNN中所谓的梯度消失并不是真正意义上的梯度消失，准确的说应该是梯度消散RNN 中同样的优化参数在各个时刻共享，最终的梯度 g = 各个时间步的梯度 g_t 的和；较远时刻的输出对相比于相邻时刻的输出，梯度的计算需要更多次求导运算，这就导致远距离的梯度更容易消失或爆炸，换一个角度来说，RNN中的总梯度不会消失，而是远距离输出对应的梯度更容易消失，从而导致模型难以学到远距离的依赖关系。关于LSTM介绍请参考为篇文章->#通俗理解# LSTM网
