理论推导RNN梯度消失和梯度爆炸的原因
RNN梯度消失和梯度爆炸的原因 RNN的提出是为了解决网络无法利用历史信息的问题，但由于RNN具有梯度消失和梯度爆炸的问题，导致RNN不能存储长期记忆。网络结构 首先来看RNN的结构，如下图1所示： 上图的结构很好理解，xtx_{t}xt为网络输入，AAA为隐藏层，hth_{t}ht为网络输出。既然我们想利用之前的历史信息，那我们就将网络在上一时刻的输出保存下来，作为当前时刻的...
