受伤小熊猫

文章
2
资源
0
加入时间
2年10月21天

为什么RNN会比CNN更容易出现梯度消失或爆炸

公式:输出层ot表示输出值,输出层是一个全连接层与隐藏层的每一个节点连接,V是输出层的权重矩阵,g表示激活函数,循环层st 表示隐藏层的值,U是输入的权重矩阵,xt表示输入的值,W是上一时间步st-1作为当前时间步st的输入权重矩阵,f表示激活函数,从上述公式可知:st的值不仅仅取决于输入的x,还取决于st-1将st带入Ot的计算公式 得:从上式可知循环网络的输出,和xt,xt-1,xt-3有关,这就是循环网络具有记忆的特性...