从容樱桃

文章
5
资源
0
加入时间
2年10月17天

RNN的梯度消失问题

RNN模型结构:可以看出 如果说有一个非常长的句子(则对应会有一个非常深的网络),这个句子中句尾的某个词严重受句首某些词的影响(英语中的单复数,时态),这时候由于网络非常的深,则在反向传播的过程中极易出现梯度消失或者梯度爆炸的情况(反向传播时)。* 关于梯度消失的详细解释; --引自知乎 https://zhuanlan.zhihu....