花痴镜子

文章
6
资源
1
加入时间
3年0月20天

LSTM和GRU看完必须全部了然零、tanh函数与sigmoid函数一、RNN简单介绍二、RNN的缺点——短时记忆三、LSTM四、GRU

LSTM和GRU的感性理解一、RNN的缺点——短时记忆二、LSTM1.整体结构一、RNN的缺点——短时记忆RNN 会受到短时记忆的影响。如果一条序列足够长,那它们将很难将信息从较早的时间步传送到后面的时间步。 因此,如果你正在尝试处理一段文本进行预测,RNN 可能从一开始就会遗漏重要信息。在反向传播期间,RNN 会面临梯度消失的问题。 梯度是用于更新神经网络的权重值,消失的梯度问题是当梯度随着时间的推移传播时梯度下降,如果梯度值变得非常小,就不会继续学习。因此,在递归神经网络中,获得小梯度更新的