门结构简介 因为梯度消失的问题[Pascanu et al. , 2012]，S-RNN很难有效地训练。误差信号（梯度）在反向传播过程中到达序列的后面部分时迅速减少，以至于无法到达先前的输入信号的位置，这导致S-RNN难以捕捉到长距离依赖信息。因此，LSTM[Hochreiter and Schmidhuber, 1997]和GRU[Chp et. , 2014b]等基于门的结构被设计出来，用于解决这一问题。... NLP 2024-08-24 36 点赞 0 评论 54 浏览
