自然语言处理 - 梯度消失和RNN变种 (LSTM, GRU, 双向RNN, 多层RNN)
本文翻译和精简自 Stanford cs224n lec 07.1. 梯度消失和梯度爆炸1.1 梯度消失1.1.1 梯度消失的产生原因以最简单的网络结构为例，假如有三个隐藏层，每层的神经元个数都是1，且对应的非线性函数为 yi=σ(zi)=σ(wixi+bi)y_i=\sigma (z_i) = \sigma(w_ix_i+b_i)yi=σ(zi)=σ(wixi+bi), 如下图：引起梯度消失的“罪魁祸首”其实就是激活函数sigmoid:σ(x)=11+e−x\sigma(x)=
