LSTM—GRU—indRNN 避免与解决梯度弥散与爆炸--Batch Normalization
1. LSTM避免RNN的梯度消失(gradient vanishing)2. LSTM避免RNN的梯度爆炸3. GRU 与 LSTM 比较1. LSTM避免RNN的梯度消失(gradient vanishing)RNN的本质是在网络内部维护了一个状态 StStS_t,其中 ttt 表示时间且 StStS_t 可递归计算。 传统的RNN总是...