LSTM与GRU的扼要理解LSTM:三个门 - 遗忘门、输入门、输出门GRU:两个门 - 更新门、重置门RNN:没有门结构
LSTM:三个门 - 遗忘门、输入门、输出门门可以理解为mask,用来过滤筛选信息。单次输入、细胞状态、单次输出,均是列向量。即总的输入是一连串的列向量。解释:除去最右边的蓝色tanh,其他每一个激活函数图标,都代表着 f(Wx+b) 即激活一个线性运算。三个门共四个要激活的线性运算,代表着四对可训练的矩阵W和截距b。这四对参数才是LSTM训练过程中真正在训练的东西。由于细胞状态c与隐状态...