标准的LSTM网络以及公式
LSTM使用一个特殊的存储记忆单元可以改善RNN的梯度消失问题,因此在许多自然语言处理任务中它比RNN有更好的性能。LSTM单元的基本结构如下图所示。它由输入门iti_{t}it,忘记门ftf_{t}ft,输出门oto_{t}ot,以及一个记忆单元ctc_{t}ct组成。给定一个文本序列x={x1,x2,…,xn},xtx=\left\{x_{1}, x_{2}, \ldots, x_{n}\right\}, x_{t}x={x1,x2,…,xn},xt 表示当前时间步ttt的输