舒适小天鹅

文章
7
资源
0
加入时间
2年10月21天

标准的LSTM网络以及公式

LSTM使用一个特殊的存储记忆单元可以改善RNN的梯度消失问题,因此在许多自然语言处理任务中它比RNN有更好的性能。LSTM单元的基本结构如下图所示。它由输入门iti_{t}it​,忘记门ftf_{t}ft​,输出门oto_{t}ot​,以及一个记忆单元ctc_{t}ct​组成。给定一个文本序列x={x1,x2,…,xn},xtx=\left\{x_{1}, x_{2}, \ldots, x_{n}\right\}, x_{t}x={x1​,x2​,…,xn​},xt​ 表示当前时间步ttt的输