循环神经网络(RNN)

  如果我们的数据是一个时间序列，且序列长短不一，在每一个时间点存在数据，如下$$<\dots ,x_{t-2},x_{t-1},x_t,x_{t+1},x_{t+2},\cdots >$$可以说不同时刻的数据相互之间十分可能存在某种联系。

  对于这种数据，如果考虑使用DNN或者CNN，首先，DNN与CNN的batch维度是不起作用的，因为batch中的数据在前向传播是独立进行，反向传播仅仅把误差相加，DNN与CNN显然无法很好的学习batch中的数据在时间上的相关规律。另一方面，如果我们明确知道这种数据的时间连续性在前100个时间点内，我们可以增加DNN的输入神经元或CNN的输入通道数到100，把前100个时间点的数据当做特征字段$x$输入，来得到该时间点的目标输出$y$。但是实际应用中，序列长短不一(可能还不够100)，也有可能与超过100个时间点之前的数据相关系，这样我们的CNN和DNN就不好解决了，因此引入了RNN。

RNN网络结构

  RNN的一个cell往往占据一个隐层，只有一个隐层的RNN其网络结构如下图左，按时间轴展开后就得到了右边的图像。

其中的$h$所代表的模块即是RNN的cell，它有一个箭头(权重是$W$)指向自己，这就是"循环"二字的由来。一般看RNN要看其展开后的图像，$x$是网络的输入，$h$($hidden$的缩写)是隐藏层状态，$o$是网络的输出，$y$是期望输出，$L$就是$y$与$o$的损失，右上角的$t$即是在$t$时刻的数据，我们看$t$时刻的隐藏层状态$h^{(t)}$，它是由$t$时刻的输入$x^{(t)}$和$t-1$时刻的隐藏层状态$h^{(t-1)}$共同决定，可见RNN存在同一隐层内部的传播，这在CNN和DNN这种前馈神经网络结构中是不存在的，正是由于这种隐层内的传播，让RNN能够综合学习之前时刻的数据，来输出当前时刻的数据。

  上图中的权重$U，V，W$，对于展开后的RNN，是参数共享的，不同时刻的$x、h、o$在计算时，共享相同的权重值。

  在不同的时刻，RNN有不同的输入$x^{(t)}$，同样就也有对应的输出$y^{(t)}$，但有时我们可能在输入完一个序列$x^{(1)}\dots x^{(n)}$后，只要最后的输出$y^{(n)}$，或者只要部分时刻的输出，或者有其它更复杂的情况，根据输入输出，我们可以对RNN进行分类。

  当然RNN一般都不会只有一个隐层，我们可以通过叠加RNN cell来增加RNN的深度，构成深度RNN结构，一般RNN的深度越深，学习能力越强，但是学习速率会下降。下面给出一个有5个隐层的RNN结构。

红色部分表示RNN的输入部分，绿色部分表示RNN的输出部分。不难看出来，RNN的输入包含两个部分，除了数据输入$x$外，我们还要初始化隐藏层状态的输入$h$，同理，RNN的输出也包含两个部分。

RNN的神经元个数

  我们在比较不同的神经网络对某一具体问题的效果时，需要把隐层的神经元个数设置成一样的。我一直认为RNN是没有神经元这个概念的，只有RNN cell这个概念，但是一个前辈明确指出RNN是有神经元的概念。针对RNN的神经元个数，网上有不同的说法，blog认为RNN的神经元个数近似可以看成，待更新参数(权值和偏置)的个数，还有人认为RNN某一隐层的神经元个数就是把RNN展开后，RNN结构在时间上的迭代次数，即输入的时间序列的长度。这两种定义都不是很到位，这样定义神经元，无法很好地对接DNN中的神经元。

  在说RNN的神经元之前，先说明一下RNN的输入$x$的size。

  RNN的输入$x$的size可以表示成$(batchsize,sequencelength,inputsize)$，如果我们的batch size是10，对于batch中的一条记录，其包含的时间步总长sequence length是20，即我们的时间序列长是20，batch中的一条记录在某一时刻的特征总数是30，那么我们输入的size是$(10,20,30)$，同样的，每一个隐藏层的隐藏状态$h$可以定义成$(batchsize,sequencelength,hiddensize)$，

  我们把只有一个隐层的RNN，其$t-1$时刻到$t$时刻展开的更加彻底，见下图：

m就是$x$的size中的$inputsize$，n就是$h$的size中的$hiddensize$，这样我们就可以按照看DNN结构的方式，来看RNN的$t$时刻的结构，可见隐层的神经元个数就是$hiddensize$。

RNN前向传播

  在$t$时刻，RNN根据该时刻的输入$x_t$，和上一时刻保留的信息$h_{t-1}$，按照下面的公式计算该时刻的输出$o_t$。$$\begin{gathered} h_t=f(U{x}_t+W{h}_{t-1}+b) \\ {o}_t=f(V{h}_t+c) \end{gathered}$$

其中$f(\cdot )$是激活函数，最终的损失函数是对需要考虑的所有时刻的损失的叠加$$L=\sum _{t=1}^T{l}_t=\sum _{t=1}^{T}l(o_t,y_t)$$

其中，$y_t$是$t$时刻的期望输出。

RNN反向传播

  RNN的反向传播基本思路和DNN和CNN的反向传播类似，但是，由于RNN具有时间因素，最后的损失函数又考虑了所有时刻的误差，所以RNN的反向传播要沿着不同时刻的网络结构进行，所以叫做BPTT(Back-Propagation Through Time)。RNN的反向传播要更新的参数包括权重$U,V,W$和偏置$b,c$。

  以一个隐层的RNN为例，下面的推导针对batch中的一个数据，多个数据只需要求和取平均即可。
  损失对$V$和$c$的偏导数如下：$$\frac{\partial L}{\partial V}=\sum _{t=1}^T\frac{\partial l_t}{\partial o_t}\frac{\partial o_t}{\partial V}$$$$\frac{\partial L}{\partial c}=\sum _{t=1}^T\frac{\partial l_t}{\partial o_t}\frac{\partial o_t}{\partial c}$$

  我们定义RNN中的残差结构如下：$${\delta }_t=\frac{\partial L}{\partial h_t}=\sum _{t=1}^T\frac{\partial l_t}{\partial h_t}$$由于$h_t$只传播给$o_t$以及$h_{t+1}$(最后的时刻没有$h_{t+1}$)，所以$$\begin{array}{rl}{\delta }_t& =\frac{\partial L}{\partial h_t}\\ & =\sum _{t=1}^T(\frac{\partial l_t}{\partial o_t}\frac{\partial o_t}{\partial h_t}+\frac{\partial l_t}{\partial h_{t+1}}\frac{\partial h_{t+1}}{\partial h_t})\\ & =\frac{\partial l_t}{\partial o_t}\frac{\partial o_t}{\partial h_t}+\sum _{t=1}^T\frac{\partial l_t}{\partial h_{t+1}}\frac{\partial h_{t+1}}{\partial h_t}\\ & =\frac{\partial l_t}{\partial o_t}\frac{\partial o_t}{\partial h_t}+{\delta }_{t+1}\frac{\partial h_{t+1}}{\partial h_t}\end{array}$$

  损失对$W$的偏导数，由于$h_t$中含有$h_{t-1}$，$h_{t-1}$中也有W，同理$h_{t-1}$中仍然含有$h_{t-2}$，所以损失对$W$的偏导数要更复杂。具体公式如下：$$\begin{array}{rl}\frac{\partial L}{\partial W}& =\sum _{t=1}^T\frac{\partial l_t}{\partial h_t}\frac{\partial h_t}{\partial W}\\ & =\sum _{t=1}^T{\delta }_t(\frac{\partial h_t}{\partial W}+\frac{\partial h_t}{\partial h_{t-1}}\frac{\partial h_{t-1}}{\partial W}+\frac{\partial h_t}{\partial h_{t-1}}\frac{\partial h_{t-1}}{\partial h_{t-2}}\frac{\partial h_{t-2}}{\partial W}+\dots )\\ & =\sum _{t=1}^T{\delta }_t\sum _{k=1}^t(\prod _{j=k}^{t-1}\frac{\partial h_{j+1}}{\partial h_j})\frac{\partial h_k}{\partial W}\end{array}$$

注意第二个等号的右式，括号中的$\frac{\partial h_t}{\partial W}$，在对$W$求偏导时，$h_{t-1}$看成常数了。损失对$U$和$b$的偏导数如下：
$$\begin{array}{rl}\frac{\partial L}{\partial U}& =\sum _{t=1}^T\frac{\partial l_t}{\partial h_t}\frac{\partial h_t}{\partial U}\\ & =\sum _{t=1}^T{\delta }_t(\frac{\partial h_t}{\partial U}+\frac{\partial h_t}{\partial h_{t-1}}\frac{\partial h_{t-1}}{\partial U}+\frac{\partial h_t}{\partial h_{t-1}}\frac{\partial h_{t-1}}{\partial h_{t-2}}\frac{\partial h_{t-2}}{\partial U}+\dots )\\ & =\sum _{t=1}^T{\delta }_t\sum _{k=1}^t(\prod _{j=k}^{t-1}\frac{\partial h_{j+1}}{\partial h_j})\frac{\partial h_k}{\partial U}\end{array}$$

$$\begin{array}{rl}\frac{\partial L}{\partial b}& =\sum _{t=1}^T\frac{\partial l_t}{\partial h_t}\frac{\partial h_t}{\partial b}\\ & =\sum _{t=1}^T{\delta }_t(\frac{\partial h_t}{\partial b}+\frac{\partial h_t}{\partial h_{t-1}}\frac{\partial h_{t-1}}{\partial b}+\frac{\partial h_t}{\partial h_{t-1}}\frac{\partial h_{t-1}}{\partial h_{t-2}}\frac{\partial h_{t-2}}{\partial b}+\dots )\\ & =\sum _{t=1}^T{\delta }_t\sum _{k=1}^t(\prod _{j=k}^{t-1}\frac{\partial h_{j+1}}{\partial h_j})\frac{\partial h_k}{\partial b}\end{array}$$

RNN的梯度消失问题

  同DNN一样，RNN的反向传播公式中含有对激活函数的求导，sigmoid激活函数导数小于等于0.25大于0，tanh的激活函数导数小于等于1大于0，这样就会导致，随着反向传播层数的增加以及反向传播经历时间的变长，我们的误差偏导数会不断的乘以激活函数的导数，进而不断变小，造成RNN不容易对靠近输入$x$和输入$h$的参数的更新。

  针对这一问题，学者们提出了很多RNN改进形式，最有名的就是LSTM。

长短期记忆网络(LSTM)

  长短期记忆模型（long short time memory，简称LSTM）由Schmidhuber等人在1997年提出，与高速公路网络（highway networks）有异曲同工之妙。LSTM主体结构沿用RNN的样子，只是把RNN cell改成了LSTM cell，引入了门控结构和细胞状态的概念，输入门作用于输入信息，遗忘门作用于之前的记忆信息，二者加权和，得到汇总信息，最后通过输出门决定输出信息。

LSTM结构

  RNN cell可以表示成下图，在该图中激活函数选用的$tanh$。

改进后的LSTM cell有很多种不同的结构，最常见最基本的结构可以表示成下图

其中，

可见，LSTM的cell结构要更加的复杂，我们可以看到，LSTM相对于RNN中单一的隐藏状态$h$，还维系了一个更加全局的细胞状态$c$，具体看下图

细胞状态也是在隐层内随着时间进行传递，我们可以认为细胞状态就是"主线剧情"，或者把LSTM理解成人的大脑，在$t$时刻，传入的$c_{t-1}$细胞状态就代表大脑在经过前$t-1$个cell后记住的东西，在$t$时刻的cell中，我们会动态忘记(删去)细胞状态中的一些东西，并加上一些新的东西到我们的细胞状态中，更新后的细胞状态在同$h_{t-1}$和$x_t$组合后产生$t$时刻该cell的隐藏层状态$h_t$，$h_t$会传给更深层的cell以及$t+1$时刻的cell。这分别就是LSTM中遗忘门，输入门，输出门的作用。注意在cell中传递的都是张量。

  下面给出了LSTM的遗忘门示意图，它根据$h_{t-1}$和$x_t$决定忘记细胞状态的哪些值。

下面给出了LSTM的输入门示意图，它根据$h_{t-1}$和$x_t$决定，把哪些东西加到细胞状态中。

下面给出了LSTM的输入门和遗忘门，是如何作用到细胞状态的示意图，可以看到，遗忘门经过激活函数，是乘在细胞状态上的，如果选用sigmoid激活函数，sigmoid激活函数输出是0,1之间，乘在细胞状态上，就相当于对细胞状态进行了一种"遗忘"操作，其中0表示"完全遗忘"之前$t-1$个cell积累的状态值，1表示"完全保留"之前$t-1$个cell积累的状态值；而输出门是加在细胞状态上的，就相当于对细胞状态进行了一种"写入"操作。

下面给出了LSTM输出门示意图，经过了遗忘门和输入门后的细胞状态，会进一步进行封装，即同$h_{t-1}$和$x_t$组合后产生$t$时刻该cell的隐藏层状态$h_t$，$h_t$会传给更深层的cell以及$t+1$时刻的cell。

  第一次看到LSTM的结构时，就被这样的门控结构惊呆了，果然是大神设计出的神经网络结构，个人理解，由于细胞状态是贯穿整个隐层的所有cell的，所以一定程度上缓解了梯度消失问题。但还不是很能理解，在输入门和输出门中为何要设计成双激活函数相乘的结构，不是很清楚这样设计的目的何在。

  用三种门结构解释LSTM是目前很多blog用的方法，其实LSTM还可以用五种门结构来理解，新加入了输入调制门(input modulation gate)和输出调制门(output modulation gate)，结构其实还是一样的，只不过用五门结构解释会更加的具体，见下图：

不难看出，输入调制和输出调制都是针对最中间的细胞状态说的。

LSTM反向传播

  这一部分可以看刘建平老师关于LSTM反向传播的推导，过程还是很复杂的。

LSTM神经元个数

  LSTM的神经元的看待方式，同上面RNN的神经元看待方式是一样。

参考资料：
RNN：https://www.cnblogs.com/pinard/p/6509630.html
LSTM：https://www.cnblogs.com/pinard/p/6519110.html
RNN+LSTM：https://blog.csdn.net/zhaojc1995/article/details/80572098
根据输入输出对RNN进行分类：https://blog.csdn.net/qq_38742161/article/details/87560232
循环神经网络：https://mp.weixin.qq.com/s?__biz=MzU4MjQ3MDkwNA==&mid=2247484310&idx=1&sn=0fc55a2784a894100a1ae64d7dbfa23d&chksm=fdb69e01cac1171758cb021fc8779952e55de41032a66ee5417bd3e826bf703247e243654bd0&scene=21#wechat_redirect

最后

以上就是刻苦画笔为你收集整理的循环神经网络(RNN)与长短期记忆网络(LSTM)循环神经网络(RNN)长短期记忆网络(LSTM)的全部内容，希望文章能够帮你解决循环神经网络(RNN)与长短期记忆网络(LSTM)循环神经网络(RNN)长短期记忆网络(LSTM)所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。