循环神经网络——序列模型

循环神经网络 Recurrent Neural Networks

前向传播

many-to-many 结构
$$\begin{array}{cccccccc}& {\hat{y}}^{<1>}& & {\hat{y}}^{<2>}& & {\hat{y}}^{<3>}& & {\hat{y}}^{<T>}\\ & \uparrow & & \uparrow & & \uparrow & & \uparrow \\ a^{<0>}\to & \boxed{\begin{array}{c}◯\\ ◯\\ ◯\\ ◯\end{array}}& \stackrel{a^{<1>}}{\to }& \boxed{\begin{array}{c}◯\\ ◯\\ ◯\\ ◯\end{array}}& \stackrel{a^{<2>}}{\to }& \boxed{\begin{array}{c}◯\\ ◯\\ ◯\\ ◯\end{array}}& \to \cdots \to & \boxed{\begin{array}{c}◯\\ ◯\\ ◯\\ ◯\end{array}}\\ & \uparrow & & \uparrow & & \uparrow & & \uparrow \\ & x^{<1>}& & x^{<2>}& & x^{<3>}& & x^{<T>}\end{array}$$

或者表示成：

$$\begin{array}{cccccc}& {\hat{y}}^{<1>}& & {\hat{y}}^{<2>}& & {\hat{y}}^{<T>}\\ & \uparrow & & \uparrow & & \uparrow \\ a^{<0>}\to & \boxed{a^{<1>}}& \to & \boxed{a^{<2>}}& \to \cdots \to & \boxed{a^{<T>}}\\ & \uparrow & & \uparrow & & \uparrow \\ & x^{<1>}& & x^{<2>}& & x^{<T>}\end{array}$$

数学表达式：
$$\begin{array}{rl}{a}^{<0>}& =\vec{0}\\ a^{<1>}& =g_1(W_{aa}{a}^{<0>}+W_{ax}{x}^{<1>}+b_a)=g_1(W_a[a^{<0>},x^{<1>}]+b_a)\\ y^{<1>}& =g_2(W_y{a}^{<1>}+b_y)\\ ⋮& \\ a^{<T>}& =g_1(W_{aa}{a}^{<T-1>}+W_{ax}{x}^{<T-1>}+b_a)=g_1(W_a[a^{<T-1>},x^{<t>}]+b_a)\\ y^{<T>}& =g_2(W_y{a}^{<T>}+b_y)\end{array}$$ 其中，激活函数 $g_1$ 通常取 tanh 或 relu，$g_2$ 取 sigmoid.

many-to-one 结构
例：输入一部影片，进行用户情感分析(喜欢/不喜欢)
$$\begin{array}{cccccc}& & & & & {\hat{y}}^{<T>}\\ & & & & & \uparrow \\ a^{<0>}\to & \boxed{a^{<1>}}& \to & \boxed{a^{<2>}}& \to \cdots \to & \boxed{a^{<T>}}\\ & \uparrow & & \uparrow & & \uparrow \\ & x^{<1>}& & x^{<2>}& & x^{<T>}\end{array}$$

one-to-one 结构
$$\begin{array}{cc}& \hat{y}\\ & \uparrow \\ a^{<0>}\to & \boxed{a^{<1>}}\\ & \uparrow \\ & x\end{array}$$

one-to-many 结构：如音乐生成器
$$\begin{array}{cccccc}& {\hat{y}}^{<1>}& & {\hat{y}}^{<2>}& & {\hat{y}}^{<T>}\\ & \uparrow & & \uparrow & & \uparrow \\ a^{<0>}\to & \boxed{a^{<1>}}& \to & \boxed{a^{<2>}}& \to \cdots \to & \boxed{a^{<T>}}\\ & \uparrow & & & & \\ & x或\varphi & & & & \end{array}$$

其他many-to-many结构：
$$\begin{array}{cccccccc}& & & & & {\hat{y}}^{<1>}& & {\hat{y}}^{<T_y>}\\ & & & & & \uparrow & & \uparrow \\ a^{<0>}\to & \boxed{a^{<1>}}& \to \cdots \to & \boxed{a^{<T_x>}}& \to & \boxed{a^{<T_x+1>}}& \to \cdots \to & \boxed{a^{<T_x+T_y>}}\\ & \uparrow & & \uparrow & & & & \\ & x^{<1>}& & x^{<T_x>}& & & & \end{array}$$

代价函数

$$L(\hat{y},y)=\sum _{t=1}^T{L}^{<t>}({\hat{y}}^{<t>},y^{<t>})$$ 其中，$$L^{<t>}({\hat{y}}^{<t>},y^{<t>})=-y^{<t>}\log {\hat{y}}^{<t>}-(1-y^{<t>})\log (1-{\hat{y}}^{<t>})$$

反向传播

仅以 many-to-many 为例：

 

语言模型

RNN模型
对一个语言序列 $(y^{<1>},y^{<2>},\cdots ,y^{<T>})$，建立以下模型计算该序列的概率：
$$\begin{array}{ccccccc}& & \begin{array}{c}{\hat{y}}^{<1>}\\ \parallel \\ P(y^{<1>})\end{array}& & \begin{array}{c}{\hat{y}}^{<2>}\\ \parallel \\ P(y^{<2>}|y^{<1>})\end{array}& & \begin{array}{c}{\hat{y}}^{<T>}\\ \parallel \\ P(y^{<T>}|y^{<1>},\cdots ,y^{<T-1>})\end{array}\\ & & \uparrow & & \uparrow & & \uparrow \\ a^{<0>}=\vec{0}& \to & \boxed{a^{<1>}}& \to & \boxed{a^{<2>}}& \to \cdots \to & \boxed{a^{<T>}}\\ & & \uparrow & & \uparrow & & \uparrow \\ & & x^{<1>}=\vec{0}& & y^{<1>}& & y^{<T-1>}\end{array}$$
则
$$P(y^{<1>},y^{<2>},\cdots ,y^{<T>})=P(y^{<1>})P(y^{<2>}|y^{<1>})\cdots P(y^{<T>}|y^{<1>},\cdots ,y^{<T-1>})$$

损失函数
$$L(\hat{y},y)=-\sum _{t}L({\hat{y}}^{<t>},y^{<t>})$$ 其中，
$$L({\hat{y}}^{<t>},y^{<t>})=-\sum _i{y}_i^{<t>}\log {\hat{y}}^{<t>}$$

训练好模型后如何采样？
$$\begin{array}{ccccccc}& & \begin{array}{c}{\hat{y}}^{<1>}\\ \parallel \\ \arg \max P(y^{<1>})\end{array}& & \begin{array}{c}{\hat{y}}^{<2>}\\ \parallel \\ \arg \max P(y^{<2>}|{\hat{y}}^{<1>})\end{array}& & \begin{array}{c}{\hat{y}}^{<T>}\\ \parallel \\ \arg \max P(y^{<T>}|{\hat{y}}^{<1>},\cdots ,{\hat{y}}^{<T-1>})\end{array}\\ & & \uparrow & & \uparrow & & \uparrow \\ a^{<0>}=\vec{0}& \to & \boxed{a^{<1>}}& \to & \boxed{a^{<2>}}& \to \cdots \to & \boxed{a^{<T>}}\\ & & \uparrow & & \uparrow & & \uparrow \\ & & x^{<1>}=\vec{0}& & {\hat{y}}^{<1>}& & {\hat{y}}^{<T-1>}\end{array}$$

可以以<EOS>为结束标志。

门控循环单元 GRU (gated recurrent units)

解决梯度消失问题
c：memory cell
$$\begin{array}{rl}{\tilde{c}}^{<t>}& =\tanh (W_c[{\Gamma }_r\times c^{<t-1>},x^{<t>}]+b_c)\\ 相关门：{\Gamma }_r& =\sigma (W_r[c^{<t-1>},x^{<t>}]+b_r)\\ 更新门：{\Gamma }_u& =\sigma (W_u[c^{<t-1>},x^{<t>}]+b_u)\\ c^{<t>}& ={\Gamma }_u\times {\tilde{c}}^{<t>}+(1-{\Gamma }_u)\times c^{<t-1>}\\ a^{<t>}& =c^{<t>}\end{array}$$ 当 ${\Gamma }_u\approx 1$ 时，$c^{<t>}\approx c^{<t-1>}$.

长短时记忆单元 LSTM (long short time memory)

$$\begin{array}{rl}{\tilde{c}}^{<t>}& =\tanh (W_c[a^{<t-1>},x^{<t>}]+b_c)\\ 更新门：{\Gamma }_u& =\sigma (W_u[a^{<t-1>},x^{<t>}]+b_u)\\ 遗忘门：{\Gamma }_f& =\sigma (W_f[a^{<t-1>},x^{<t>}]+b_f)\\ 输出门：{\Gamma }_o& =\sigma (W_o[a^{<t-1>},x^{<t>}]+b_o)\\ c^{<t>}& ={\Gamma }_u\times {\tilde{c}}^{<t>}+{\Gamma }_f\times c^{<t-1>}\\ a^{<t>}& ={\Gamma }_o\times c^{<t>}\end{array}$$

GRU or LSTM ?
GRU 只有两个门控，更简单，可以看成是LSTM的简化；
LSTM 有三个门控，更强大和灵活。

双向RNN (bidirectional RNN)

如对于输出 ${\hat{y}}^{<3>}$，即收到了来自过去 $x^{<1>},x^{<2>}$ 的信息，又收到了来自现在 $x^{<3>}$，也收到了来自未来 $x^{<4>}$ 的信息。
在处理NLP问题中，带有LSTM的双向RNN是非常常用的。

深层RNN

$$\begin{array}{cccccc}& {\hat{y}}^{<1>}& & {\hat{y}}^{<2>}& & {\hat{y}}^{<T>}\\ & \uparrow & & \uparrow & & \uparrow \\ a^{[3]<0>}\to & \boxed{a^{[3]<1>}}& \to & \boxed{a^{[3]<2>}}& \to \cdots \to & \boxed{a^{[3]<T>}}\\ & \uparrow & & \uparrow & & \uparrow \\ a^{[2]<0>}\to & \boxed{a^{[2]<1>}}& \to & \boxed{a^{[2]<2>}}& \to \cdots \to & \boxed{a^{[2]<T>}}\\ & \uparrow & & \uparrow & & \uparrow \\ a^{[1]<0>}\to & \boxed{a^{[1]<1>}}& \to & \boxed{a^{[1]<2>}}& \to \cdots \to & \boxed{a^{[1]<T>}}\\ & \uparrow & & \uparrow & & \uparrow \\ & x^{<1>}& & x^{<2>}& & x^{<T>}\end{array}$$

如：其中 $a^{[2]<2>}=g(W_a^{[2]}[a^{[2]<1>]},a^{[1]<2>}]+b^{[2]})$
当然，也可以把其中某些箭头去掉；每一个块不一定是标准的RNN，可以是LSTM或GRU；可以建立双向RNN.

最后

以上就是高兴哈密瓜最近收集整理的关于循环神经网络——序列模型的全部内容，更多相关循环神经网络——序列模型内容请搜索靠谱客的其他文章。