MIT deep-learning（RNN）

1、sequence model applications

1. 1–1 : true or false
2. n–1 : 情感分类 positive or negative
3. 1–n : 图片描述
4. n–n : 机器翻译

2、revisit

感知器：

前馈网络：

处理独立自变量数据

时间相关的数据 递推神经元 有记忆功能：

3、RNN

每一步都有ht传到下一步，每一步都使用相同的函数和参数

例子：使用前四个词预测出第五个词

参数：hxy之间的三个W
ht和yt的计算方法

每一步的权重W都一样（L=koss）

RNN的设计原则

1. 可以处理不同长度的序列
2. 可以追踪到长期的依赖关系
3. 保留顺序信息
4. 全过程共享参数

4、Sequence Modeling：预测下一个词

encoding

1. 可以处理不同长度的序列（不同长度的句子）
2. 可以追踪到长期的依赖关系（born in France，live in Boston，speak fluent ____?）
3. 保留顺序信息(is good,not bad vs. is bad not good)

5、Backpropagation反向传播

算法：

1. 每个参数对loss求导
2. 改变参数使loss最小

在捕捉长期依赖时会出现问题！！
梯度爆炸 or 梯度消失
解决：

1. 使用激活函数

2. 权重初始化
   
   权重初始化更多方法

3. 网络结构重建（LSTM）

6、Long Short Term Memory Networks

标准RNN

LSTM

1. Forget
fortget gate layer使用Ht-1和Xt的值, 经过sigmoid函数作用之后，值ft落在0~1之间，用来控制需要忘记多少Ct-1里的内容

2. store
同样使用Ht-1和Xt的值，经过sigmoid函数作用之后，值it落在0 - 1之间，然后经过tanh函数作用之后，值落在-1~1之间，-1到1之间的值相当于是减少多少或者增加多少信息。

3. update
函数中加号左边用的算式用来控制需要忘记多少Ct-1里的内容，加号右边的算式用来控制需要改变多少本单元里的内容是减少还是增加，最后相加的结果Ct用来传递到下一个单元里去。


4. output
使用Ht-1和Xt的值，经过sigmoid函数作用之后，值Ot落在0~1之间 。然后使用Ct的值，经过tanh函数作用之后，值变成-1~1之间，接着乘以Ot，这样就可以控制想要输出的那一部分内容了,变成下一个单元的Ht-1。

5. 反向传播BPTT

BPTT推导

6. LSTM全过程：

7、RNN应用

7.1 音乐生成（n–n）

7.2 情感分类（n–1）

7.3 机器翻译（n–n）
【问题】：编码瓶颈（编码过程丢失信息），不能并行，不能长期记忆
【解决】：注意力机制，对编码器的所有输出进行加权组合后输入到当前位置的解码器中来影响解码器的输出。实现输入与输出的对齐，能够利用更多的原始数据的上下文信息。

7.4 轨迹判断自驾车辆

7.5环境建模

.

最后

以上就是瘦瘦电话为你收集整理的RNN与LSTM概论MIT deep-learning（RNN）的全部内容，希望文章能够帮你解决RNN与LSTM概论MIT deep-learning（RNN）所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。