一、代价函数和梯度下降

回归模型的代价函数（平方误差函数）：模型预测值和实际值之间的差的平方和。最小二乘法表达式，用平方和来表达差的绝对值的大小。

回归模型的目标便是找到使得代价函数最小的模型参数组合。

梯度：用于更新神经网络的权重值
梯度下降：一个用来求函数最小值的算法，比如用梯度下降来求得代价函数的最小值。随机选择一个参数组合（${\theta }_0,{\theta }_1,{\theta }_2......{\theta }_n$）开始，寻找下一个使得代价函数值下降最多的参数组合，以此类推直到找到达到local minimum代价函数值的参数组合。

随着传播推移，梯度逐渐减小，梯度消失时，模型会停止学习。

批量梯度下降（batch gradient descent）：在梯度下降的每一步中都用到了完整的样本集，并对m个训练样本求和。

$\alpha$is the learning rate (每一次学习的时候梯度下降的幅度) and the derivative part help control the direction of gradient descent until zero. Since the derivative will decrease when we approaching the local minimum, even if we do not decrease $\alpha$, gradient descent will still automatically approach the local minimum.

${\theta }_0$ and ${\theta }_1$ should always be updated simultaneously.

2、RNN (循环神经网络）

传统神经网络的layer和layer之间是全联接的，但是layer内部的节点之间没有联接。比如CNN:

这就导致内部节点之间的关系很难被模型学习。
而RNN（循环神经网络）不仅包含上一层输入层的所有信息，隐藏层之间的节点信息比如上一时刻隐藏层的信息也会被作为这一时刻隐藏层的输入。

即：

$\begin{array}{rl}{H}_t& =f(U\ast x_t+W\ast H_{t-1})\end{array}$

其中W、U都为权重。

RNN的主要运用：

1、one to n：图像自动生成文字，x为图像特征，y为输出语句；按类别自动生成语音等

2、n to n：文字自动生成器如char RNN，x为字符，y为下一个字符的概率。

3、n to one：（文本）情感分析如大众点评自动识别好评、中评、差评，图像类别分析等，x句子词组或图像特征，y为类别输出。

4、* encoder-decoder：机器翻译，文本摘要，语音识别等等。

3、LSTM

short-term memory in RNN: 在递归神经网络中较早的层由于梯度太小而停止学习。由于不学习，这些层可以忘记在较长序列中记忆的内容，而保留短期记忆。
如果遵照RNN的记忆方式，隐藏层当前节点的状态会和隐藏层之前所有节点的状态相关，导致计算量迅速增加，从而导致计算效率低下。

$\begin{array}{rl}{H}_t& =f(U\ast x_t+W_1\ast H_{t-1}+W_2\ast H_{t-2}+W_3\ast H_{t-1}+......+W_n\ast H_{t-n})\end{array}$

而LSTM则通过在计算中加入“门“来调整细胞传输状态。“门“利用sigmoid函数，将上一细胞状态所包含的信息压缩至0～1之间，其中0表示完全遗忘，1表示完全记忆，从而调整长期记忆中每一个细胞状态所保留的值的重要性。

----- “门“的内部运算机制

最后

以上就是神勇乌龟为你收集整理的梯度下降 & 神经网络（RNN & LSTM)一、代价函数和梯度下降2、RNN (循环神经网络）3、LSTM的全部内容，希望文章能够帮你解决梯度下降 & 神经网络（RNN & LSTM)一、代价函数和梯度下降2、RNN (循环神经网络）3、LSTM所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。