【学习笔记】BP神经网络学习简介信息前向传播误差反向传播

简介

误差反向传播算法简称反向传播算法（即BP算法）。
使用反向传播算法的多层感知器又称为BP神经网络。BP算法是一个迭代算法，它的基本思想为：

• 1、先计算每一层的状态和激活值，直到最后一层（前向传播）

• 2、计算每一层的误差，误差的计算过程是从最后一层向前推进的

• 3、更新参数（目标是误差变小）。迭代前面两个步骤，直到满足停止准则（比如相邻两次迭代的误差的差别很小）

本文约定

对于M-P神经元和感知机（简单的前馈神经网络）都在上一篇博文中介绍了，现在先规定一下下面讲解推到过程的时候的一些记号

• $$n_l$$表示第$$l$$层的神经元个数

• $$f(\cdot )$$ 表示神经元的激活函数（激活函数我另外会再开一篇博文来记录）

• $$W^{(l)}\in {\mathbb{R}}^{n_l\times n_l}$$ 表示第 $$l-1$$ 层到第 $$l$$ 层的权重矩阵

• $$w_{ij}^{(l)}$$表示第$$l$$层的第$$j$$个神经元与上一个，即$$(l-1)$$层的第$$i$$个神经元的连接权重

• $$b_i^{(l)}$$表示第$$l$$层的第$$i$$个神经元的偏置

• $$b^{(l)}=(b_1^{(l)},b_2^{(l)},...,b_{n_l}^{(l)}{)}^T\in {\mathbb{R}}_l^n$$表示第$$l-1$$层到第$$l$$层的偏置

• $$z_i^{(l)}$$ 表示第$$l$$层中第$$i$$个神经元节点的输入值

• $$z^{(l)}=(z_1^{(l)},z_2^{(l)},...,z_{n_l}^{(l)}{)}^T\in {\mathbb{R}}_l^n$$表示第$$l-1$$层到第$$l$$层的输入

• $$a_i^{(l)}$$表示第$$l$$层中第$$i$$个神经元节点的激活值(输出值)

使用的图片来源网络，部分符号约定不同自行变通

本文以三层感知机为例

信息前向传播

由该神经网络可以得出第二层的参数

并且，我们能够用相同的方法计算第三层的参数

所以可以总结出，第$$l(2\le l\le L)$$ 层神经元的输入和激活值(输出值)

所以对于前馈神经网络的信息前向传播的传递过程入下：

误差反向传播

目的：调整$$w、b$$权重和偏置直到最优，知道损失函数最小为止

使用方法：梯度下降法(本文使用批量梯度下降、随机梯度下降)

权重和偏置的更新规则为：

• $$w_{new}、w_{old}$$ 表示该连接的新权重和旧的权重

• $$b_{new}、b_{old}$$ 表示该连接的新偏置和旧的偏置

• $$J_{total}$$表示每个$$(x_{(i)},y_{(i)})$$ 数据计算出的损失函数的平均

$$\mu$$ 代表学习率，即“步长”

下面我们求损失函数(本文使用平均损失，交叉熵损失函数暂无)

对于训练数据为$$(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(N)},y^{(N)})$$即总共由$$N$$组训练数据(不含测试数据)，所以它最后的输出的训练实际值就有$$y^{(i)}=(y_1^{(i)},\cdot \cdot \cdot ,y_{nL}^{(i)}{)}^T$$

对于某一个数训练数据$$(x^{(i)},y^{(i)})$$来说就有一个损失函数：

• $$y^{(i)}$$代表期望的输出，也就是我们自己给出的数据中的$$y$$值

• $$o^{(i)}$$ 为网络的实际输出

所以一个epoch下来，的平均损失：

输出层权重更新

还是用本文前那个神经网络进行示例进行输出层权重的更新

$ J_{(3)} = frac{1}{2}parallel y^{(3)}-o{(3)}parallel qquad = frac{1}{2}parallel y^{(3)}-a{(3)}parallel qquad =frac{1}{2}left [(y^{(3)}_1-a{(3)}_1)^2+(y{(3)}_2-a^{(3)}_1)2 right ] qquad =frac{1}{2}left {left [y^{(3)}_1-f(z{(3)}_1)right]^2+left [y^{(3)}_2-f(z{(3)}2)right]^2right } qquad =frac{1}{2}left {left [y^{(3)}_1-f(w{3}{11}a^{(2)}_1 + w^{3}_{21}a{(2)}_2 + w^{3}_{31}a{(2)}3 + b^{{(3)}_1)right]}2+left [y^{(3)}_2-f(w{3}{12}a^{(2)}_1 + w^{3}_{22}a{(2)}_2 + w^{3}_{32}a{(2)}_3 + b^{{(3)}_2)right]}2right } $

由链式求导法则去分别对$$w_{11}^{(3)}、w_{21}^{(3)}、w_{31}^{(3)}$$求偏导

$$\frac{\partial J_3}{\partial w_{11}^{(3)}}=\frac{\partial J_3}{\partial a_1^{(3)}}\frac{\partial a_1^{(3)}}{\partial z_1^{(3)}}\frac{\partial z_1^{(3)}}{\partial w_{11}^{(3)}}$$
$$\frac{\partial J_3}{\partial w_{21}^{(3)}}=\frac{\partial J_3}{\partial a_1^{(3)}}\frac{\partial a_1^{(3)}}{\partial z_1^{(3)}}\frac{\partial z_1^{(3)}}{\partial w_{21}^{(3)}}$$
$$\frac{\partial J_3}{\partial w_{31}^{(3)}}=\frac{\partial J_3}{\partial a_1^{(3)}}\frac{\partial a_1^{(3)}}{\partial z_1^{(3)}}\frac{\partial z_1^{(3)}}{\partial w_{31}^{(3)}}$$
$$\frac{\partial J_3}{\partial w_{12}^{(3)}}=\frac{\partial J_3}{\partial a_2^{(3)}}\frac{\partial a_2^{(3)}}{\partial z_2^{(3)}}\frac{\partial z_1^{(3)}}{\partial w_{12}^{(3)}}$$
$$\frac{\partial J_3}{\partial w_{22}^{(3)}}=\frac{\partial J_3}{\partial a_2^{(3)}}\frac{\partial a_2^{(3)}}{\partial z_2^{(3)}}\frac{\partial z_1^{(3)}}{\partial w_{22}^{(3)}}$$
$$\frac{\partial J_3}{\partial w_{32}^{(3)}}=\frac{\partial J_3}{\partial a_2^{(3)}}\frac{\partial a_2^{(3)}}{\partial z_2^{(3)}}\frac{\partial z_1^{(3)}}{\partial w_{32}^{(3)}}$$

再拿$$w_{11}^{(3)}$$为例，带入求偏导得：

$$\begin{gathered} \frac{\partial J_3}{\partial w_{11}^{(3)}}=\frac{1}{2}\cdot 2(y_1^{(3)}-a_1^{(3)})(-\frac{\partial a_1^{(3)}}{\partial w_{11}^{(3)}}) \\ =-(y_1^{(3)}-a_1^{(3)})f^{\prime }(z_1^{(3)})\frac{\partial z_1^{(3)}}{\partial w_{11}^{(3)}} \\ =-(y_1^{(3)}-a_1^{(3)})f^{\prime }(z_1^{(3)})a_1^{(2)} \end{gathered}$$

根据上面的公式，我们令：

$${\delta }_i^{(l)}=\frac{\partial J}{\partial z_i^{(l)}}=\frac{\partial J}{\partial a_i^{(l)}}\frac{\partial a_i^{(l-1)}}{\partial z_i^{(l)}}=-(y_i^{(l)}-a_i^{(l)})f^{\prime }(z_i^{(l)})$$

所以：

$$\frac{\partial J}{\partial w_{11}^{(3)}}={\delta }_1^{(3)}{a}_1^{(2)}$$
$$\frac{\partial J}{\partial w_{21}^{(3)}}={\delta }_1^{(3)}{a}_2^{(2)}$$
$$\frac{\partial J}{\partial w_{31}^{(3)}}={\delta }_1^{(3)}{a}_3^{(2)}$$
$$\frac{\partial J}{\partial w_{12}^{(3)}}={\delta }_2^{(3)}{a}_1^{(2)}$$
$$\frac{\partial J}{\partial w_{22}^{(3)}}={\delta }_2^{(3)}{a}_2^{(2)}$$
$$\frac{\partial J}{\partial w_{32}^{(3)}}={\delta }_2^{(3)}{a}_3^{(2)}$$

所以，假设神经网络一共由$$L$$层，那么对一般式而言：

$${\delta }_i^{(L)}=-(y_i^{(L)}-a_i^{(L)})f^{\prime }(z_i^{(L)})$$
$$\frac{\partial J}{w_{ij}^{(L)}}={\delta }_i^{(L)}{a}_i^{(L-1)}$$

对向量/矩阵运算：

$${\delta }^{(L)}=-(y^{(L)}-a^{(L)})\odot f^{\prime }(z^{(L)})$$
$${▽}_{W^{(L)}}J={\delta }^{(L)}(a^{(L-1)}{)}^T$$

再用这个式子进行权重的更新即可

隐藏层权重更新

隐藏层的权重更新也是使用链式法则求偏导数，只不过平时使用的都是向量而已：

对$$w_{11}^{(2)}$$更新：

$$\frac{\partial J_3}{\partial w_{11}^{(2)}}=\frac{\partial J_3}{\partial a_1^{(3)}}\frac{\partial a_1^{(3)}}{\partial z_1^{(3)}}\frac{\partial z_1^{(3)}}{\partial a_1^{(2)}}\frac{\partial a_1^{(2)}}{\partial z_1^{(2)}}\frac{z_1^{(2)}}{w_{11}^{(2)}}+\frac{\partial J_3}{\partial a_2^{(3)}}\frac{\partial a_2^{(3)}}{\partial z_2^{(3)}}\frac{\partial z_2^{(3)}}{\partial a_1^{(2)}}\frac{\partial a_1^{(2)}}{\partial z_1^{(2)}}\frac{z_1^{(2)}}{w_{11}^{(2)}}$$

再结合

其他隐藏层权重更新同理，在这里不再过多赘述

接着使用刚刚我们定义的$${\delta }_i^{(l)}$$推导公式

$$\frac{\partial J}{\partial w_{ij}^{(l)}}=\frac{\partial J}{\partial z_i^{(l)}}={\delta }_i^{(l)}\frac{\partial z_i^{(l)}}{w_{ij}^{(l)}}={\delta }_i^{(l)}{a}_j^{(l-1)}$$

当在隐藏层时，又链式法则和函数和求导公式就有：

$$\frac{\partial J}{\partial z_i^{(l)}}=\frac{\partial J}{\partial z_1^{(l-1)}}\frac{\partial z_1^{(l-1)}}{\partial z^{(i)}}+\frac{\partial J}{\partial z_2^{(l-1)}}\frac{\partial z_2^{(l-1)}}{\partial z^{(i)}}+\cdot \cdot \cdot +\frac{\partial J}{\partial z_{n_l+1}^{(l-1)}}\frac{\partial z_{n_l+1}^{(l-1)}}{\partial z^{(i)}}=\sum _{j=1}^{n_l+1}\frac{\partial J}{\partial z_j^{(l+1)}}\frac{\partial z_j^{l+1}}{\partial z_i^l}$$

所以

又因为

$$z_j^{(l+1)}=\sum _{i=1}^{n_l}{w}_{ji}^{(l+1)}{a}_i^{(l)}+b_j^{(l+1)}=\sum _{i=1}^{n_l}{w}_{ji}^{(l+1)}f(z_i^{(l)})+b_j^{(l+1)}$$

所以有：

$$\frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}}=\frac{\partial z_j^{(l+1)}}{\partial a_i^{(l)}}\frac{\partial a_i^{(l)}}{\partial z_j^{(l)}}=w_{ji}^{(l+1)}f{z}_i^{(l)}$$

再带入前面的$${\delta }_i^{(l)}$$：

输出层偏置更新

偏置的更新其实和权重更新是一样的

输出层的偏置比较好算

$$\frac{\partial J}{\partial b_1^{(3)}}=\frac{\partial J}{\partial a_1^{(3)}}\frac{\partial a_1^{(3)}}{\partial z_1^{(3)}}\frac{z_1^{(3)}}{b_1^{(3)}}$$
$$\frac{\partial J}{\partial b_2^{(3)}}=\frac{\partial J}{\partial a_2^{(3)}}\frac{\partial a_2^{(3)}}{\partial z_2^{(3)}}\frac{z_2^{(3)}}{b_2^{(3)}}$$

再结合

隐藏层偏执更新

隐藏层偏置更新和权重更新也是一个道理

$$\frac{\partial J}{\partial b_1^{(2)}}=\frac{\partial J}{\partial a_1^{(3)}}\frac{\partial a_1^{(3)}}{\partial z_1^{(3)}}\frac{z_1^{(3)}}{a_1^{(2)}}\frac{a_1^{(2)}}{z_1^{(2)}}\frac{z_1^{(2)}}{b_1^{(2)}}+\frac{\partial J}{\partial a_2^{(3)}}\frac{\partial a_2^{(3)}}{\partial z_2^{(3)}}\frac{z_2^{(3)}}{a_1^{(2)}}\frac{a_1^{(2)}}{z_1^{(2)}}\frac{z_1^{(2)}}{b_1^{(2)}}$$
$$\frac{\partial J}{\partial b_2^{(2)}}=\frac{\partial J}{\partial a_1^{(3)}}\frac{\partial a_1^{(3)}}{\partial z_1^{(3)}}\frac{z_1^{(3)}}{a_2^{(2)}}\frac{a_2^{(2)}}{z_2^{(2)}}\frac{z_2^{(2)}}{b_2^{(2)}}+\frac{\partial J}{\partial a_2^{(3)}}\frac{\partial a_2^{(3)}}{\partial z_2^{(3)}}\frac{z_2^{(3)}}{a_2^{(2)}}\frac{a_2^{(2)}}{z_2^{(2)}}\frac{z_2^{(2)}}{b_2^{(2)}}$$
$$\frac{\partial J}{\partial b_3^{(2)}}=\frac{\partial J}{\partial a_1^{(3)}}\frac{\partial a_1^{(3)}}{\partial z_1^{(3)}}\frac{z_1^{(3)}}{a_3^{(2)}}\frac{a_3^{(2)}}{z_3^{(2)}}\frac{z_3^{(2)}}{b_3^{(2)}}+\frac{\partial J}{\partial a_2^{(3)}}\frac{\partial a_2^{(3)}}{\partial z_2^{(3)}}\frac{z_2^{(3)}}{a_3^{(2)}}\frac{a_3^{(2)}}{z_3^{(2)}}\frac{z_3^{(2)}}{b_3^{(2)}}$$

再根据对权重的推论，同理可得：

再结合：

最后

以上就是虚拟海燕为你收集整理的【学习笔记】BP神经网络学习简介信息前向传播误差反向传播的全部内容，希望文章能够帮你解决【学习笔记】BP神经网络学习简介信息前向传播误差反向传播所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。