【听说你还不会？】多层神经网络原理详细推导1 结构2 正向过程3 loss4 反向传播

51 阅读 0 评论 34 点赞

我是靠谱客的博主感性冥王星，最近开发中收集的这篇文章主要介绍【听说你还不会？】多层神经网络原理详细推导1 结构2 正向过程3 loss4 反向传播，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

1 结构

在这里插入图片描述

第0层是输入层，输入为X，维度为 $n^{[0]},m)$ ，其中 $n^{[0]}$ 表示第0层含有的节点，也是X的特征数。 $m$ 表示样本数。

以此类推，第1层的节点数 $n^{[1]}$ ，第2层的节点数 $n^{[2]}$ ，…，第L层的节点数 $n^{[L]}$ 。

2 正向过程

第0层输入层数据 $X$ ，维度 $n^{[0]},m)$ 。 $n^{[0]}$ 表示第0层含有的节点，也是X的特征数。 $m$ 表示样本数。

第1层： $Z^{[1]}=W^{[1]}X+b^{[1]}$ ， $A^{[1]}=g^{[1]}(Z^{[1]})$ 。 $W^{[1]}$ 表示第1层权值，维度 $n^{[1]},n^{[0]})$ 。 $b^{[1]}$ 表示第1层偏置，维度 $n^{[1]},1)$ ，这里的加号“+”，使用了广播方式，会将 $b^{[1]}$ 按列复制成维度 $n^{[1]},m)$ ，从而与前面的 $W^{[1]}X$ 相加。 $Z^{[1]}$ 是第1层线性处理后的值，维度 $n^{[1]},m)$ 。 $g^{[1]}$ 表示第1层的激活函数， $A^{[1]}$ 表示第1层的输出，维度 $n^{[1]},m)$

第2层： $Z^{[2]}=W^{[2]}A^{[1]}+b^{[2]}$ ， $A^{[2]}=g^{[2]}(Z^{[2]})$ 。 $W^{[2]}$ 表示第2层权值，维度 $n^{[2]},n^{[1]})$ 。 $b^{[2]}$ 表示第2层偏置，维度 $n^{[2]},1)$ 。 $Z^{[2]}$ 是第2层线性处理后的值，维度 $n^{[2]},m)$ 。 $g^{[2]}$ 表示第2层的激活函数， $A^{[2]}$ 表示第2层的输出，维度 $n^{[2]},m)$

第L层： $Z^{[L]}=W^{[L]}A^{[L-1]}+b^{[L]}$ ， $A^{[L]}=g^{[L]}(Z^{[L]})$ 。 $W^{[L]}$ 表示第L层权值，维度 $n^{[L]},n^{[L-1]})$ 。 $b^{[L]}$ 表示第L层偏置，维度 $n^{[L]},1)$ 。 $Z^{[L]}$ 是第L层线性处理后的值，维度 $n^{[L]},m)$ 。 $g^{[L]}$ 表示第L层的激活函数， $A^{[L]}$ 表示第L层的输出，维度 $n^{[L]},m)$ 。 $A^{[L]}$ 就是网络的输出。