5分钟看懂反向传播算法(Backpropogation) |李宏毅机器学习【7】

46 阅读 0 评论 31 点赞

我是靠谱客的博主从容小天鹅，最近开发中收集的这篇文章主要介绍5分钟看懂反向传播算法(Backpropogation) |李宏毅机器学习【7】，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

当我们在谈论深度学习的“学习过程”的时候，我们在谈论什么？

对，在谈论梯度下降（Gradient Descent）。

如果你还不知道什么是梯度下降，可以看看之前的梯度下降（Gradient Descent）的技巧和原理 https://blog.csdn.net/qq_36459893/article/details/82290553。

下面是梯度下降的一般过程。由于神经网络独特的结构，所以对它做梯度下降有一丢丢复杂，需要引入一个技术：反向传播算法（Backpropogation）

在进入正题前，先复习一下微积分的链式求导法则。

梯度下降的关键是求梯度，简单来说就是求损失函数(Loss function)对所有参数求偏导组成的向量。

求L对w的偏导，也就是求每一项C对w的偏导。

求 $frac{partial c}{partial w}$ 可以分解为两步：

1、 $frac{partial z}{partial w}$ ，这是个Forward pass（这个其实是求导的最后一步，可以从前向后直接得到）

2、 $frac{partial c}{partial z}$ ，这是个Backward pass（这部分不能直接求出来，需要运用递归思想，从后向前计算）

先来看Forward pass部分，这个偏导很容易求，对wi的偏导就是其对应的前一层的输入xi或者ai。

这张图可以看得更清楚一些：

forward pass就是这么简单，下面来看backword pass的过程。

$frac{partial c}{partial z}$ 可以分解为 $frac{partial a}{partial z}$ 和 $frac{partial c}{partial a}$ 两部分，其中 $frac{partial a}{partial z}$ 可以直接求出来，关键是求出 $frac{partial c}{partial a}$ 。