深度学习——BP算法

1、多层向前神经网络

多层向前神经网络(Multilayer Feed-Forward Neural Network)由以下部分组成：
输入层(input layer), 隐藏层 (hidden layers), 输出层 (output layers)

①经过连接结点的权重(weight)传入下一层，一层的输出是下一层的输入；
②隐藏层的个数可以是任意的，输入层有一层，输出层有一层；
③以上称为2层的神经网络（输入层不算）

2、BP算法

BP(Backpropagation) 被使用在多层向前神经网络上
算法详细介绍：
      输入：D：数据集，l 学习率(learning rate)， 一个多层前向神经网络
      输出：一个训练好的神经网络

初始化权重(weights)和偏置(bias): 随机初始化在-1到1之间，或者-0.5到0.5之间，每个单元有一个偏向

对于一个训练实例X，执行步骤如下：
①由输入层向前传送：
     
每个单元的输出等于前一层的输出乘以相应的权值之和再加上本单元的偏置：
     
每个单元的具体处理流程：通过上步方法求出I后，经过激励函数(f)即为该单元的输出
     
激励函数：
     

②方向传送
误差：
      对于输出层：
           
      对于隐藏层：
           
权值更新：
     
偏置更新：
     

③终止条件
      1）权重的更新低于某个阈值；
      2）预测的错误率低于某个阈值；
      3）达到预设一定的循环次数

3、BP算法举例

计算误差，更新权值和偏置：

最后

以上就是刻苦咖啡为你收集整理的深度学习——BP算法的全部内容，希望文章能够帮你解决深度学习——BP算法所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。