BP神经网络模型与学习算法BP神经网络模型BP网络的标准学习算法

在感知器神经网络模型与线性神经网络模型学习算法中，理想输出与实际输出之差被用来估计神经元连接权值误差。当解决线性不可分问题而引入多级网络后，如何估计网络隐含层神经元的误差就成了一大难题。因为在实际中，无法知道隐含层的任何神经元的理想输出值。1985年Rumelhart、McClelland提出了BP网络的误差反向后传（BP）学习算法，实现了Minsky设想的多层神经网络模型。

BP算法在于利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。使用BP算法进行学习的多级肺循环网络称为BP网络，属于前向神经网络类型。虽然这种误差估计本身的精度会随着误差本身“向后传播”而不断降低，但它还是给多层网络的训练提供了比较有效的办法，加之多层前向神经网络能逼近任意非线性函数。

BP神经网络模型

构成BP网络的神经元仍然是神经元。按照BP算法的要求，这些神经元所用的激活函数必须处处可导。一般都使用S型函数。对一个神经元来说，它的网络输入可以表示为：

$$net = overrightarrow x cdot overrightarrow omega$$

其中$overrightarrow x$ 表示该神经元所接受的输入，$overrightarrow omega$ 表示神经元对应的连接权值。

该神经元的输出为：

$$y = f(net) = frac{1}{1 + e^{-net}}$$

进一步地，我们可以求y关于net的导数：

$$begin{align}f'(net) & = frac{e^{-net}}{(1 + e^{-net})^2} \& = frac{1 + e^{-net} - 1}{(1 + e^{-net})^2} \& = frac{1}{1 + e^{-net}} - frac{1}{(1 + e^{-net})^2} \& = y(1 - y) end{align}$$

显然地 我们可以注意到

最后

以上就是优雅电话为你收集整理的BP神经网络模型与学习算法BP神经网络模型BP网络的标准学习算法的全部内容，希望文章能够帮你解决BP神经网络模型与学习算法BP神经网络模型BP网络的标准学习算法所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。