神经网络设计学习笔记（10）——有监督的Hebb学习（2）

42 阅读 0 评论 28 点赞

我是靠谱客的博主激动战斗机，最近开发中收集的这篇文章主要介绍神经网络设计学习笔记（10）——有监督的Hebb学习（2），觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

Hebb规则
为了将Hebb假设用于训练线性联想器的权值矩阵，那么又如何给出Hebb假设的数学解释呢?首先，再次重述下该假设: 若一条突触两侧的两个神径元同时被激活，那么突触的强度将会增大。
在上式中，输入和输出之间的连接（突触）是权值。所以Hebb假设意味着：如果一个正的输入产生一个正的输出，那么应该增加权值的值。数学解释：
在这里插入图片描述
请注意：这里严格解释的基础上扩展了Hebb假设，权值的变化与突触每侧活跃值的乘积成比例。
下面分析线性联想器。的Hebb学习的性能
首先设输入向量Pq为标准正交向量。如果将Pk输入到网络，那么网络产生的输出为
在这里插入图片描述
由于Pq为标准正交向量，所以

此时，网络的输出等于其相应的目标输出。这就表明，如果输入向量是标准正交向量，Hebb规则就能为每个输入生成正确的输出结果。