自组织神经网络算法流程,神经网络算法流程设计

72 阅读 0 评论 48 点赞

我是靠谱客的博主清爽冷风，最近开发中收集的这篇文章主要介绍自组织神经网络算法流程,神经网络算法流程设计，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

深度神经网络具体的工作流程是什么样的？

第一，深度神经网络不是黑盒，个人电脑开机直到神经网络运行在内存中的每一比特的变化都是可以很细微的观察的。没有任何神秘力量，没有超出科学解释的现象发生。

第二，深度神经网络的工作方式是基于传统的电脑架构之上的，就是数据+算法。但人们确实从中窥探到了一种全新的电子大脑方式。所以目前有研究提炼一些常用神经网络算法加速硬件。微软等巨头则在开发量子计算。

第三，深度神经网络是一个很初级的特征自动提取器。说初级因为简单粗暴。以前为了节约算力特征关键模型都是人工亲自设定。而现在这部分工作随着算力的提高可以自动化。

所以从某种意义上来说深度神经网络也是一种自动编程机，但和人们相比，一点点小小的自动化都需要很多很多的计算力支持，这一点也不重要，重要的是，它能工作(手动英文)。那么深度神经网络究竟是什么呢？

它是一个能迭代更新自己的特征提取算法。现在这个算法可是像全自动高级工厂，数据往里一丢，不得了！整个工厂里面所有机器都动了起来。没见过的小伙伴当场就被吓呆瓜了，用流行的话说叫懵住。

几千只机械手把数据搬来搬去，拿出魔方一样的盒子装来装去又倒出来。整个场面就叫一个震撼。算法运行规模也更大了。

谷歌人工智能写作项目：神经网络伪原创

神经网络算法思路？能否提供一个最简单的代码？ 30

A8U神经网络。

最基本的BP算法：1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。

注2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来，权值调整）。上传代码的第一个案例即是BP的详细代码，没有使用内置函数。

神经网络算法原理

4.2.1概述人工神经网络的研究与计算机的研究几乎是同步发展的。

1943年心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型，20世纪50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函数的概念提出了神经网络的一种数学模型，1986年，Rumelhart及LeCun等学者提出了多层感知器的反向传播算法等。

神经网络技术在众多研究者的努力下，理论上日趋完善，算法种类不断增加。目前，有关神经网络的理论研究成果很多，出版了不少有关基础理论的著作，并且现在仍是全球非线性科学研究的热点之一。

神经网络是一种通过模拟人的大脑神经结构去实现人脑智能活动功能的信息处理系统，它具有人脑的基本功能，但又不是人脑的真实写照。它是人脑的一种抽象、简化和模拟模型，故称之为人工神经网络（边肇祺，2000）。

人工神经元是神经网络的节点，是神经网络的最重要组成部分之一。目前，有关神经元的模型种类繁多，最常用最简单的模型是由阈值函数、Sigmoid函数构成的模型（图4-3）。

图4-3人工神经元与两种常见的输出函数神经网络学习及识别方法最初是借鉴人脑神经元的学习识别过程提出的。

输入参数好比神经元接收信号，通过一定的权值（相当于刺激神经兴奋的强度）与神经元相连，这一过程有些类似于多元线性回归，但模拟的非线性特征是通过下一步骤体现的，即通过设定一阈值（神经元兴奋极限）来确定神经元的兴奋模式，经输出运算得到输出结果。

经过大量样本进入网络系统学习训练之后，连接输入信号与神经元之间的权值达到稳定并可最大限度地符合已经经过训练的学习样本。

在被确认网络结构的合理性和学习效果的高精度之后，将待预测样本输入参数代入网络，达到参数预测的目的。

4.2.2反向传播算法（BP法）发展到目前为止，神经网络模型不下十几种，如前馈神经网络、感知器、Hopfiled网络、径向基函数网络、反向传播算法（BP法）等，但在储层参数反演方面，目前比较成熟比较流行的网络类型是误差反向传播神经网络（BP-ANN）。

BP网络是在前馈神经网络的基础上发展起来的，始终有一个输入层（它包含的节点对应于每个输入变量）和一个输出层（它包含的节点对应于每个输出值），以及至少有一个具有任意节点数的隐含层（又称中间层）。

在BP-ANN中，相邻层的节点通过一个任意初始权值全部相连，但同一层内各节点间互不相连。

对于BP-ANN，隐含层和输出层节点的基函数必须是连续的、单调递增的，当输入趋于正或负无穷大时，它应该接近于某一固定值，也就是说，基函数为“S”型（Kosko，1992）。

BP-ANN的训练是一个监督学习过程，涉及两个数据集，即训练数据集和监督数据集。

给网络的输入层提供一组输入信息，使其通过网络而在输出层上产生逼近期望输出的过程，称之为网络的学习，或称对网络进行训练，实现这一步骤的方法则称为学习算法。

BP网络的学习过程包括两个阶段：第一个阶段是正向过程，将输入变量通过输入层经隐层逐层计算各单元的输出值；第二阶段是反向传播过程，由输出误差逐层向前算出隐层各单元的误差，并用此误差修正前层权值。

误差信息通过网络反向传播，遵循误差逐步降低的原则来调整权值，直到达到满意的输出为止。

网络经过学习以后，一组合适的、稳定的权值连接权被固定下来，将待预测样本作为输入层参数，网络经过向前传播便可以得到输出结果，这就是网络的预测。

反向传播算法主要步骤如下：首先选定权系数初始值，然后重复下述过程直至收敛（对各样本依次计算）。

（1）从前向后各层计算各单元Oj储层特征研究与预测（2）对输出层计算δj储层特征研究与预测（3）从后向前计算各隐层δj储层特征研究与预测（4）计算并保存各权值修正量储层特征研究与预测（5）修正权值储层特征研究与预测以上算法是对每个样本作权值修正，也可以对各个样本计算δj后求和，按总误差修正权值。

rbf神经网络算法流程图

神经网络Kohonen模型

。

一、Kohonen模型概述1981年芬兰赫尔辛基大学Kohonen教授提出了一个比较完整的，分类性能较好的自组织特征影射(Self-OrganizingFeatureMap)人工神经网络(简称SOM网络)方案。

这种网络也称为Kohonen特征影射网络。这种网络模拟大脑神经系统自组织特征影射功能，它是一种竞争式学习网络，在学习中能无监督地进行自组织学习。

二、Hohonen模型原理1.概述SOM网络由输入层和竞争层组成。输入层神经元数为N，竞争层由M=R×C神经元组成，构成一个二维平面阵列或一个一维阵列(R=1)。输入层和竞争层之间实现全互连接。

SOM网络的基本思想是网络竞争层各神经元竞争对输入模式的响应机会，最后仅有一个神经元成为竞争的胜者，并对那些与获胜神经元有关的各连接权朝着更有利于它竞争的方向调整，这一获胜神经元就表示对输入模式的分类。

SOM算法是一种无教师示教的聚类方法，它能将任意输入模式在输出层映射成一维或二维离散图形，并保持其拓扑结构不变。即在无教师的情况下，通过对输入模式的自组织学习，在竞争层将分类结果表示出来。

此外，网络通过对输入模式的反复学习，可以使连接权矢量空间分布密度与输入模式的概率分布趋于一致，即连接权矢量空间分布能反映输入模式的统计特征。

2.网络权值初始化因为网络输入很可能出现在中间区，因此，如果竞争层的初始权值选择在输入空间的中间区，则其学习效果会更加有效。

3.邻域距离矩阵SOM网络中的神经元可以按任何方式排列，这种排列可以用表示同一层神经元间的Manhattan距离的邻域距离矩阵D来描述，而两神经元的Manhattan距离是指神经元坐标相减后的矢量中，其元素绝对值之和。

4.Kohonen竞争学习规则设SOM网络的输入模式为Xp=(，，…，)，p=1，2.…，P。

竞争层神经元的输出值为Yj(j=1，2，…，M)，竞争层神经元j与输入层神经元之间的连接权矢量为Wj=(wj1，wj2，…，wjN)，j=1，2，…，M。

Kohonen网络自组织学习过程包括两个部分：一是选择最佳匹配神经元，二是权矢量自适应变化的更新过程。

确定输入模式Xp与连接权矢量Wj的最佳匹配的评价函数是两个矢量的欧氏距离最小，即，j=1，2，…，M，]]g，确定获胜神经元g。dg=mjin(dj)，j=1，2，…，M。

求输入模式Xp在竞争层的获胜神经元g及其在邻域距离nd内的神经元的输出。中国矿产资源评价新技术与评价新模型dgm为邻域距离矩阵D的元素，为竞争层中获胜神经元g与竞争层中其它神经元的距离。

求输入模式Xp在竞争层的获胜神经元g及其在邻域距离nd内的神经元的权值修正值。中国矿产资源评价新技术与评价新模型式中：i=1，2，…，N；lr为学习速率；t为学习循环次数。

Δwjt(t+1)的其余元素赋值为0。进行连接权的调整wji(t+1)=wji(t)+Δwji(t+1)。

5.权值学习中学习速率及邻域距离的更新(1)SOM网络的学习过程分为两个阶段第一阶段为粗学习与粗调整阶段。

在这一阶段内，连接权矢量朝着输入模式的方向进行调整，神经元的权值按照期望的方向在适应神经元位置的输入空间建立次序，大致确定输入模式在竞争层中所对应的影射位置。

一旦各输入模式在竞争层有了相对的影射位置后，则转入精学习与细调整阶段，即第二阶段。

在这一阶段内，网络学习集中在对较小的范围内的连接权进行调整，神经元的权值按照期望的方向在输入空间伸展，直到保留到他们在粗调整阶段所建立的拓扑次序。学习速率应随着学习的进行不断减小。

(2)邻域的作用与更新在SOM网络中，脑神经细胞接受外界信息的刺激产生兴奋与抑制的变化规律是通过邻域的作用来体现的邻域规定了与获胜神经元g连接的权向量Wg进行同样调整的其他神经元的范围。

在学习的最初阶段，邻域的范围较大，随着学习的深入进行，邻域的范围逐渐缩小。

(3)学习速率及邻域距离的更新在粗调整阶段，学习参数初始化最大学习循环次数MAX_STEP1=1000，粗调整阶段学习速率初值LR1=1.4，细调整阶段学习速率初值LR2=0.02，最大邻域距离MAX_ND1=Dmax，Dmax为邻域距离矩阵D的最大元素值。

粗调阶段学习循环次数step≤MAX_STEP1，学习速率lr从LR1调整到LR2，邻域距离nd从MAX_ND1调整到1，求更新系数r，r=1-step/MAX_STEP1，邻域距离nd更新，nd=1.00001+(MAX_ND1-1)×r。

学习速率lr更新，lr=LR2+(LR1-LR2)×r。在细调整阶段，学习参数初始化，最大学习循环次数MAX_STEP2=2000，学习速率初值LR2=0.02，最大邻域距离MAX_ND2=1。

细调阶段MAX_STEP1＜step≤MAX_STEP1+MAX_STEP2，学习速率lr慢慢从LR2减少，邻域距离nd设为1，邻域距离nd更新，nd=MAX_ND2+0.00001。

学习速率lr更新，lr=LR2×(MAX_STEP1/step)。6.网络的回想——预测SOM网络经学习后按照下式进行回想：中国矿产资源评价新技术与评价新模型Yj=0，j=1，2，…，M，(j≠g)。

将需要分类的输入模式提供给网络的输入层，按照上述方法寻找出竞争层中连接权矢量与输入模式最接近的神经元，此时神经元有最大的激活值1，而其它神经元被抑制而取0值。这时神经元的状态即表示对输入模式的分类。

三、总体算法1.SOM权值学习总体算法(1)输入参数X[N][P]。(2)构造权值矩阵W[M][N]。1)由X[N][P]求Xmid[N]，2)由Xmid[N]构造权值W[M][N]。

(3)构造竞争层。1)求竞争层神经元数M，2)求邻域距离矩阵D[M][M]，3)求矩阵D[M][M]元素的最大值Dmax。(4)学习参数初始化。(5)学习权值W[M][N]。

1)学习参数学习速率lr，邻域距离nd更新，分两阶段：(i)粗调阶段更新；(ii)细调阶段更新。2)求输入模式X[N][p]在竞争层的获胜神经元win[p]。

(i)求X[N][p]与W[m][N]的欧氏距离dm；(ii)按距离dm最短，求输入模式X[N][p]在竞争层的获胜神经元win[p]。

3)求输入模式X[N][p]在竞争层的获胜神经元win[p]及其在邻域距离nd内的神经元的输出Y[m][p]。

4)求输入模式X[N][p]在竞争层的获胜神经元win[p]及其在邻域距离nd内的神经元的权值修正值ΔW[m][N]，从而得到输入模式X[N][p]产生的权值修正值ΔW[M][N]。

5)权值修正W[M][N]=W[M][N]+ΔW[M][N]。

6)学习结束条件：(i)学习循环到MAX_STEP次；(ii)学习速率lr达到用户指定的LR_MIN；(iii)学习时间time达到用户指定的TIME_LIM。(6)输出。

1)学习得到的权值矩阵W[M][N]；2)邻域距离矩阵D[M][M]。(7)结束。2.SOM预测总体算法(1)输入需分类数据X[N][P]，邻域距离矩阵D[M][M]。

(2)求输入模式X[N][p]在竞争层的获胜神经元win[p]。1)求X[N][p]与W[m][N]的欧氏距离dm；2)按距离dm最短，求输入模式X[N][p]在竞争层的获胜神经元win[p]。

(3)求获胜神经元win[p]在竞争层排列的行列位置。(4)输出与输入数据适应的获胜神经元win[p]在竞争层排列的行列位置，作为分类结果。(5)结束。

四、总体算法流程图Kohonen总体算法流程图见附图4。五、数据流图Kohonen数据流图见附图4。

六、无模式识别总体算法假定有N个样品，每个样品测量M个变量，则有原始数据矩阵：X=(xij)N×M，i=1，2，…，N，j=1，2，…，M。

(1)原始数据预处理X=(xij)N×M处理为Z=(zij)N×M，分3种处理方法：1)衬度；2)标准化；3)归一化。程序默认用归一化处理。

(2)构造Kohonen网竞争层与输入层之间的神经元的连接权值构成矩阵WQ×M。WQ×M初始化。(3)进入Kohonen网学习分类循环，用epoch记录循环次数，epoch=1。

(4)在每个epoch循环中，对每个样品n(n=1，2，…，N)进行分类。从1个样品n=1开始。

(5)首先计算输入层的样品n的输入数据znm(m=1，2，…，M)与竞争层Q个神经元对应权值wqm的距离。

(6)寻找输入层的样品n与竞争层Q个神经元的最小距离，距离最小的神经元Win[n]为获胜神经元，将样品n归入获胜神经元Win[n]所代表的类型中，从而实现对样品n的分类。

(7)对样品集中的每一个样品进行分类：n=n+1。(如果n≤N，转到5。否则，转到8。

)(8)求分类后各神经元所对应的样品的变量的重心，用对应的样品的变量的中位数作为重心，用对应的样品的变量的重心来更新各神经元的连接权值。(9)epoch=epoch+1；一次学习分类循环结束。

(10)如果满足下列两个条件之一，分类循环结束，转到11；否则，分类循环继续进行，转到4。1)全部样品都固定在某个神经元上，不再改变了；2)学习分类循环达到最大迭代次数。

(11)输出：1)N个样品共分成多少类，每类多少样品，记录每类的样品编号；2)如果某类中样品个数超过1个，则输出某类的样品原始数据的每个变量的均值、最小值、最大值和均方差；3)如果某类中样品个数为1个，则输出某类的样品原始数据的各变量值；4)输出原始数据每个变量(j=1，2，…，M)的均值，最小值，最大值和均方差。

(12)结束。七、无模式识别总体算法流程图Kohonen无模式总体算法流程图见附图5。

神经网络算法是什么?

关于车速检测的BP神经网络算法程序

以往的汽车四轮转向控制系统的设计，往往依据侧向加速度较小时的车辆运动的线型两轴模型进行线性控制器的设计。

这样在某些危险行驶状态，例如紧急躲避障碍物、在路面摩擦力低的滑路面行驶，汽车四轮转向控制系统将失去应有的控制作用，致使汽车的转向安全性大大减低。

文章提出在侧向加速度大的情况下，利用神经网络理论来设计汽车四轮转向控制系统。

这样的控制系统不依赖于车辆运动的线型模型，它不是基于模型的控制，而是基于知识的控制，保证了控制系统能适应车辆运动的非线性特性。

2基于神经网络四轮转向控制系统的设计[IMG][/IMG][IMG][/IMG]四轮转向控制系统的控制目的应为：(1)对沿行驶路线行驶的汽车车身姿势进行控制，使汽车的侧偏角β保持为零；(2)横摆角速度λ或侧向加速度。

接近所期望的转向响应特性。四轮转向控制系统采用后轮主动式，即控制器主动控制后轮的转角，通过控制后轮进行车辆运动控制。其控制系统如图1所示。

在设计过程中，参两轮车的线性模型，选前轮转向角6f、横摆角速度／作为控制器的输入量；同时考虑侧向加速度α而造成的控制误差的补偿作用，把侧向加速度。也作为输入。

图1中车辆系统为通过神经网络辩识的非线性动态系统。

设计包括两部分内容：车辆动态模型离线辩识、后轮转向角神经网络控制器的设计.2．1车辆动态模型离线辩识车辆动态模型离线辩识采用多层神经网络误差逆传播学习算法：BP神经网络法.BP神经网络是一种输入输出向量空间的非线性映射。

其拓扑结构由3部分组成：输入层、隐含层和输出层。层与层之间各神经元实现全连接，而每层各神经元之间无连接。设计中采用具有双隐含层的BP网络，通过离线训练学到车辆动力系统的非线性特性。

为使该网络能在车辆的各种工况下识别车辆运动，应使网络的学习模式对能覆盖车辆的全部工况。

由于采集实际车辆的运行数据是非常困难的，因此在离线训练的过程中，采用四轮转向车辆系统模型，并通过计算机仿真(图2)向BP网络提供学习模式对，使BP网络进行离线训练学习，对BP网络的连接权和阈值进行粗调节；然后通过该模式提取测试模式对，对网络进行测试；测试满意后，再用实验数据对网络作进一步离线训练，从而对网络进行细调节。

辩识系统中，输入参数有第n时间步侧偏角β(n)、横摆角速度γ(n)、前轮转向角(n)、后轮转向角δ(n)、侧向加速度α(n)5个参数；输出有第，2+l时间步侧偏角β(n+1)、横摆角速度γ(2+1)(图3)。

训练网络用的信号δf(n)是幅值分别为3．4和5．5的阶跃信号和正弦信号。每层神经元数分别为5、12、10、2。

两隐层传递函数均为双极性Sigmoid函数[IMG][/IMG]输出层传递函数为线性函数。

[IMG][/IMG]2．2神经控制器的设计为配合车辆动态模型一起工作，设计神经控制器。该控制器也是双隐含层的BP神经网络各层神经元数分别为3、10、10、l。

控制器的输入为横摆角速度／(，2)、前轮转角δf(n)及与车速有关的参数侧向加速度o(n)；输出有后轮转角δf(n)。

两隐含层的传递函数也为双极性Sigmoid函数，输出层的传递函数为[IMG][/IMG]为使侧偏最小，引入性能目标函数[IMG][/IMG]评价侧偏角和后轮转向角。

每个神经元的权值和阈值可以通过控制器的学习过程得到。学习的目的是使目标函数值最小。

训练神经控制器时，在计算机上将车辆动态模型与神经控制器组成控制系统，同样用四轮转向控制的车辆仿真模型输出的数据集进行训练。但此时只修改神经控制器的权矩阵。

2．3BP神经网络的MATLAB实现设计过程中，可以采用MATLAB软件中的神经网络工具箱来实现BP神经网络算法。BP神经网络的学习过程由前向计算过程、误差计算和误差反向传播过程组成。

双含隐层BP神经网络的MATLAB程序，由输入部分、计算部分、输出部分组成，其中输入部分包括网络参数与训练样本数据的输入、初始化权系、求输入输出模式各分量的平均值及标准差并作相应数据预处理、读入测试集样本数据并作相应数据预处理；计算部分包括正向计算、反向传播、计算各层权矩阵的增量、自适应和动量项修改各层权矩阵；输出部分包括显示网络最终状态及计算值与期望值之间的相对误差、输出测试集相应结果、显示训练，测试误差曲线。

3控制系统仿真用神经网络车辆动态模型与神经控制器构成控制系统，进行仿真分析。其瞬态响应，如图4中实线所示。图中的虚线、双点划线分别表示2WS和线性控制4WS。

[IMG][/IMG]4结论(1)因为神经控制网络能很好地适应汽车的非线性特性，故在大的前轮转角下，神经网络控制系统的侧偏角p比线性控制系统的车辆侧偏角p更接近零，可获得更满意的控制效果。

(2)横摆角速度丫响应在经过一段时间后收敛至稳态值，4WS比2WS收敛更快，相位滞后更小。