神经网络实验指导书2024版[1].docx

北京信息科技高校自编试验讲义神经网络试验指导书许晓飞陈雯柏编著“京信念科技承BfIJMImomutxaSafXa11cknoiocyiwitun自动化学院智能科学与技术系2024年1月«BP神经网络试验指导试验目的：(1)熟识Matlab/Simulink的运用.(2)驾驭BP神经网络的基本原理和基本的设计步骤.(3) 了解BP神经网络在实际中的应用.(4)针对简洁的实际系统，能够建立BP神经网络限制模型.试验原理：1 .前馈型人工神经网络前馈型人工神经网络是整个神经网络体系中最常见的一种，其结构模型如图2所示。网络结构包含输入层、隐层(可能是多层)和输出层，它的连接方式是同层之间不相连接，相邻层之间单元为全连接型。这种网络没有反馈存在，实际运行是单向的，学习方式是一种监督式学习。前馈型神经网络具有很强的非线性映射实力，找寻其映射是靠学习实践的，只要学习数据足够完备，就能够描述随意未知的困难系统。因此前馈神经网络为非线性系统的建模和限制供应了有力的工具。2.BP算法原理BP(BackPropagation)神经网络是一种利用误差反向传播训练算法的前馈型网络，BP学习算法实质是求取网络总误差函数的最小值问题。这种算法采纳非线性规划中的最速下降方法，按误差函数的负梯度方向修改权系数，它是梯度下降法在多层前馈网络中的应用。详细学习算法包括两大过程，其一是输入信号的正向传播过程，其二是输出误差信号的反向传播过程。1.正向传播输入的样本从输入层经过隐层单元一层一层进行处理，通过全部的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较,假如现行输出不等于期望输出，则进入反向传播过程。2.反向传播反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。网络各层的权值变更量，则由传播到该层的误差大小来确定。3.BP算法的特点BP神经网络具有以下三方面的主要优点网：第一，只要有足够多的隐含层和隐层节点，BP神经网络可靠近随意的非线性映射关系；其次，BP学习算法是一种全局靠近方法，因而它具有较好的泛化实力。第三，BP神经网络具有肯定的容错实力。因为BP神经网络输入输出间的关联信息分布存储于连接权中，由于连接权的个数总多，个别神经元的损坏对输入输出关系只有较小影响。但在实际应用中也存在一些问题，如：收敛速度慢，极有可能陷入最优陷阱(局部极值),而且典型的BP网络是一个冗余结构，它的结构及隐节点数的确定往往有人为的主观性，而且一旦人工确定之后，不能在学习过程中自主变更。其结果是隐节点数少了，学习过程不收敛；隐节点数多了，则网络的学习及推理的效率较差。试验步骤：(1)建立限制模型神经网络训练数据来源于MAT1.AB6.5自带的一阶T-S型模糊限制slcp.mdlo如图2所不OFuzzy1.ogicController图2一级倒立摆的模糊限制仿真在上面的限制系统中提取摆角、角速度、位移、速度初始条件为分别为0.5rad,lrads,0和0,在此条件下响应的输入输出对，(2)提取训练数据如图3所示，利用【SignalToWorkspace模块获得一阶T-S型模糊限制仿真过程的限制器输入输出数据对，并保存到工作区中，可以干脆用到神经网络的训练中。摆杆角度摆杆角速度小车位移WoikspacelWoikspace图3数据提取(3)BP神经网络限制器的训练首先将提取出的训练数据变为标准的训练数据形式,标准的训练数据分为输入和目标输出两部分。输入部分是一个形式为输入个数X训练数据个数的矩阵，这里输入个数为4。目标输出为一个输出个数X训练数据个数的矩阵，这里输出个数为1。而经SignaltoWOrkSPaCe模块提取出的数据为一个训练数据个数X输入(或输出)个数的矩阵，因此分别将p、t转置后就得到标准训练数据p,fo接着选择要训练的步数，训练步数的选择可由下面语句定义：net.trainParam.epochs=250这一语句定义了一个500步的训练步数。做完上面的工作后就可以对网络进行训练了，依据上一节中的选择和定义初始化网络后，在没有输入延迟和输出延迟的条件下，并设训练后的网络还为NET,便可用下面语句对网络训练：net,tr=train(net,FT,)运用下面语句初始化BP神经网络限制器并进行训练：P=P'=t'net=newff(-0.350.35;-1I;-33;-33,121,'tansig',purelin'),trainlm',learngdm,);net.trainParam.show=25;net.trainParam.epochs=250;net4r=train(net,P,T,);系统提示如下：TRA1N1.M,Epoch0/250,MSE10.1011/0,Gradient2554.35/Ie-010TRAIN1.M,Epoch50/250,MSE4.7875le-008/0,Gradient0.00983832/Ie-010TRA1N1.M,Epoch75/250,MSE4.1262e-0080,Gradient0.00475103/Ie-010TRAIN1.M,Epoch100/250,MSE3.76953e-0080,Gradient0.00278629/Ie-010TRAIN1.M,Epoch125/250,MSE3.52024e-0080,Gradient0.00194476/Ie-010TRAIN1.M,Epoch150/250,MSE3.32444e-0080,Gradient0.00150103/Ie-010TRAIN1.M,Epoch175/250,MSE3.16423e-0080,Gradient0.00121143le-010TRAIN1.M,Epoch200/250,MSE3.02987e-0080,Gradient0.000996205/1e-010TRAIN1.M,Epoch225/250,MSE2.91493e-0080,Gradient0.000826085/1e-010TRAIN1.M,Epoch250/250,MSE2.81489e-0080,Gradient0.000687935/Ie-010ancusJl图4训练误差曲线可以看出，经过250步训练限制器输出与期望输出间的误差已经很小了。提示：如训练程序有错，请在help文档搜寻BP神经网络函数newff,杳看语法调用；P=P'T=t'net=newff(0.350.35;-11;-33;-33,f12J,)'tansig''purelin,);net.trainparam.show=25;net.trainparam.epochs=3(X);net,tr=train(net,P,T);神经网络的结构用语句gensim(net,-l)可以在SimUlink里生成限制器并运用其进行限制，其中-1的意思是系统是实时的，生成的神经网络限制器结构如图5所示。神经网络控制器（八）神经网络限制器外部结构AP1M1>(b)内部结构b1(C)隐层结构b2(d)输出层结构图5BP神经网络结构(4)神经网络限制的实现运用训练后的BP神经网络限制器代替原模糊限制器限制器便可进行仿真试验。限制结构如图6所示。图6直线一级倒立摆神经网络限制仿真单击模型窗口上的，RnA运行以上的仿真试验,可以看出训练后的BP神经网络能胜利的实现倒立摆的限制.<<SOM神经网络>>试验指导试验目的：(1)熟识Matlab/Simulink的运用.(2)驾驭SOM神经网络的基本原理和基本的设计步骤.(3)熟识SOM神经网络在实际中的应用.试验原理：通过自动找寻样本中的内在规律和本质属性，自组织、自适应地变更网络参数与结构。自组织网络的自组织功能是通过竞争学习(COmPetitiVeIeaming)实现的。1981年芬兰Helsink高校的TKohonen教授提出一种自组织特征映射网，简称SOM网，又称Kohonen网。Kohonen认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是依据这一看法提出来的，其特点与人脑的自组织特性相类似。SOM网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。Kohonen学习算法程序流程：初始化、归一化权向量W：Wi,j=l,2,.m建立初始优胜邻域NKO)学习率口赋初始值输入归一化样本Xp.pe1,2,P)计算点积可如，j=l,2,.m选出点积最大的获胜节点尸定义优胜邻域.(l)I对优胜邻域NYl)内节点调整权值:Wij(t+l)=wij(r)÷(t,N)IXiP-wij(/)i=l,2,.njeN/3示例：产生100个(0,0.5pi)之间的角度，用其Sin和CoS值作为输入向量，利用输出为二维平面阵的SOM网络对其进行聚类。参考程序如下：angles=0:0.5*pi/99:0.5*pi;P=sin(angles);cos(angles);PlOt(P(I,:),P(2,:),'+/)net=newsom(01;0l,10);net.trainParam.epochs=10;net=train(net,P);plotsom(net.iw1,1),net.layers1).distances)P=l；0;a=sim(net,p)试验内容：人口分类是人口统计中的一个重要指标,现有1999共10个地区的人口诞生比例状况如下表所示，建立一个自组织神经网络对上述数据分类，给定某个地区的男、女诞生比例分别为0.5,0.5,测试训练后的自组织神经网络的性能，推断其属于哪个类别。诞生男性百分比0.55120.51230.50870.50010.60120.52980.50000.49650.51030.5003诞生女性百分比0.44880.48770.49130.49990.39880.47020.5(XX)0.50350.48970.4997试验步骤：(1)确定输入模式；(2)确定网络的结构，设计参数；(3)编辑相应的M文件实现SoM对数据进行聚类，运行M文件，在吩咐窗口察看结果。课下扩展试验：利用SOM网络对动物属性特征映射1989年Kohonen给出一个SOM网的闻名应用实例，即把不同的动物按其属性特征映射到两维输出平面上，使属性相像的动物在SOM网输出平面上的位置也相近。该例训练集种共有16种动物，每种动物用一个29维向量来表示，其中前16个重量构成符号向量，对不同的动物进行“16取1”编码；后13个重量构成属性向量，描述动物的13种属性，用1或。表示某动物该属性的有或无。表2中的各列给出16种动物的属性列向量。表2.16种动物1的J腐他响量物属鸽子母鸡鸭鹅猫头鹰隼鹰狐狸狗狼猫虎狮马斑马牛1111110000100000000000111100000000000000000111112只腿11111110000000004只腿000000011111111100000001111111110000000000000111鬃毛0000000000000110羽毛11111110000000000000111101111000000000001101111010011110000000000011000000000000试验步骤(1)打算输入模式；(2) 设计SOM网络：SoM网的输出平面上有IOxlO个神经元(3) SOM网络的训练：用16个动物模式轮番输入进行训练，考察输出平面上所示状况。留意事项(1)输入：P为29X16的矩阵，其中29维输入向量，16为动物的个数归一化(2)输出：10X10(3)网络的设计：建立新的网络:net=newsom(AA,1010,gridtop')fhextop,网络训练参数设定：net.trainParam.epochs=1000;网络训练：net=train(net,P);(4)训练后的运行：a=sim(net,P)由a的值可以得到SOM的哪个输出节点对输入有所响应，即归为哪一类(4) 画出输出示意图。(提示输出a来确定获胜节点的坐标，从而进行画图)<<DHNN神经网络>>试验指导试验目的：(1)熟识Matlab/Simulink的运用.(2)驾驭DHNN神经网络的基本原理和基本的设计步骤.(3)熟识DHYN神经网络在实际中的应用.试验原理：Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家JJHopfield教授于1982年提出，是一种单层反馈神经网络，结构如下所示.DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(O)起先，若能经有限次递归后，其状态不再发生变更，即X(t+l)=X(t),则称该网络是稳定的。假如网络是稳定的，它可以从任一初态收敛到一个稳态.若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演化过程便是从部分信息找寻全部信息，即联想回忆的过程。试验内容：设印刷体数字由10*10点阵构成，就是将数字分成许多小方块，每个方块就对应数字的一部分，构成数字本部分的方块用1表示，空白处用-1表示。试设计一个Hopfield网络，能够正确识别印刷体的数字0-9的识别,考察网络对受污染的数字点阵的识别，证明网络的有效性。试验步骤:(1)确定网络的输入向量与目标向量；(2)确定网络的结构，创建一个HOPfiekI神经网络，设计参数；(3)编辑相应的M文件实现对给定受噪声污染的数字点阵的复原，对DHNN网络进行仿真.要求考虑固定噪声和随机噪声两种状况。注：随机噪声的生成Noise_one=one;NoiSe_tWO=two;Fori=l:100a=rand;ifa<0.2Noise_one(i)=-one(i);Noise_two(i)=-two(i);EndEnd显示图的运行结果放大图像：imresize(one,20)显示图像：imshow(one)RBF神经网络试验目的：(1)熟识Matlab/Simulink的运用.(2)驾驭RBF神经网络的基本原理和基本的设计步骤.(3)熟识RBF神经网络在实际中的应用.试验原理：径向基函数(RBF-RadialBasisFUnCtion)神经网络是由J.Moody和C.Darken在80年头末提出的一种神经网络,它是具有单隐层的三层前馈网络。由于它模拟了人脑中局部调整、相互覆盖接收域(或称感受野-ReCePtiVeFieki)的神经网络结构，因此，RBF网络是一种局部靠近网络，已证明它能随意精度靠近随意连续函数。1. RBF网络特点(1) RBF网络的作用函数为高斯函数，是局部的，BP网络的作用函数为S函数，是全局的；(2)如何确定RBF网络隐层节点的中心及基宽度参数是一个困难的问题；(3)已证明RBF网络具有唯一最佳靠近的特性，且无局部微小。2. RBF网络结构RBF网络是一种三层前向网络。RBF网络结构如图2.1所示。由于输入到输出的映射是非线性的，而隐含层空间到输出空间的映射是线性的，从而可以大大加快学习速度并避开局部微小问题。图2.1RBF网络结构3. RBF网络的靠近采纳RBF网络靠近一对象的结构如图2.2所示。M亘片产上一y+2-Rm-I1y/卜)图2.2RBF网络靠近在RBF网络结构中，=,电,再了为网络的输入向量。设RBF网络的径向基向量Z=h1,h2Ar.hm*其中为为高斯基函数:hj=exp(X?),/=1,2,Tn网络的第/个结点的中心矢量为：J=1.jffCiJT其中，i=l,2,设网络的基宽向量为：B=bl9b2f".为节点的基宽度参数，且为大于零的数。网络的权向量为：W=W1,W2WyH11Z时刻网络的输出为：Nz（八）=MVz=kvjz1÷>v2z2÷÷v½7¼n(2.1)设志向输出为MQ,则性能指标函数为：E(k)=±OO-(左)铲2(2.2)依据梯度下降法，输出权、节点中心及节点基宽参数的迭代算法如下：(2.3)(2.4)W#)=wj(k-1)+rj(y(k)-()y+a(wj(k-1)-wj(k-2)。/=(X)-y,<k)“储叱裂bJbj*)=bj(k八)+bj+abjk-1)-bj(k-2)(2.5)JQ._C%,=(y(4)-y(4)卬,"”hJ(2.6)Cij(左)=C.(Ar-I)+"CiJ+CX(c.J(k-)-cij(k-2»(2.7)其中，为学习速率,。为动量因子。4、RBF神经网络函数newrbe及其参数介绍调用方式应用newrbe()函数可以快速设计一个径向基函数网络，且使得设计误差为0,如下：net=newrbe(P,T,SPREAD)其中，P为输入向量，T为期望输出向量(目标值)，SPREAD为径向基层的散布常数,缺省值为1。输出为一个径向基网络，其权值和阈值完全满意输入和期望值关系要求。由newrbe()函数构建的径向基函数网络，径向基层(第一层)神经元数目等于输入向量的个数。径向基层阈值的设定确定了每个径向基神经元对于输入向量产生响应的区域。因此,SPREAD应当足够大，使得神经元响应区域覆盖全部输入区间。试验内容：利用MAT1.AB6.5自带的一阶T-S型模糊限制slcp.mdl平台(如图1所示)设计RBF神经网络限制器，实现倒立摆的稳定限制仿真探讨。试验步骤：(1)建立限制模型Fuzzy1.ogicController图I一级倒立摆的模糊限制仿真在上面的限制系统中提取摆角、角速度、位移、速度初始条件为分别为0.5rad,lrads,0和0,在此条件下响应的输入输出对。(2)提取训练数据如图2所示，利用【SignalToWorkspace模块获得一阶T-S型模糊限制仿真过程的限制器输入输出数据对，并保存到工作区中，可以干脆用到神经网络的训练中。SignalToSignalTo摆杆角速度小车位移WoikspacelWoikspace图2数据提取3 3)RBF神经网络限制器的训练首先将提取出的训练数据变为标准的训练数据形式,标准的训练数据分为输入和目标输出两部分。输入部分是一个形式为输入个数X训练数据个数的矩阵，这里输入个数为4。目标输出为一个输出个数X训练数据个数的矩阵，这里输出个数为1。而经SignaItOWOrkSPaCe模块提取出的数据为一个训练数据个数X输入(或输出)个数的矩阵，因此分别将u、V转置后就得到标准训练数据u',U°运用下面语句应用newrbe()函数设计一个RBF神经网络：input=u,;output=v,;net=newrbe(input,output,256)(4)误差视察对网络进行检测，对于输入向量input应用函数Simo进行仿真，视察RBF对样本向量的靠近效果。y=sim(net,input)(5)视察RBF网络的内部结构调用函数gensim()生成上述网络的SimUlink模型。设定St=-I,生成一个连续采样的网络模块。用下面语句可以在SimuIink里生成限制器并运用其进行限制：gensim(net,-l)其中-1的意思是系统是实时的。生成的RBF神经网络限制器如图3.2所示RBFNeuralNetwort（八）外部结构(C)隐层结构©a1b2(d)输出层结构图3RBF神经网络限制器(6)利用RBF网络实现倒立摆的稳定限制运用这个RBF神经网络限制器代替原模糊限制器。运行程序，比较结果。RBFNeuralNetwort图4RBF神经网络限制仿真图试验思索：4 .比较RBF与BP网络5 .为Jz更直观的探讨RBF网络靠近的效果，下面选取非线性函数作为靠近对象进行仿真探讨，靠近对象为：-5+y(J)2将上式编入程序，其中采样时间取1ms。输入信号为(Z)=O.5sin(2"),网络隐层神经元个数取m=4,网络结构为24-1,网络的初始值取随机值，高斯函数的初始Cj=0.50.5r,B=1.51.51.51.5ro网络的学习参数取=0.05,=0.5。RBF网络靠近程序：alfa=O.05;xite=O.5;X=0,0'b=l.5*ones(4,1);c=0.5*ones4);w=rands(4,1);w_l=w;w_2=w_l;c_l=c;c_2=c_l;b_l=b;b_2=b_l;d_w=0*w;d_b=O*b;y_l=0；u_l=0;ts=0.001;fork=l:1:2000time(k)=k*ts;u(k)=0.50*sin(l*2*pi*k*ts);y(k)=(-0.3*y_l+u_l)/(5+y_r2);x(l)=u(k);x(2)=y_l；forj=l:l:4h(j)=exp(-norm(-c(:,j)2(2*b(j)*b(j);endym(k)=w,*h,;em(k)=y(k)-ym(k);forj=l:l:4d_w(j)=xite*em(k)*h(j);d_b(j)=xite*em(k)*w(j)*h(j)*(b(j)-3)*norm(-c(:,j)2;fori=l:l:2d_c(i,j)=xite*em(k)*w(j)*h(j)*(x(i)-c(i,j)*(b(j)-2);endendw=w_l+d_w+alfa*(wl-w2);b=b_1+d_b+a1fa*(b_1-b_2);c=c_1+d_c+a1fa*(c_1-c_2);%Jacobian%yu=0;forj=l:l:4yu=yu+w(j)*h(j)*(c(l,j)-x(l)b(j)"2;enddyu(k)=yu;u_l=u(k);y_l=y(k);w_2=w_l;w_l=w;c_2=c_l;c_l=c;b_2=b_l;b_l=b;end人工神经网络课程编码：2030B010课程名称（英文）：ArtificialNeuralNetworks适用专业：智能科学与技术课程性质：必修学时：48学时，其中讲课：40学时，试验：8学时先修课程：线性代数、概率论与数理统计、C语言程序设计一、本课程的地位、作用与任务人工神经网络是一种基于大量神经元广泛互联的数学模型，具有自学习、自组织、自适应的特点，在优化计算，信号处理，智能限制等众多领域得到广泛的应用。人工神经网络是智能科学与技术专业的一门重要专业基础课。本课程主要介绍人工神经网络的基本原理、方法、技术和应用，通过课程的学习与编程实践，使学生了解和驾驭神经信息处理的基本原理、人工神经网络的数学模型和认知模型、人工神经网络的应用，驾驭利用人工神经网络解决实际问题的方法，从而为实际从事智能科学与技术领域的工作奠定基础。二、内容、学时及基本要求序号内容基本要求学时（一）绪论了解2（二）神经网络生物基础理解21 .生物神经元2 .神经冲动、突触和化学递质3 .神经系统4 .视觉系统与记忆系统（三）ANN的数学模型理解41 .概述2 .前馈网络3 .反馈网络4 .随机网络（四）多层前馈型人工神经网络与BP算法驾驭141 .神经元网络的学习规则和最简洁的感知器2 .多层前馈型神经网络3 .误差反传训练算法及其改进和应用4 .基于BP算法的ANN神经元网络的应用（五）反馈式人工神经网络理解41 .离散型HoPfieId网络模型2 .连续型HoPfield网络模型（六）自组织竞争人工神经网络理解41、竞争学习2、基于ART构成的自组织神经网络3、自组织特征映射神经网络（七）CMAC网络了解21、CMAC模型的结构2、CMAC网络工作原理的简洁分析3、CMAC网络的学习算法4、CMAC网在限制中的应用（八）MAT1.AB神经网络仿真与应用驾驭8仇）上机试验8总计48三、说明上课教室：多媒体教室试验内容与学时安排：试验一、BP神经网络的应用4学时试验二、HOPFIE1.D网络或自组织特征映射神经网络的应用4学时四、运用教材及参考书教材：1、人工神经网络理论、设计及应用，韩力群编著，2024年，化学工业出版社2、人工神经网络的模型及其应用，张立明编著，1993年，复旦高校出版社主要参考书：1、神经网络计算，吴微编著，2024,高等教化出版社2、MAT1.AB神经网络仿真与应用，闻新主编，2024年，科学出版社执笔人：陈雯柏审核人：李擎