19第十九章 神经网络模型.docx

的基本激活函数(.)求和，权神赞模型（i）一组连接（对应于生物神经元的突触）,值为正表示激活，为负表示抑制-连接权图1第十九章神经网络模型§1神经网络简介人工神经网络是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及功能的一种抽象数学模型。自1943年美国心理学家W.McCulloch和数学家WPitts提出形式神经元的抽象数学模型一MP模型以来，人工神经网络理论技术经过了50多年曲折的发展。特别是20世纪80年代，人工神经网络的研究取得了重大进展，有关的理论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。它在模式识别，图像处理，智能控制，组合优化，金融预测与管理，通信，机器人以及专家系统等领域得到广泛的应用，提出了40多种神经网络模型，其中比较著名的有感知机，Hopfield网络，Boltzman机，自适应共振理论及反向传播网络（BP）等。在这里我们仅讨论最基本的网络模型及其学习算法。1.1人工神经元模型图1表示出了作为人工神经网络（artificialneuralnetwork,单元的神经元模型，它有三个基本要素：（ii） 一个求和单元，用于求取各输入信号的加权和（线性组合）。（iii） 个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在定范围内（一般限制在（OJ）或（-1,1）之间）“此外还有一个阈值0«（或偏置=-0«）；以上作用可分别以数学式表达出来：P/、k=W柠Xj，Vk=Uk=、0,1.,勺为输入信号，卬仆叫声,W即为神经元之权值，以为线性组合结果，jt为阈值，（p（：）为激活函数，以为神经元上的输出。若把输入的维数增加一维，则可把阈值也包括进去。例如收二2%巧，九二（P（%）J=O此处增加了一个新的连接，其输入为XO=-I（或+1）,权值为WtO:仇（或瓦），如图2所示。连接权连接权激活函数Q()可以有以下几种:(i)阈值函数fl,v0(v)=10,v<0即阶梯函数。这时相应的输出yt为其中v=£%勺-0常称此种涌鹿元为M-(V)=J=I（三）分段线性函数它类似于一个放大系数为1的非线性放大器放大餐数趋于无穷大时变成一个阈值单元。(iii)SigmOid函数最常用的函数形式为图2神经元模型以=(2)于线性区时它是一个线性组合器,(3)1,VjtO,Vk)他1.vl1(l+V),-Kv0,(v)=1+ex(-Qv)可控制其斜另一种常用的是双曲正切函数(4)这类函数具有平滑和渐近性，并保持单调性。Matlab中的激活(传递)函数如表1所示。表1Madab工具箱中的传递函数函数名功能purelin线性传递函数hardlim硬限幅传递函数hard!ims对称硬限幅传递函数satlin饱和线性传递函数satlins对称饱和线性传递函数Iogsig对数S形传递函数tansig正切S形传递函数radbas径向基传递函数compet竞争层传递函数各个函数的定义及使用方法，可以参看MaUab的帮助(如在Matlab命令窗口运行helptansig,可以看到tantig的使用方法,及tansig的定义为(v)=?-1)。1 +e1.2网络结构及工作方式除单元特性外，网络的拓扑结构也是NN的一个重要特性。从连接方式看NN主要有两种。(i)前馈型网络各神经元接受前一层的输入，并输出给下一层，没有反馈。结，点分为两类，即输入单元和计算单元，每一计算单元可有任意个输入，但只有一个输出(它可耦合到任意多个其它结点作为其输入)。通常前馈网络可分为不同的层，第i层的输入只与第1层输出相连，输入和输出结点与外界相连，而其它中间层则称为隐层。（三）反馈型网络所有结点都是计算单元同时也可接受输入，并向外界输出。NN的工作过程主要分为两个阶段：第一个阶段是学习期，此时客让算单元状态不变，各连线上的权值可通过学习来修改：第二阶段是工作期，此时各连接权固定，计算单元状态变化，以达到某种稳定状忠之从作用效果看，前馈网络主要是函数映射，可用于模式识别和函数逼近。反馈网络按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点都起作用，这一类主要用作各种联想存储器；第二类只利用全局极小点；它主要用于求解最优化问题。§2螺虫分类问题与多层前馈网络2.1蛛虫分类问题_螺虫分类问题可概括叙述如下：生物学家试E寸两种螺虫(Af与APf)进行鉴别,依据的资料是触角和翅膀的长度，已经测得了9支Af和6支APf的数据如下：Af:(1.24,1.27),(1.36,1.74),(1.38J.64)，(1.38,1.82),(1.38,1.90),(1.40,1.70),(1.54,1.82),(1.56,2.08).(1.48,1.82),(1.54,1.82),(1.56,2.08).(1.18,1.96),(1.2(0.86),(1.26,2.00),(1.28,2.00),(1.30,1.96).现在的问题是：妙D根据如上资料，如何制定一种方法，正确地区分两类蝶虫。(ii)t触角和翼长分别为(1.24,1.80),(1.28,1.84)与(1.40,204)的3个标本，用所得到的方法加以识别。(iii)设Af是宝贵的传粉益虫，APf是某疾病的载体，是否应该修改分类方法。如上的问题是有代表性的，它的特点是要求依据己知资料(9支Af的数据和6支APf的数据）制定一种分类方法，类别是已经给定的（Af或ApfK今后，我们将9支Af及6支Apf的数据集合称之为学习样本。2.2多层前馈网络图3多层前馈网络为解决上述问题，考虑-个其结构如图3所示的人工神经件篇数由(v)=!1+exp(-Qv)来决定。图中最下面单元，即由所示的一层称为输入层，用以输入已知测量值J在我们的例子中，它只需包括两个单元，一个用以输入触角长度，一个用以输入翅膀长度。中间一层称为处理层或隐单元层，单元个数适当选取，务于它的选取方法，有些文献进行了讨论，但通过试验来决定，或许是最好的途径。在我们的例子中，取三个就足够了。最上面一层称为输出层，在我们的例子中只包含二个单元，用以输出'与程一组输入数据相对应的分类信息.任何一个中间层单元接受所有输入单元传来的信号，并把处理后的结果传向每一个输出单元，供输出层再次加工，同层的神经元彼此不相联接，输入与输出单元之间也没有直接联接。这样，除了神经元的形式定义外，我们又给出了网络结构。有些文献将这样的网络称为两层前传网络，称为两层的理由是，只有中间层及输出层的单元才对信号进行处理；输泥层的单元对输入数据没有任何加工，故不计算在层数之内。S表示一个确定的已知样品标号，在螺虫问题中，s=1,2,1.,15,分别表臂?样本中的15个样品；当将第S个样品的原始数据输入网络时，相应的输出单元状态记为OSG=I,2），隐单元状态记为（六1,2,3）,输入单元取值记为/；（%=1,2）。在这一向定下，从中间层到输出层的权记为“尸从输入层到中间层的权记为WJI如果吗H记弁均己给定，那么，对应于任何Ta确定的输入（/；,/；）,网络中所T单元"一一言，隐单元）的输入是.-zV_<,¾k=为了叙述上的方便，此处引入如卜记号上的约定：/的取值不难确定。事实上，对样品S而(5)相应的输出状态悬W=（P（万三l由此，输出单元i所接收到的迭加信号是332网络的最终输出是331.O；=Q(砰)=Q(W啊”;)=Q(W%(W队；)(8)y=l=lk-这里，没有考虑阈值，正如前面己经说明的那样，这一点是无关紧要的。还应指出的是，对于任何一组确定的输入，输出是所有权n,正zjt的函数。如果我们能够选定一组适当的权值m,记弁,使得对应于学习样本中任何一组Af样品的输入(/；,/；),输出(0；,0；)=(1,0),对应于APf的输入数据，输出为(0,1),那么螃虫分类问题实际上就解决了。因为，对于任何一个未知类别的样品，只要将其触角及翅膀长度输入网络，视其输出模式靠近(1,0)亦或(0,1),就可能判断其归属。当然，有可能出现介于中间无法判断的情况。现在的问题是，如何找到组适当的权值，实现上面所设想的网络功能。23向后传播算法对于一个多层网络，如何求得一组恰当的权值，使网络具有特定的功能，在很长一段时间内，曾经是使研究工作者感到困难的一个问题，直到1985年，美国加州大学的一个研究小组提出了所谓向后传播算法(BaCk-ProPagatiOn),使问题有了重大进展，这一算法也是促成人工神经网络研究迅猛发展的一个原因。下面就来介绍这一算法。如前所述，我们希望对应于学习样本中Af样品的输出是(1,0),对应于APf的输出是(0,1)，这样的输出称之为理想输出。实际上要精确地作到这一点是不可能的，只能希望实际输出尽可能地接近理想输出。为清楚起见，把对应于样品S的理想输出记为中那么串Pa二9W=-(-o/)2-1prSZ度量了在一组给定的权下，实际输出与理想输出的差号，由此，寻找上组恰当的权的问题，自然地归结为求适当W的值，使E(W)达到极小的问题。将式(8)代入(9),有1 32E")看-(%Q(畋£疥(10)2 s,i7=易知，对每一个变量%或F1而言，这是一个连续可微的非线性函数，为了求得其极小点与极小值，最为方便的就是使用最速下降法。最速下降法是一种迭代算法，为求出E(W)的(局部)极小，它从个任取的初始点必出发，计克在W)点的负梯度方向-VE(叱j，这是函数熊点下降最快的方向；只要VE(Wo)O,就可沿该方向移动二小段距离，君到一外新的点WI=Wo-VE(%),是一个参数，只要足够小，定能保证E(WJKE(Wc)。琮断重复盘过程，一定能达到E的一个(局部)极小点。就本质而言，这就是BP算法的全部内容，然而，对人工神经网络问题而言，这算法的具体形式是非常重妻的，下面我们就来给出这一形式表达。褥隐单含IJ输出单元的权而言，最速下降法给出的每一步的修正量是%二-n要二n7-o;明(可)第=nWb；“；川)IJS此处令(12)对输入单元到隐单元的权正z<8ewjk=F1.=n2Y一。；3'()%'("；)/；而曲Sj(13)二n6t'(")/=n3ZXJ此处押(K)哂q从(11)和(13)式可以看出，言有权的修正量都有如下形式即卬修=nM(14)指标”对应于两个单元中输出信号向端，4对应于输入信号函一端，s或者代奏H或者代表/。形式上看来，这一修正是“局部”的，可以看作是Hebb律的一种表现形式。还应注意，j由实际输出与理想输出的差及不决定，而5/则需依赖0'算出，因此，这一算法才称为向后传播算法。稍加分析还可知道，利用由(11)-(13)5所给出的计算安排，较之不考虑S的向后传播，直接计算所有含,的原奉达式，极大地降低了计算工作量。这组关索式称作广X-茬则，它们不难推广到搬的多层网络上去。利用这一迭代算法，最终生成在一定精度内满足要求的吟,对J的过程，称为人工神经网络的学习过程。可以看出，这里所提供的学习机制是元七元之间权的不断调整，学习样本中任何一个样品所提供的信息，最终将包含在网络的每丁个权之中。参数的大小则反映了学习效率广登U为了更有效地应用BP算法，我们做出如下些补充说明。(i)在式(Il)与(13)中，A%,A%表示为与所有样品S有关的求和计算。实际上，我们还可以每次仅考虑输入二个样品所造成的修正，然后，按照随机选取的顺序，将所有样品逐个输入，不断重复这一手续，直至收敛到一个满意的解为止。(ii)在如上的算袤中，利用实际输出,与理想输向差的平方和作为度量%,叼J优劣的标准；鼠并不是唯一的度量方式;完全可以从其它的函数形式出发，例如从相对炳出发，导出相应版濠lJg>(Hi)在如上的讨论中使用的是最速下降法，显然，这也不是唯一的选择，其它的非线性优化方法，诸如共辄梯度法'，拟牛顿法等，都可用于计算。为了加速算法的收敛速度，还可以考虑各种不同的修正方式。BP算法的出现，虽然对人工神经网络的发展起了重大推动作用，但是这一算法仍有很多.问题.对于一个大的网络系统，BP算法的工作量仍然是十分可观的，这主要在于算法的收敛速度很慢。更为严重的是，此处所讨论的是非线性函数的优化，那么它就无法逃脱该类问题的共同困难：BP算法所求得的解，只能保证是依赖于初值选取的局部极小点。为克服这一缺陷，可以考虑改进方法，例如模拟退火算法，或从多个随机选定的初值点出发，进行多次计算，但这些方法都不可避免地加大了工作量。2.4蝶虫分类问题的求解下面利用上文所叙述的网络结构及方法，对蝶虫分类问题求解。编写MaHab程序如下:clearpl=1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;1.40,1.70;1.48,1.82;1.54z1.82;1.56,2.08;p2=1.14z1.82;1.18,1.96;1.20,1.86;1.26z2.001.28,2.00”.30,1.96;p=pl;p2,;pr=minmax(p);goal=ones(1,9),zeros(1,6);zeros(lz9),ones(1,6);plot(pl(:,l)zpl(:,2),htzp2(:,1)P2(:,2)zto,)net=newff(pr,3,2,'Iogsig,z,Iogsig,);net.trainParam.show=10;net.trainParam.Ir=0.05;net.trainParam.goal=le-10;net.trainParam.epochs=50000;net=train(net,p,goal);x=1.241.80;1.281.84;1.402.04,;y=sim(net,p)y=sim(net,x)§3处理蝶虫分类的另一种网络方法3.1 几个有关概念在介绍本节主要内容之前，苜先说明儿个不同的概念。港上一节中，我们把利用BP算法确定联接强度，即权值的过程称为“学为过程”，这种学习的特点是，对任何一个输入样品，其类别事先是已知的，理想输出也已事先规定，因而从它所产生的实际输出与理想输出的异同，我们清楚地知道网络判断正确与否，故此把这一类学习称为在教师监督下的学习；与它不同的是，有些情况下学习是无监督的，例如，我们试图把一组样品按其本身特点分类,所要划分的类别是事先未知的，需要网络自身通过学习来决定，因而，在学习过程中，对每一输入所产生的输出也就无所谓对错，对于这样的情况，显然BP算法是不适用的产另一个有关概念是所谓有竞争的学习。在上,节所讨论的蝶虫分类网络中，尽管我们同时不为0。与此不同，我们完全可以设想另外一种输出模式：对应任何一组输入，所有输出单元中，只允许有一个处于激发态，即取值为1,其它输出单元均被抑制，即取值为0。种形象的说法是，对应任何一组输入，要求所有的输出单元彼此竞争，唯的胜利者赢得一切，失败者一无所获，形成这样一种输出机制的网络学习过程，称为有竞争的学习。3.2 最简单的无监督有竞争的学习本节叙述种无监督有竞争的网络学习方法，疝此产生的网络可用来将一组输入样品自动划分类别，相似的样品归于同，类别，因而激发同一输出单元，这一分类方式，是网络自身通过学斗，从输入数据的关系中得出的。螃虫分类问题对应'有教师的网络学习过程，显然不能由如上的方法来解决。但在这种无监督有竞争的学习阐明之后，很容易从中导出一种适用于有监督情况的网络方法；此外，本节所介绍的网络，在数据压缩等多种领域，都有其重要应用。考虑一个仅由输入层与输出层组成的网络系统,输入单元数目与每一样品的测量值数目相等，输出单元数目适当选取。每i个输入单元与所有输出单元联接，第j个输入元到第i个输出元的权记为叱尸同层单元间无横向联接。不妨假设所有输入数值均已规化到-1,1之间，又因为是有竞争的学习，输出单元只取。或1两个值，且对应每一组输入，只有一个输出元取1。取1的输出元记为i*,称之为优胜者。对于任何一组输入S,规定优胜者是有最大净输入的输出元，即对输入/=(/,!_,/)而言，¼=WijIj三WiW.-IWi-It(Vi)(17)即优胜者是其标准化权向量最靠近输入向量的输出元。令0；=1,其余的输出.样品S,按上文所述确定优胜者，Oi=O.这样的输出规定了输入向量的类别，但为如何将学习样本中的所有样品，自然地划分为聚类,并对每一聚类找出适当的权向量为此，采用如下的算法：随机取定一组不大的初始权向量，注意不使它们有任何对称性然后，将已知样品按照随机顺序输入网络对所有与有关的权作如下修正所有其它输出单元的权保持不变。注意到。，=1,0i=0(I),所有权的修正公式可统一表示为这一形式也可视为Hebb律的一种表现。(18)式的几何意义是清楚的，每次修正将优胜者的权向量向输入向量移近1.小段距离，这使得同样品再次输入时，有更大的获胜可能。可以合理地预期，反复重复以上步骤，使得每个输出单元对应了输入向量的一个聚类，相应的权向量落在了该聚类样品的重心附近。当然，这只是一个极不严密的说明。特别应当指出，上述算法,对于事先按照2j=l标准化了的输入数据更为适用，整个过程不难由计算机模拟实现。为了更有效地使用如上算法，下面对实'际计算时可能产生的问题,作一些简要说明。首先，如果初始权选择不当,哪么可能出现这样的输出单元，它的权远离任何输入向量，因此，：永远不会成为优胜者,相应的权也就永远不会得到修正，这样的单元称之为死单元。为避免出现死单元，可以有多种方法。一种办法是初始权从学习样本中抽样选取，这就保证了老们都落在正确范围内；另一种办法是修正上述的学习算法，使得每二步不仅调整优胜者的权，同时也以一个小得多的值，修正所有其它的权。这样，对于总是失败的单元,其权逐渐地朝着平均输入方向运动,最终也会在某一次竞争中取胜。此外，还存在有多种处理死单元的方法，感兴趣的读者可从文献中找到更多的方法。另外一个问题是这一算法的收敛性。如果式(18)或(19)中反映学习效率的参数取为一个固定常数，那么权向量永远不会真正在某一有限点集上稳定下来。因此，应当考虑在公式中引进随学习时间而变化的收敛因子。例如，取n=no)=0<a,这一因子的适当选取是极为重要的，下降太慢，无疑增加了不必要工作量，n卜降太快，则会使学习变得无效。3.3 1.VQ方法上述有竞争学习的一个最重要应用是数据压缩中的向量量子化方法(VeCtOrQUantiZatiOn)。它的基本想法是，把一个给定的输入向量集合/'分成M个类别，然后用类别指标来代表所有属于该类的向量。向量分量通常取连续值，一旦一组适当的类别确定之后，代替传输或存储输入向量本身，可以只传输或存储它的类别指标。所有的类别由M个所谓“原型向量”来表示，我们可以利用一般的欧氏距离，对每一个输入向量找到最靠近的原型向量，作为它的类别。显然，这种分类方法可以通过有竞争的学习直接得到。旦学习过程结束，所有权向量的集合，便构成了一个“电码本”。一般而言，上述无监督有竞争的学习，实际提供了一种聚类分析方法，对如螺虫分类这种有监督的问题并不适用。1989年，KOhonen对向量量子化方法加以修改，提出了一种适用于有监督情况的学习方法，称为学习向量量子化(1.earningVectorQuantization),该方法可用于嫁虫分类问题。在有监督的情况下，学习样品的类别是事先已知的，与此相应，每个输出单元所对应的类别也事先作了规定，但是，代表同一类别的输出单元可以不止一个。在1.VQ中，对于任一输入向量，仍按无监督有竞争的方式选出优胜者但权的修正规则则依输入向量的类别与所代表的是否致而不同，确切地说，今l(;-W.)一致情况vv.=17=“卜n(j)不一致情况前一种情况，修正和无监督的学习一或，权朝向样品方向移动一小段距离；后一种则相反，权向离开样品方向移动，宸样就减少了错误分类的机会。对于上述的蟋虫分类问题，我们编写Matlab程序如下：Y/CIearpl=1.24,1.27;1.36,14;1.38,1.64;1.38,R1.90;1.40,1.70;1.48r1.82;1.54,1.82;1.56zj.08;p2=1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.1.28,2.孕;卷0,1.96;p=pl;p2,pr=minmax(p)goal=ones(1,9),zeros(1,6);zeros(1,9)/ones(lz6)net=newlvq(pr,4,06z0.4)三黑北二PSDJ/x=(1.241.80;1.281.84/1.402.04,习题十九1.利用BP算法及Sigmoid函数，研究以下各函数的逼近问题(i) /(x)=-,lx100x(ii) /(x)=sinx,O<x<-2对每一函数要完成如下工作：获取两组数据，一组作为训练集，一组作为测试集；利用训练集训练一个单隐层的网络；用测试集检验训练结果，改变隐层单元数,研究它对逼近效果的影响。2.给定待拟合的曲线形式为f(x)=0.5+0.4sin(211x)在/*)上等间隔取11个点的数据，在此数据的输出值上加均值为0,均方差Q=0.05的正态分布噪声作为给定训练数据，用多项式拟合此函数，分别取多项式的阶次为1,