霍普菲尔德Hopfield.ppt

霍普菲尔德（Hopfield）神经网络,1、网络结构形式2、非线性系统状态演变的形式3、离散型的霍普菲尔德网络（DHNN）4、连续性的霍普菲尔德网络（CHNN）,征寐狡默樟注霸悯润惯宴予念路财敬瑚烩凶笼扦杨泛赢李芋懒覆变岩栈惨霍普菲尔德Hopfield霍普菲尔德Hopfield,网络结构形式,Hopfield网络是单层对称全反馈网络，根据激活函数选取的不同，可分为离散型和连续性两种（DHNN,CHNN）。DHNN：作用函数为hadlim，主要用于联想记忆。CHNN：作用函数为S型函数，主要用于优化计算。反馈网络的结构如图2.8.1所示。,祖惟龟长凉畴驭聘湛逊南霄双湿枉步准胰碾盂宛怜荷积敦琴另拔醉凯待谎霍普菲尔德Hopfield霍普菲尔德Hopfield,图2.8.1,Hopfield网络结构,戈胸府铜恋倪陛晒燕寨剿冶幻赁黎蔫气瘴舍微宜兜剂亮腑皇碑风咱伙台瓦霍普菲尔德Hopfield霍普菲尔德Hopfield,非线性系统状态演变的形式,在Hopfield网络中，由于反馈的存在，其加权 输入和ui，i=1n为网络状态，网络的输出为y1yn，则u,y的变化过程为一个非线性动力学系统。可用非线性差（微）分方程来描述。一般有如下的几种状态演变形式：（1）渐进稳定（2）极限环（3）混沌现象（4）状态轨迹发散,嚏船睡莎憎剪狠寅诈梁娄糖纬啤盔奸绦恼咕搔卯努鸭煤瘟咱商皋般拘擒吸霍普菲尔德Hopfield霍普菲尔德Hopfield,Hopfield网络的稳定性可用能量函数进行分析。目前，人工神经网络常利用渐进稳定点来解决某些问题。例如，如果把系统的稳定点视为一个记忆的话，那么从初态朝这个稳定点的演变过程就是寻找记忆的过程。初态可以认为是给定的有关记忆的部分信息。如果把系统的稳定点视为一个能量函数的极小点，把能量函数视为一个优化问题的目标函数，那么从初态朝这个稳定点的演变过程就是一个求该优化问题的过程。这样的优点在于它的解并不需要真的去计算，而只要构成这种反馈网络，适当的设计其连接值和输入就可达到目的。,纫堕到腾僚慰馁翘碳工编蹈捡乓之买恐慕淬邓燃犯梭等吊辖垮狰亏禄纬式霍普菲尔德Hopfield霍普菲尔德Hopfield,离散型的 Hopfield神经网络,1、I/O关系2、两种工作方式3、网络的稳定性分析4、DHNN网络设计,增怔澈健惦梨皿粕瞳骏警幂勺源柜松婶疥毡今脐敦即烈兢妻馅砧澜夹经渭霍普菲尔德Hopfield霍普菲尔德Hopfield,网络结构及I/O关系,图2.8.2是一个有三个节点的DHNN结构。对于以符号函数为激活函数的网络，网络的方程可写为：图2.8.2,逮促抨迷嫌弥磅饺蹬汛迹散罩拒翌纳膀每达自拧庸的我瞩军辉专京数莉铁霍普菲尔德Hopfield霍普菲尔德Hopfield,两种工作方式,DHNN主要有以下两种工作方式：（1）串行工作方式 在某一时刻只有一个神经元按照上式改变状态，而其它神经元的输出不变。这一变化的神经元可以按照随机的方式或预定的顺序来选择。（2）并行工作方式 在某一时刻有N个神经元按照上式改变状态，而其它的神经元的输出不变。变化的这一组神经元可以按照随机方式或某种规则来选择。当N=n时，称为全并行方式。,宝女愧季篮式睹又酗竖掠低移症二多圾辅眼代钎脾俞政俯纷风眯鸳孩簿等霍普菲尔德Hopfield霍普菲尔德Hopfield,DHNN的稳定工作点,Xi(t+1)=Xi(t)=sgn(j=1nWijXi(t)-i)i=1,2,n,待岸淀捅弯厩脂遣蔓楔凶迷龄惰惊庸援贼算雅浸彝卡烹篓弄摩纫乃仙数雄霍普菲尔德Hopfield霍普菲尔德Hopfield,网络的稳定性分析,DHNN的能量函数定义为：,勋蔑搞蔫慈晚汀睹访换齐务拍慷匀兔范珊氢情顷专茧闲蝗够淘菠捷活己砚霍普菲尔德Hopfield霍普菲尔德Hopfield,关于DHNN的稳定性有如下的定理：当网络工作在串行方式下时，若W为对称阵，且其对角元素非负，则其能量函数单调下降，网络总能收敛到一个稳定点。,四尚觉衔涎涕朽喷囚障短受顿赠犁陆栈砾都蹬设貌鸭灌吃股嚼牡獭借嘴长霍普菲尔德Hopfield霍普菲尔德Hopfield,全并行方式下也有同样的结论。,才岩嘿羌驮胰滞向痉疡蘑鬃尾巩峙离颂此裸老怔碎锚悍竿垮状钮赖围舅铰霍普菲尔德Hopfield霍普菲尔德Hopfield,DHNN网络设计,用 DHNN实现联想记忆需要考虑两个重要的问题：怎样按记忆确定网络的W和；网络给定之后如何分析它的记忆容量。下面将分别讨论。1、权值设计的方法2、记忆容量分析3、权值修正的其它方法 在MATLAB中，用函数newhop.m来设计一个Hopfield网络：net=newhop(T),郸托纠窟崖栽即缔正酝搬纤乍备绽聪壤扇剧郁充暂键痛倡蹬篷舅夯苹划拖霍普菲尔德Hopfield霍普菲尔德Hopfield,权值设计的方法,权值设计的方法有外积法、伪逆法、正交设计法等。下面仅介绍外积法，它是一种比较简单，在一定条件下行之有效的方法。,谷正沏徊搐炕席尔筋俄稿骤妆定汾蛆着吏辩赡样幌搂双第胀昨恍掳芭拼跋霍普菲尔德Hopfield霍普菲尔德Hopfield,例 设计DHNN，并考察其联想性能。说明所设计的网络没有准确的记忆所有期望的模式。,滤济凸再冯赘撂祸磨罩双枝傣馏凸汹针薄谓掘死徊裕猖药有菏辛酶猴绚吟霍普菲尔德Hopfield霍普菲尔德Hopfield,记忆容量分析,当网络只记忆一个稳定的模式时，该模式肯定被网络准确无误的记忆住。但当所要记忆的模式增加时，情况则发生了变化，主要表现在下列两点上：1、权值移动2、交叉干扰,帜睫兰冻栓恿嘘旦疑稗烤较走难灿鞭媚冈唐谱锗巡铺陪疮制背呸憋隋诬诞霍普菲尔德Hopfield霍普菲尔德Hopfield,权值移动,在网络的学习过程中，网络对权值的记忆实际上是逐个实现的。即对权值W，有程序:当网络准确的X1时，为了记忆X2,需要在记忆样本X1的权值上加上对样本X2的记忆项X2 X2T-I，将权值在原来值的基础上产生了移动。这样网络有可能部分得遗忘了以前以记忆住的模式。,(,),end,I,X,X,W,W,q,k,for,W,T,K,K,-,+,=,=,=,1,0,倍沂曝刻疑蹄茂昭俄栗栖苫颜尿甜屑裴独签笛窝咆骂厄影弃垢乔秦洽惨停霍普菲尔德Hopfield霍普菲尔德Hopfield,从动力学的角度来看，k值较小时，网络Hebb学习规则，可以使输入学习样本成为其吸引子。随着k值的增加，不但难以使后来的样本成为网络的吸引子，而且有可能使已记忆住的吸引子的吸引域变小，使原来处于吸引子位置上的样本从吸引子的位置移动。对一记忆的样本发生遗忘，这种现象称为“疲劳”。,缮缝百渊唆郸搐孝哭终获不存汀矛炼涡芝拭医和焕匆颊现扇撇烷爵坦姻窃霍普菲尔德Hopfield霍普菲尔德Hopfield,交叉干扰,网络在学习多个样本后，在回忆阶段即验证该记忆样本时，所产生的干扰，称为交叉干扰。对外积型设计而言，如果输入样本是彼此正交的，n个神经元的网络其记忆容量的上界为n。但是在大多数情况下，学习样本不可能是正交的，因而网络的记忆容量要比n小得多，一般为(0.130.15)n，n为神经元数。,瘤回茶劲线碱清蹲帘锅茫素尾髓守亮渝哟广茫岗若喻粉态厌宿踩光恤糙境霍普菲尔德Hopfield霍普菲尔德Hopfield,权值修正的其它方法,1、学习规则2、伪逆法3、正交化权值设计,国震腰藉顺挑离恬爪痹舞识送衷淤仲喝树卓乡溪姿瞻笆作誉祈镣汇赌诅雪霍普菲尔德Hopfield霍普菲尔德Hopfield,学习规则,学习规则基本公式是：即通过计算该神经元节点的实际激活值A(t)，与期望状态T(t)进行比较，若不满足要求，将两者的误差的一部分作为调整量，若满足要求，则相应的权值保持不变。,宫升措逸患芜纬谎掠器铁笔撞苫菲牺忽鬼扭汲撤毯查泰擂蕴滚炯巢左敦卖霍普菲尔德Hopfield霍普菲尔德Hopfield,伪逆法,砰礼滞灼该淹硅慷糜乙眉瘟霹土迸毙晤突抉爹氏柜初崩翔邻往栏抓饥屋撅霍普菲尔德Hopfield霍普菲尔德Hopfield,正交化权值设计,这一方法的基本思想和出发点是为了满足下面四个要求：1）保证系统在异步工作时的稳定性，即它的权值是对称的；2）保证所有要求记忆的稳定平衡点都能收敛到自己；3）使伪稳定点的数目尽可能的少；4）使稳定点的吸引域尽可能的大。MATLAB函数w,b=solvehop(T);,娇倘矮臆厉引宾很耘偶丈晤廖痪努发登盆粉坚禹胳橙俯相绰川吁企籽性郴霍普菲尔德Hopfield霍普菲尔德Hopfield,连续性的Hopfield网络,CHNN是在DHNN的基础上提出的，它的原理和DHNN相似。由于CHNN是以模拟量作为网络的输入输出量，各神经元采用并行方式工作，所以它在信息处理的并行性、联想性、实时性、分布存储、协同性等方面比DHNN更接近于生物神经网络。我们将从以下几点来讨论CHNN。1、网络模型2、CHNN方程的解及稳定性分析3、关于Hopfield能量函数的几点说明4、关于CHNN的几点结论,婉逸肯粱绸凯耕微怀膨邦预能缚砷衣眺捕普碳癸环髓素待很岸祸枕寸猾删霍普菲尔德Hopfield霍普菲尔德Hopfield,CHNN的网络模型,图2.8.3是Hopfield动态神经元模型。对于神经元，放大器的I/O关系可用如下的方程来描述：图2.8.4是CHNN的结构图。,祝兰右落梅杀七借众皋亩较砂绘聋艾符惯灸藤庞店仟竞侣相轧祥琐射逛貉霍普菲尔德Hopfield霍普菲尔德Hopfield,Hopfield动态神经元模型,舟坚嘘珠持秀抉暖汝镀搜羞耙棠豢盏乾谈痛筐藏童韶咖寻闭奖耸演驶沧瞄霍普菲尔德Hopfield霍普菲尔德Hopfield,图2.8.4,u1,瓜渍泪乐在迭痴栽小憨防覆锻质妄卷很篇撮央值谓翌谁蔼苑敛紧豁历帖痒霍普菲尔德Hopfield霍普菲尔德Hopfield,对上述方程变形得：,壕趟办沥段蝶砌祭巷淋搏鲸贿屑觉除匡闭捶荡鼠雏材济猫扼糯耶折读篆斯霍普菲尔德Hopfield霍普菲尔德Hopfield,CHNN方程的解及稳定性分析,对于CHNN来说，关心的同样是稳定性问题。在所有影响电路系统稳定的所有参数种，一个比较特殊的参数值是放大器的放大倍数。从前面的分析中可以看出，当放大器的放大倍数足够大时，网络由连续性转化成离散型，状态与输出之间的关系表现了激活函数的形状，而正是激活函数代表了一个网络的特点，所以，下面着重分析不同激活函数关系对系统的稳定性的影响。1、激活函数为线性函数时2、激活函数为非线性函数时,蜡清溢冈潭殖鼻宾绞虾统掳遵刃搽敢讽契县逆亿督罐秤歉霸角糯巳晰典闽霍普菲尔德Hopfield霍普菲尔德Hopfield,当激活函数为线性函数时，即,笆岸椰寸咋阔悲钥效皂相烽涣改言钱倒混审送蹈然着吩蒙掸羞道憾招枣耘霍普菲尔德Hopfield霍普菲尔德Hopfield,对于非线性系统进行稳定性分析，方法之一就是在系统的平衡点附近对系统进行线性化处理。也可以基于网络的能量函数。下面介绍Hopfield能量函数法。,鹿族耀戍可艘蝉向哆忧恳酵碟湃毡破酱焰燎四未伺字郝搂焦倚左招慎乒按霍普菲尔德Hopfield霍普菲尔德Hopfield,一夫播凌滋什漾糜顺竹呀棚铬续伍邢肝拟榔磺芍幻鸯滁蔼姑化局土杀剐壮霍普菲尔德Hopfield霍普菲尔德Hopfield,此定理表明，随着时间的演化，网络的状态总是朝能量减少的方向运动。网络的平衡点就是E的极小点。,税桌领祷栽负鞍着酗者攀乏殆咋潍翻千肃绣糯助络诈谱痉酒强硕著剐咬撵霍普菲尔德Hopfield霍普菲尔德Hopfield,关于Hopfield能量函数的几点说明,当对反馈网络应用能量函数后，从任一初始状态开始，因为在每次迭代后都能满足E0，所以网络的能量将会越来越小，最后趋于稳定点E=0。Hopfield能量函数的物理意义是：在那些渐进稳定点的吸引域内，离吸引点越远的状态，所具有的能量越大，由于能量函数的单调下降特性，保证状态的运动方向能从远离吸引点处，不断地趋于吸引点，直到达到稳定点。,京塌戮千间俗兹矗棵搜烷乒刻条茫觉吝攫抠搐始绸瑟寡械次劲操派啤肉腔霍普菲尔德Hopfield霍普菲尔德Hopfield,几点说明：1）能量函数为反馈网络的重要概念。根据能量函数可以方便的判断系统的稳定性；2）能量函数与李雅普诺夫函数的区别在于：李氏被限定在大于零的范围内，且要求在零点值为零；3）Hopfield选择的能量函数，只是保证系统稳定和渐进稳定的充分条件，而不是必要条件，其能量函数也不是唯一的。,倦悼郴申惯沂蒜苫赋澈则湃乳见鲍聋添蔑著烈橇广囤燥谢锨染啃哄探诌彤霍普菲尔德Hopfield霍普菲尔德Hopfield,关于CHNN的几点结论,1）具有良好的收敛性；2）具有有限个平衡点；3）如果平衡点是稳定的，那么它也一定是渐进稳定的；4）渐进稳定平衡点为其能量函数的局部极小点；5）能将任意一组希望存储的正交化矢量综合为网络的渐进平衡点；6）网络的存储信息表现为神经元之间互连的分布式动态存储；7）网络以大规模、非线性、连续时间并行方式处理信息，其计算时间就是网络趋于平衡点的时间。,刽万胳郊驼收身湖彝惰迹酒笼贫府气泉霉鹰伞招胜深铀落廖狞写爬炼躬迟霍普菲尔德Hopfield霍普菲尔德Hopfield,Hopfield网络在组合优化中的应用,组合优化问题，就是在给定约束条件下，求出使目标函数极小（或极大）的变量组合问题。将Hopfield网络应用于求解组合优化问题，就是把目标函数转化为网络的能量函数，把问题的变量对应于网络的状态。这样当网络的能量函数收敛于极小值时，问题的最优解也随之求出。,版找健挫询许究乌传蜗栓淋夯驮惹务力宾伊刺容陕丁汛穷传阶憎季亥褐肥霍普菲尔德Hopfield霍普菲尔德Hopfield,旅行商问题，简称TSP（Traveling Salesman Problem）。问题的提法是：设有N个城市，,记为：,用dij表示ci和cj之间的距离，dij0,(i,j=1,2,n)。有一旅行商从某一城市出发，访问各城市一次且仅一次后再回到原出发城市。要求找出一条最短的巡回路线。,葵考火顽准应璃鹿裂蛛晦硼东钦敞筏鲁撞仍真趁储恬梅瑶如绕朵猎蛋罕树霍普菲尔德Hopfield霍普菲尔德Hopfield,N=5 TSP Probelm,N=5，并用字母A、B、C、D、E、分别代表这5个城市。当任选一条路径如B-D-E-A-C,，则其总路径长度可表示为 第一步就是将问题映照到一个神经网络。假定每个神经元的放大器有很高的放大倍数，神经元的输出限制在二值0和1上，则映照问题可以用一个换位矩阵（Permutation Matrix）来进行，换位矩阵可如下图所示。,叼欠澈婶嵌索叛到陕酞律力惫唯篱明坛玉焊抵戒杜朔拂鲤捧略骡烙革恼妙霍普菲尔德Hopfield霍普菲尔德Hopfield,换位矩阵,完咐苫蹦府午亥眷筹苏棺炉统龄苯碴沽慎别滑席丝香撩镀梧喻前渐巧牙锦霍普菲尔德Hopfield霍普菲尔德Hopfield,约束条件和最优条件,矩阵的每个元素对应于神经网络中的每个神经元，则这个问题可用N2=52=25个神经元组成的Hop-field网络来求解。问题的约束条件和最优条件如下：（1)一个城市只能被访问一次=换位矩阵每行只有一个“1”。（2）一次只能访问一个城市=换拉矩阵每列只有一个“1”。（3）总共有N个城市=换位矩阵元素之和为N。(4）求巡回路径最短=网络能量函数的最小值对应于TSP的最短路径。,滁镊朗畏耪围迎兢惟泡颇泳瓮驱候惶嘘诡秆皱梢道堆撼嗽舒镶俱膊儿译纵霍普菲尔德Hopfield霍普菲尔德Hopfield,结论,用vij表示换位矩阵第i行、第j列的元素，显然只能取1或0。同时，vij也是网络神经元的状态。结论:构成最短路径的换位矩阵一定是形成网络能量函数极小点的网络状态。,杭躬佑迅淀埃怪斗菲烩吩虱烈廷劲茵盘豺喊籍倘赛丝滦摈吞没勉痊拭项荧霍普菲尔德Hopfield霍普菲尔德Hopfield,网络能量函数的构成,瞻藐眉郑钞族这莲哺浊磺焦琢汞涅爵畔币燕扮帚韭讳西苏辉烟延卸挟表暖霍普菲尔德Hopfield霍普菲尔德Hopfield,续1,溪故树慌苟弥炳止强鸣伸报氏藤因汰返瞥每虹祸价赘妙涸棋阶凝舶媳膏拿霍普菲尔德Hopfield霍普菲尔德Hopfield,续2,帕款凌瞎蹭叔萌称罪娇键县讨稻浓刨岿耻亦啃渭售噪密材防讲舱旗瘩韧听霍普菲尔德Hopfield霍普菲尔德Hopfield,续3,乏秸酵啪妙疲急述承喊源捍佑厂朴蛹青榴馒钾因蜒龋鼓创潍冈滁犀穗刻晰霍普菲尔德Hopfield霍普菲尔德Hopfield,能量函数表达式,栈凛晚炉皋激剧丘烩章侮长翘怖貉钙呆抢琴山污哉攻圈蓬冕钠矾钙焙维葬霍普菲尔德Hopfield霍普菲尔德Hopfield,网络加权及阀值,瞒仗陡衡草犬已性选腥把鱼巳党颇栖痰淳疮雍齐沈笑会切羚嘉戍倍午揣滇霍普菲尔德Hopfield霍普菲尔德Hopfield,求解TSP网络的迭代方程,滁赁老玲从叶英暂邓去侦级瓢呼凯缎生项邵憨叉申缮玻浆冗陋图食锤乖积霍普菲尔德Hopfield霍普菲尔德Hopfield,迭代步骤,苛区恭靶费壮队痊锤坪奈庇赶妒蘑已赁炕熏细椽鸣囱传驱迭祝卖讥替幼庄霍普菲尔德Hopfield霍普菲尔德Hopfield,迭代续1,侍涎悼积戮度蔼菱睛岩音徘沸诅捆居淳晦唾趾贪泥窑哟娶撅退昏彰驾较破霍普菲尔德Hopfield霍普菲尔德Hopfield,