BP神经网络.ppt.ppt
BP神经网络,Company Logo,Contents,Company Logo,人工神经网络的起源,人工神经元的研究起源于脑神经元学说。19世纪末，在生物、生理学领域，Waldeger等人创建了神经元学说。人们认识到复杂的神经系统是由数目繁多的神经元组合而成。大脑皮层包括有100亿个以上的神经元，每立方毫米约有数万个，它们互相联结形成神经网络，通过感觉器官和神经接受来自身体内外的各种信息，传递至中枢神经系统内，经过对信息的分析和综合，再通过运动神经发出控制信息，以此来实现机体与内外环境的联系，协调全身的各种机能活动。,Company Logo,人工神经网络的工作原理,人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。,Company Logo,人工神经网络的工作原理,所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。,Company Logo,人工神经网络的工作原理,如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。,Company Logo,BP神经网络的概述,BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。,David Rumelhart,J.McClelland,Company Logo,BP神经网络的概述,BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input layer）、隐层(hide layer)和输出层(output layer)。,Company Logo,三层BP网络,BP神经网络模型,Company Logo,各层之间的关系,输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元。中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。,Company Logo,各层之间的关系,当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。,Company Logo,BP算法介绍,激活函数必须处处可导一般都使用S型函数(Sigmoid函数)使用S型激活函数时BP网络输入与输出关系输入输出,Company Logo,BP算法介绍,输出的导数,Company Logo,BP算法介绍,学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值的动态调整学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。,Company Logo,BP算法介绍,核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播 误差的反向传播,将误差分摊给各层的所有单元各层单元的误差信号,修正各单元权值,Company Logo,BP算法介绍,正向传播：输入样本输入层各隐层输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出不符误差反传误差以某种形式在各层表示修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止,Company Logo,BP算法介绍,网络结构输入层有n个神经元隐含层有p个神经元输出层有q个神经元变量定义输入向量：隐含层输入向量：隐含层输出向量：输出层输入向量：输出层输出向量：期望输出向量：,Company Logo,BP算法介绍,输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：,Company Logo,BP算法分析过程,第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。第二步，随机选取第个输入样本及对应期望输出,Company Logo,BP算法分析过程,第三步，计算隐含层各神经元的输入和输出,Company Logo,BP算法分析过程,第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数。,Company Logo,BP算法分析过程,第五步，利用隐含层到输出层的连接权值、输出层的 和隐含层的输出,计算误差函数对隐含层各神经元的偏导数。,Company Logo,BP算法分析过程,Company Logo,BP算法分析过程,第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值。,Company Logo,BP算法分析过程,第七步，利用隐含层各神经元的 和输入层各神经元的输入修正连接权。,Company Logo,BP算法分析过程,第八步，计算全局误差第九步，判断网络误差是否满足要求。当e 时，结束算法，并输出此时的权值，阈值及学习次数。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。,Company Logo,BP算法直观解释,情况一 当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少。,Company Logo,BP算法直观解释,情况二直观表达当误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少。,Company Logo,给定输入/输出样本值,计算隐层单元的输出,计算输出层单元的输出,计算输出层单元的误差,计算隐层单元误差,求误差梯度,权值调整,误差满足要求？,结束,设置初始权系数,Y,N,Company Logo,应用举例,MATLAB中BP神经网络的重要函数和基本功能,Company Logo,应用举例,MATLAB中BP神经网络的重要函数和基本功能newff()功能 建立一个前向BP网络格式 net=newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF)说明 net为创建的新BP神经网络；PR为网络输入取向量取值范围的矩阵；S1 S2SNl表示网络隐含层和输出层神经元的个数；TFl TF2TFN1表示网络隐含层和输出层的传输函数，默认为tansig；BTF表示网络的训练函数，默认为trainlm；BLF表示网络的权值学习函数，默认为learngdm；PF表示性能数，默认为mse。,Company Logo,应用举例,MATLAB中BP神经网络的重要函数和基本功能tansig()功能 正切sigmoid激活函数格式 a=tansig(n)说明 双曲正切Sigmoid函数把神经元的输入范围从(-，+)映射到(-1，1)。它是可导函数，适用于BP训练的神经元。logsig()功能 对数Sigmoid激活函数格式 a=logsig(N)说明对数Sigmoid函数把神经元的输入范围从(-，+)映射到(0，1)。它是可导函数，适用于BP训练的神经元。,Company Logo,应用举例,Company Logo,应用举例,例：下表为某药品的销售情况，现构建一个如下的三层BP神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函数为tansig；输出层结点数为1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。,Company Logo,应用举例,Company Logo,应用举例,%以每三个月的销售量经归一化处理后作为输入P=0.51520.81731.0000；0.81731.00000.7308；1.00000.73080.1390；0.73080.13900.1087；0.13900.10870.3520；0.10870.35200.0000；,Company Logo,应用举例,%以第四个月的销售量归一化处理后作为目标向量 T=0.7308,0.1390,0.1087,0.3520,0.0000,0.3761；,Company Logo,应用举例,%创建一个BP神经网络，每一个输入向量的取值范围为0,1，隐含层有5个神经元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为logsig，训练函数为梯度下降函数。net=newff(0 1；0 1；0 1，5,1，tansig，logsig，traingd)；net.trainParam.epochs=15000；net.trainParam.goal=0.01；,Company Logo,%设置学习速率为0.1LP.lr=0.1；net=train(net,P,T)；,Company Logo,BP网络应用于药品预测对比图由对比图可以看出预测效果与实际存在一定误差，此误差可以通过增加运行步数和提高预设误差精度进一步缩小。,Company Logo,BP神经网络的特点,非线性映射能力能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。,Thank You!,
