教学PPT神经网络控制.ppt

《教学PPT神经网络控制.ppt》由会员分享，可在线阅读，更多相关《教学PPT神经网络控制.ppt（37页珍藏版）》请在课桌文档上搜索。

1、第三章 神经网络控制,（Neural Network Control）,人工神经元模型神经元的学习方法神经元网络神经网络控制应用实例,3.1 人工神经元模型,一、神经元模型（The Neuron）生物神经元是脑组织的基本单元，人脑约1011个神经元。二、人工神经元：利用物理器件（电子、光电）、软件在计算机上仿真，模拟生物结构功能。对生物神经元的一种模拟与简化。它是神经网络的基本处理单元。,wji：连接权系数i：内部阈值f()：输出变换函数，具有非线性特性,f 的确定:根据应用 wi 的确定:通过学习,它是一个多输入、单输出的非线性元件。,三、神经元结构模型,输出变换函数的常见类型:,控制中常用

2、，,比例函数,S 状函数,双曲函数,符号函数,二、学习规则：wi(k+1)=wi(k)+ivi(k),i=1,2,.,n k 第 k 次学习 i 学习速率（i 0）vi(k)学习信号（通常为误差的函数）,一、学习的意义：通过调整权值 wi，使神经元具有期望的输入输出模式。,3.2 神经元的学习方法,三、学习方法梯度下降法：,特点：沿梯度方向下降一定能到达 J 的极小点；学习的快慢取决于学习速率i 的选取；缺点是可能陷入局部最小点。,简单例：设 y=w1x1（即=0,f(s)=s）w1 的初值 w1(0)=0,取性能指标为 J=e2(k)2=2 y(k)2 2=2 w1(k)2 2,则有,用梯度

3、下降法,使 x1=1 时,y=2,表 3-1=0.5 时的学习结果(学习速率较小),表 3-2=1.5 时的学习结果(学习速率较大),表 3-3=2 时的学习结果(学习速率过大),表 3-4=3 时的学习结果(学习速率过大),结论：过小收敛慢；过大则振荡甚至可能发散。对于该例，=1 时的学习次数最少(一次结束),目的：通过学习，使神经网络具有 期望 的输入输出模式两个关键:网络结构,学习方法常用结构:前馈网，反馈网等,3.3 神经元网络,一、BP神经网络（误差反向传播神经网络:Back Propagation）,著名的BP网络=前馈网+BP算法,1.BP神经网络特点（1）是一种多层网络，包括输

4、入层、隐含层和输出层；（2）层与层之间采用全互连方式，同一层神经元之间不连接；（3）权值通过学习算法进行调节；（4）神经元激发函数为S函数；（5）学习算法由正向传播和反向传播组成；（6）层与层的连接是单向的，信息的传播是双向的。,2.BP网络的逼近（BP算法）,梯度下降法,由输出层向输入层反向计算每一层的连接权值,BP算法,（1）前向传播：计算网络的输出。,隐层神经元的输入为所有输入的加权之和：,隐层神经元的输出采用S函数激发：,则,输出层神经元的输出：,网络输出与理想输出误差为：,误差性能指标函数为：,（2）反向传播：采用学习算法，调整各层间的权值。,根据梯度下降法，权值的学习算法如下：,输

5、出层及隐层的连接权值学习算法为：,k+1时刻网络的权值为：,隐层及输入层连接权值学习算法为：,其中,k+1时刻网络的权值为：,如果考虑上次权值对本次权值变化的影响，需要加入动量因子,此时的权值为：,其中，,为学习速率，,为动量因子。,阵(即为对象的输出对控制输入的灵敏度信息)算法为：其中取,由给定的输入样本计算网络输出，并与输出样本进行比较（输出误差）；由输出误差依次反向计算每一层的权值；重复、，直至输出误差满足要求为止；对每组输入输出样本数据都按 进行学习；重复，直至所有输出误差都达到要求的精度。,（3）BP算法的计算步骤：,（4）BP网络的逼近仿真实例,使用BP网络逼近对象：,BP网络逼近

6、程序见chap7_1.m,采样时间：1ms。,输入信号为：,神经网络结构为2-6-1,3.BP网络模式识别,根据标准的输入输出模式对，采用神经网络学习算法，以标准的模式作为学习样本进行训练，通过学习调整神经网络的连接权值。当训练满足要求后，得到的神经网络权值构成了模式识别的知识库。利用神经网络并行推理算法对所需要的输入模式进行识别。相同时，与样本相对应的输出模式；不完全相同时，与其相近样本相对应的输出模式。相差远时，新的样本进行训练。,BP网络的训练过程如下：正向传播是输入信号从输入层经隐层传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。,网络的学习算法如下：（1）前

7、向传播：计算网络的输出。隐层神经元的输入为所有输入的加权之和：,隐层神经元的输出,采用S函数激发,则,输出层神经元的输出：,网络第 个输出与相应理想输出 的误差为：,第p个样本的误差性能指标函数为：,其中N为网络输出层的个数。,（2）反向传播：采用梯度下降法，调整各层间的权值。权值的学习算法如下：,输出层及隐层的连接权值 学习算法为：,隐层及输入层连接权值 学习算法为：,其中,如果考虑上次权值对本次权值变化的影响，需要加入动量因子，此时的权值为：,其中 为学习速率，为动量因子。,仿真实例：,取标准样本为3输入2输出样本，如表3-1所示。,表3-1 训练样本,BP网络结构为3-6-2,chap7

8、_2a.m,chap7_2b.m,4.BP网络的优缺点,BP网络的优点为：,（1）只要有足够多的隐层和隐层节点，BP网络可以逼近任意的非线性映射关系；（2）BP网络的学习算法属于全局逼近算法，具有较强的泛化能力。（3）BP网络输入输出之间的关联信息分布地存储在网络的连接权中，个别神经元的损坏只对输入输出关系有较小的影响，因而BP网络具有较好的容错性。,BP网络的主要缺点为：,（1）待寻优的参数多，收敛速度慢；（2）目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值；（3）难以确定隐层及隐层节点的数目。目前，如何根据特定的问题来确定具体的网络结构尚无很好的方法，仍需根据经验来试凑

9、。,BP网络的应用领域：,（1）模式识别（2）图像处理（3）系统辨识（4）函数拟合（5）优化计算（6）最优预测（7）自适应控制 由于BP网络具有很好的逼近特性和泛化能力，可用于神经网络控制器的设计。但由于BP网络收敛速度慢，难以适应实时控制的要求。,二、RBF神经网络 径向基函数(RBF-Radial Basis Function),RBF网络是一种局部逼近网络，已证明它能任意精度逼近任意连续函数。,输入到输出的映射是非线性的，而隐含层空间到输出空间的映射是线性的。作用函数为高斯函数,1.RBF网络的逼近,网络的输入向量,径向基向量,其中hj为高斯基函数：,网络的第j个结点的中心矢量为：,其中

10、，i=1,2,n,设网络的基宽向量为：为节点的基宽度参数，且为大于零的数。网络的权向量为：k时刻网络的输出为：设理想输出为y(k)，则性能指标函数为：,根据梯度下降法，输出权、节点中心及节点基宽参数的迭代算法如下：,其中,为学习速率，为动量因子。,阵(即为对象的输出对控制输入的灵敏度信息)算法为：其中取。,2.RBF网络的逼近仿真实例,使用RBF网络逼近下列对象：,RBF网络逼近程序见chap7_3.m。,输入信号为：,采样时间：1ms。,网络隐含层神经元个数取：m=4,网络结构为2-4-1,高斯函数的初值为：,习题和思考题,1.试采用BP网络对训练样本进行训练，并针对一组实际样本进行测试。用于测试的3组样本输入分别是：1，0.1,；0.5,0.5；0.1,1。,2.试采用BP网络、RBF网络逼近非线性对象：,