模式作业-Parzen窗估计及matlab源程序.docx

计算题3.6三类训练样本为:-1,-1,2:O,0,3:1,1试用多类感知器算法求解判别函数。解：采用多类情况3的方式分类，将训练样本写成增广向量形式，有X1=-l,-1,1，X2=0,0,1,X3=L1，1任取初始权向量为：W1(I)=W2(I)=W3(I)=IO,O,OJr取校正增量C=1。迭代过程如下：第一次迭代，k=l,以X=-l,-1,1厂作为训练样本，计算得d,(l)=W1r(l)X1=Od2(l)=W2(l)X1=0CMD=Wjx=oX1el,但d(l)>d2且d(l)>d3不成立，故修改3个劝向量，即Wi(2)=Wi(1)+Xi=-1,-1,lrW2(2)=W2(1)-X1=1,1,-lrW3(2)=W3(1)-X1=1,1,-1第二次迭代，k=2,以X2=O,0,1厂作为训练样本，计算得dQ=W"2)X2=ld2(2)=W(2)X2=-ld3=(2擀2=1X2t2,但d2Q)>dQ)且d2Q)>d3Q)不成立，故修改3个权向量，即W,(3)=Wi(2)-X2=-1,-1,O7W2(3)=W2(2)+X2=1,1,0W3(3)=W3(2)-X2=1,1,-27第三次迭代，k=3,以X3="，1，作为训练样本，计算得d1(3)=W(3)X3=-2d2(3)=W2r(3)X3=2d3(3)=W(3)X3=OX3<3,d3河成立,但明(3)汽2(3)不成立，故仍需修改局部权向量，即W(4)=WR3)=L1,0rW2(4)=W2(3)-X3=0,0,-1JrW4)=W3(3)+X3=2,2,-1以上经过一轮迭代运算后，三个样本还未正确分类，故进行下一轮迭代。第四次迭代，k=4,以X=-l,-1,1,作为训练样本，计算得d1(4)=W(4)X1=2d2(4)=W2r(4)X1=-ld3(4)=W(4)X1=-5Xol,但由“？且d(4)>d3成立,故3个权向量不变，即W1(5)=W1(4)=-1,-1,O7W2(5)=W2(4)=0,0,-1W3(5)=W3(4)=2,2,-l第五次迭代，k=5,以X2=O,0，1作为训练样本，计算得d1(5)=W1(5)X2=0d2(5)=W2t(5)X2=-1d3(5)=W37(5)X2=-lX2e2f且d2(5)>d(5)和d2(5)>%(5)不成立，故修改3个权向量，即有W1(6)=W1(5)-X2=-1,-1,-1W2(6)=W2(5)+X2=0,O,0rW3(6)=W3(5)-X2=2,2,-2第六次迭代，k=6,以X3=U,1，作为训练样本，计算得d1(6)=W(6)X3=-3d2(6)=W2t(6)X3=0d6)=W(6)X3=2X33,且d3(6)>%(6)和d3(6)>d2(6)成立,说明已正确分类,权向量不变,有W,(7)=W1(6),W2(7)=W2(6),W3(7)=W3(6)第七次迭代，k=7,以X=-1,-1,1J作为训练样本，计算得d1(7)=W(7)X1=ld2(7)=W2(7)X1=0d3=W3p)X尸6X1<b且叫乜(7)和%(7)>%(7)成立，说明已正确分类，权向量不变，有W(8)=W,W2(8)=W2(7),W3(8)=W3(7)第八次迭代，k=8,以X2=O,0,1作为训练样本，计算得%=WjXz=Jd?二W?'X?=。叫=/X?=-2X2£02,且d2(8)>d和d2(8)>d3(8)成立，说明已正确分类，权向量不变在第六、七、八次迭代中，对所有三个样本都已经正确分类，故权向量的解为W1=W1(6)=W1(7)=W1(8)=-1,-1,-1W2=W2(6)=W2(7)=W2(8)=O,O,0W3=W3(6)=W3(7)=W3(8)=12,2,-2r由此得三个判别函数分别为dl(X)=-x1-x2-ld2(X)=Od3(X)=2x1+2x2-24.2假设在某个地区的疾病普查中，正常系统(Gl)和异常细胞(2)的先验概率分别为P()=0.9,P1刃2)=OJo现有一待识别细胞，起观察值为X,从概率密度分布曲线上查得P(XlGl)=O.2,P(Xl&2)=0.4,试对该细胞利用最小错误率贝叶斯决策规那么进行分类。解：利用先验概率和类概率密度计算。p(X)P(M)=0.2*0.9=0.18p(X2)P(<2)=0.4*0.1=0.04因为J)(X3)P(Gl)>p(X02)P(g2),所以X是正常细胞。程序施4.12给出ParZen窗估计的程序框图，并编写程序。parzen窗设计、parzen窗设计原理一、根本原理ParZen窗估计法是一种具有坚实理论根底和优秀性能的非参数函数估计方法，它能够较好地描述多维数据的分布状态。其根本思想就是利用一定范围内各点密度的平均值对总体密度函数进行估计。一般而言，设X为d维空间中任意一点，AN是所选择的样本总数，为了对X处的分布概率密度Pva)进行估计，以X为中心作一个边长为九的超立方体Vn，那么其体积为VN=忒，为计算落入VN中的样本数构造一个函数使得O(U)=C当J=I2,40,其他并使夕()满足条件夕0,且,()点=1,那么落入体积V中的样本数为N(x-卢，那么此处概率密度的估计值是：'<=>hN)1N1fV-v.APM)=甘,=,VNV式是ParZen窗估计法的根本公式，夕()称为窗函数，或核函数、势函数。窗函数的作用是内插，每一样本对估计所起的作用取决于它到X的距离。在ParZen窗估计法的根本公式中，窗宽/Zv是一个非常重要的参数。当样本数N有限时，z,对估计的效果有着较大的影响。二、窗函数的选取一般可以选择的窗函数有方窗、正态窗等。基于以下原因，本文选择正态窗作为核函数：(1)正态函数的平滑性将使得估计函数变化平滑；(2)如果选择完全对称的正态函数，估计函数中只有一个参量变化;(3)便于利用书中例题4.5校核程序。因此，选择正态核函数的情形下，正态窗函数为"(")=xP4即)=exph)概率密度的估计式为az2z1&11XV."(X)=;-exp-(5)NhNJ国2hN)_二、程序说明本程序根据课本P120例4.5编写(有改动)(一)、首先生成Parzen窗估计函数文件1、源程序functionpNx=parzen(N,h1,x)%ParzenhN=hlsqrt(N);PNX=ZeroS(1,30000);foru=l:30000fori=l:NpNx(u)=pNx(u)+exp(x(u)-x(i)hN).2-2)sqrt(2*pi)hN;endpNx(u)=pNx(u)N;end2、说明(DZn=J其中2为可调节的参数(2)程序通过循环累加实现公式PY(X)=R方与壶ep即n(X)=y=exp-徉J】h而幺而2IJ(3)其中零序列的长度可以任意设置，但后面的循环次数和主程序里随机函数randn的参数必须保持一致。由于mdn设置参数时不能出现无穷大inf,所以没有取无穷大值，而取了70000o(二)主程序1、源程序clc;clear;x=randn(1,70000);px=normpdf(x,0,1);%Parzen窗h1=0.25时，N不同的估计subplot(2,3,l);plot(x,px,'.');title(,原始一维正态分布)pNx=parzen(1,0.25,x);SUbPlot(2,3,2);plot(x,pNx,'.');title('Parzen窗法估计单一正态分布，)Xlabelfh1=0.25,N=)pNx=parzen(l6,0.25,x);subplot(2,3,3);plot(x,pNx,'.");title(,Parzen窗法估计单一正态分布')xlabel(,h1=0.25,N=16,)pNx=parzen(256,0.25,x);SUbPIot(2,3,4);plot(x,pNx/.');title('Parzen窗法估计单一正态分布')xlabel(,hl=0.25,N=256')pNx=parzen(4096,0.25,x);SUbPIot(2,3,5);plot(x,Nx,'.');title(,Parzen窗法估计单一正态分布,)xlabel(,hl=0.25,N=2000')PNX=ParZen(65536,0.25,x);subplot(2,3,6);plot(x,pNx,'.');title('Parzen窗法估计单一正态分布,)xlabel(,h1=0.25,N=65536')%Parzen窗h1=1时,N不同的估计figure(2);subplot(2,3J);plot(x,px,'.');litle(,原始一维正态分布)pNx=parzen(l,l,x);SUbPlot(2,3,2);pIot(x,pNx,'.');title(,Parzen窗法估计单一正态分布")Xlabelfhl=I,N=)pNx=parzen(l6,l,x);SUbPlot(2,3,3);plot(x,pNx,'.');title('Parzen窗法估计单一正态分布，)xlabel('hl=l,N=16,)PNX=ParZen(256,1,x);SUbPlOt(2,3,4);plot(x,pNx,'.");title(,Parzen窗法估计单一正态分布,)xlabel('h1=1,N=256,)pNx=parzen(4096,1,x);SUbPlOt(2,3,5);plot(x,pNx,'.');出IeeParZen窗法估计单一正态分布")xlabel('hl=l,N=4096')pNx=parzen(65536,1,x)；subplot(2,3,6);plot(x,pNx,1.,);title('Parzen窗法估计单一正态分布?xlabel(,hl=l,N=65536,)%Parzen窗h1=4时，N不同的估计figure(3);subplot(2,3,I);plot(x,px,'.');IiHec原始一维正态分布)PNX=ParZen(1,4,x);SUbPIot(2,3,2);plot(x,pNxA,);title('Parzen窗法估计单一正态分布,)xlabel(,h1=4,N=)pNx=parzen(l6,4,x);SUbPIOt(2,3,3);plot(x,pNx,');title(,Parzen窗法估计单一正态分布,)xlabel(,h1=4,N=16,)PNX=ParZen(256,4,x);SUbPIot(2,3,4);plot(x,pNx/.');title('Parzen窗法估计单一正态分布,)xlabel(,hl=4,N=256,)PNX=ParZen(4096,4,x);SUbPIOt(2,3,5);plot(x,pNx,'.");title(,Parzen窗法估计单一正态分布')xlabel(,hl=4,N=4096,)PNX=ParZen(65536,4,x);subplot(2,3,6);plot(x,pNx,');title('Parzen窗法估计单一正态分布')xlabel(,h1=4,N=65536,)2、说明为了使仿真结果更加清晰选取了三组不同的hl进行比拟，分别赋值0.25,1,4,并且取了五组不同N,分别赋值1,16,256,4096,65536,都是16的事次值。三、仿真截图和结论一、仿真结果如图图1选取的hl=0.25,N=1,16,256,4096,65536图2选取的h1=1,N=l,16,256,4096,65536图3选取的hl=4,N=1,16,256,4096,65536二、结论A(1)由上面三组仿真结果可知，估计结果依赖于N和hl。当N=I时，PN(X)是一个以样本为中心的小丘。当N=16和hl=0.25时，仍可以看到单个样本所起的作用；但当hl=l及hl=4时就受到平滑，单个样本的作用模糊了。随着N的增加，估计量p,(x)越来越好。这说明，要想得到较精确的估计，就需要大量的样本。ZV(2)比照课本例题的结果，可知ParZen窗估计的设计符合要求。