最优化方法习题一.docx
习题一一、考虑二次函数f(x)=j+2尢乂+3Jd-JG+%I)2)3)4)5)写出它的矩阵一向量形式：f()=x + 7r矩阵Q是不是奇异的？证明:f()是正定的f()是凸的吗？写出f(x)在点嚏=(2,1)处的支撑超平面(即切平面)方程解:1)f(x)=X：+2为项+3$+刘XiVX2)X)X2,2)3)4)其中X=因为Q二Xl<%2>因为2>0,因为V?/()=,Q二2、6;,所以IQI=,b二r-J>=8>0即可知Q是非奇异的=8>0,所以Q是正定的,故f(x)是正定的r22、36,所以IV2=8>o,故推出/(X)是正定的,即V2/S)是凸的5)因为Vf()=(2+22-l,2+6z+l)，所以v()=(5,i)所以f(x)在点处的切线方程为5(%-2)+11(H-1)=0求以下函数的梯度问题和HeSSe矩阵Df(X)=2汨+X1X2+913+32+23+222)f(x)=ln(+%2+X2)解:1)W(x)=(4+2+9,+62+3+2,91+2)<4V2=161(92)w)=( 22 + x2X1 + 2X212 ，22 JXl +XX2÷X1 Xi +X1X2 + Xl2 ° 2 02 2、%2.2X2%无一XL%无 一 至v2=(Xl +xX2+X2) (Xl +X1X2÷X2)2 A222一为 一4为 一12Z1Xxf+xiX2÷xl) ("+X1X2+S >三、设欧）=%： + £ + 2%； + 2%工3一X2一%3，取点3" = （1，1，1），验证,"）=（10.1）是歆）在点丁）处的一个下降方向,并计算af（ X+t d）证明：vf(x)= (2 ,3%9+2%3-1,4工3+2%2- 1)dVf(X1)=(1A-I) 4= -3<0所以d是f（）在y处的一个下降方向f（x"）+id"b=f（】+1，i，i-t）=(l+Z)2+l+2(l-f)2÷2(l-r)-l-(l-r)=3f-3r+4Vf(")+1d")=6l-3=O所以t=O.5>O1.Lmin(1)“)所以f(+tJ)=3*0.25-3*0.5+4=3.25四、设O,，b，G（JT2”n）考虑问题Minf(×)=lsttj=iajxj=b1）写出其KUhnTUker条件1122）证明问题最优值是g为0q）11解：1)因XJ(J=I,.4)为目标函数的分母故Xj。所以；U=I，n)都为O所以KuhnTuker条件为V*(x)+/Js7h(x)=O2xlG2X2C2X - - -得 XylnajCj =b> =1所以最优解是%、CA五、使用KuhnTuker条件，求问题minf(x)=(x-D+(冗2-2)尤2-XI=IstXi+X2=2Xl°，工2N0的KUhnTUkel点，并验证此点为问题的最优解解：x=(1/2,3/2)0故/=O那么W)+2h2=0即位口+4力+4;卜。而V2=3故f72(x)x=8>O即其为最优解六、在习题五的条件下证明X*4HB)L(X4*，)其中L(x,2,)=f(x)+(2-X1-1)+Mx1+X2-2)证明：L(X,4)=f()+;l(j-W-l)+4(W+j-2)=f('=f(*)+4*(X；-%；T)+(/；+%；-2)="/*,)=f(b(x)=f(x)+4"(%2-T)+4(XI+%2-2)=L(X,7，4)习题二一、设f(x)为定义在区间a,b上的实值函数，X*是问题Ininf(x)axb的最优解。证明：f(x)是a,b上的单谷函数的充要条件是对任意,Hem,句,H满足f(+(1)2)<max，()，f(X，)，4£(OJ)证明：不妨设为H，那么M<X+(l-)%2VX2“必要性”假设;IXl+(1-)H<那么由单谷函数定义知/(+(1-)2)</(1)故有/U1+0-)2)<ma(1)(2)“充分性”由尢，M的任意性取M=X时，H2)>f(1)那么12"不+(1一2>X=且f(4%+(l-4)%2)<f(X2)假设取M=时，f(X>>f(E)=<4%+(l-尤2尤2且f(4/+(l一%)«(%)满足单谷函数的定义二、设XjX2，1(为)0，八趋)>01）证明:满足条件奴JG=Fa），"（为）=八温，"%）=八启的二次函数。S）是（严格）凸函数2）证明：由二次插值所得f（x）的近似极小值点（即O（X）的驻点）是或者9证明：1）设火R）=QX+Zr+C（6Z0）那么,(x)=2ax+b1吸X）=2a2+b=r（）得=八乂）-八猊Gb=八加一卬八工2）-尸（.）2（刘一X）,%一XJ = /'(X2)一%2（/（2）一,（无）（工2 一 %）故1）得证2) O(X)的驻点为M = -=-2a（工2一”'（龙） 八域一/'（X）或无= H-(%2 一 %)/'(兀2) ,(2)-,(1)三、设 f(x)= IQx + Jx + c,Q, =Q>0 试证：共辗梯度法的线性搜索中min(Z÷) = (÷)0tk = -Cr j(k)g1(d*)，Qdggk=W()证明：由，得Yf（X）=QX+令0（。=/（x"）+，d"）为I的凸二次函数。要使。是。（Z）的极小点即为驻点，故满足”（乙）=0而。S）=/（Xg+，&-）Cr）=Q（x+td+bda'=Qx（k）+b+tQd（k）d（k）=g'+S(W故有g7kd">+tdd叫Qd"得,=-珥*(严)Qdw四、用共规梯度法求解：3212)minf(>2X?+22XX2-2XxeR取初始点光=(2,4)'解.：易知第一次迭代：线性搜索得步长fl*(2)(!),(1)_1(26从而X=x+ad=Ja父1/IDUy第二次迭代：线性搜索得步长：O2=1.7所以最优解为£=(1,1)/五、用拟Newton法求解：min/(%)=Xi÷2%22XiX24Xrxe/?2取初始点n=(l,l)z解：1)DFC法取初始对称矩阵第一次迭代：计算得&=(-4,2)，经一维线性搜索得：=0.250、Oa第二次迭代d2=-H2g2=(°32Q24)经维线性搜索得：a故最优解为：f=H=(4,2)2)BFGS法取定初始对称矩阵Hl=第一次迭代：计算得&=(-4,2)，经一维线性搜索得：=0.25同DFP法，初始修正矩阵Hl=r0.200.2第二次迭代:经一维线性搜索得：2=5故最优解为：V=X3=(4,2)习题三1、给定问题22min/()=X1+XiX+2X2-6X14XXl+X+X3=2st-1+223取初始点光=(UO)',用简约梯度法求其最优解X1÷X2+X3=2解：约束条件为一x+2jg3X°,H0,%3°那么/=(UQ)T，A=3311O2O12竺"竺=。93Omax=min一告=g得=min,OmaJ=g故X=(-00)为问题的K-T点2、用梯度投影法求解问题min/W=(x+2)2+(2-3y2Xi-3X2-3=0stX1x4取初始点y=(31J解：v(x)=(2x+4,22-6)7迭代l=(10-4)71=i)r_9sA：='；)投影矩阵尸二/_X(a)-,aI<1313>13故=mn,mJ=石故般(：31投影矩阵P=-A(A2*)"A=(:；令"7=(A2AW)Ag(w，；)3r故%(2)=(-,0)为其-点23、用可行方向法求解问题min/(x)=(x2)+(冗2-1)2Xi÷4X27st2X-X22X020取初始点X=(0,0)7解：V/W=(2-4,22-2)迭代一：V)=(-4,-2)有效约束=3,4确定下降方向min4dr2d2J.s.t.J7Oi=l,2Td,解得d,=d2=i且其最优值为-6,即X处的搜索方向d=(1,1)线性搜索(a)=/(+)=2q2-6+5.77而C-min-,2)=CZmaXl6651r迭代2：Wa)=(一一-)有效约束=1确定下降方向5.1,mnd+d2f2d+4%05. t.1=1,2-<di得d=(IT)'且其最优值为-2线性搜索。(。)=八产+。，)=242。+盘1oK.f5715而Zy=mm(J=CZmaX,18618inT迭代3：V)=(9有效约束L=2确定下降方向10.2mn-dra25. t.1=1,2-111 726得d=(IJ)，其最优值为-§zy a H981线性搜索(a)=f(3)÷aJ)二.77而C=min-,2=“maxl66迭代4：WxX)=(-Lo)有效约束=1,2确定下降方向min-d2Ji+4J20st2d-dz0i=l,2-<d,I得一=(W,其最优值为03T=(-,l)为KT点
