矩阵范数详解.docx

周国标师生交流讲席010向量和矩阵的范数的假设干难点导引(二)一.矩阵范数的定义引入矩阵范数的原因与向量范数的理由是相似的，在许多场合需要“测量”矩阵的“大小”，比方矩阵序列的收敛，解线性方程组时的误差分析等，具体的情况在这里不再复述。最容易想到的矩阵范数，是把矩阵AC"'"可以视为一个也维的向量(采用所谓“拉直”的变换)，所以，直观上可用Cm上的向量范数来作为ACm×"的矩阵范数。比方在4-范数意义下,IIAIlI=ZZ%=(tr(A"A)p;一)r=l=l'inIi、2在4-范数意义下，IlAII尸=%F，(1.2)3=注意这里为了防止与以后的记号混淆，下标用“F”，这样一个矩阵范数，称为FrOberIiUS范数，或F-范数。可以验证它们都满足向量范数的3个条件。那么是否矩阵范数就这样解决了？因为数学上的任一定义都要与其对象的运算联系起来，矩阵之间有乘法运算，它在定义范数时应予以表达，也即估计A3的“大小”相对于A与B的“大小”关系。定义1设AC心"，对每一个A,如果对应着一个实函数N（八）,记为IlAl|,它满足以下条件:(1)非负性:A0;(Im正定性：A=OfnxnoIIAII=O(2)齐次性：IIaAlHaIllAII,C;(3)三角不等式：HAHA+51AH+HBH,VBeCwxrt那么称N（八）=IIAII为A的广义矩阵范数。进一步,假设对CE",C'M,C"T上的同类广义矩阵范数Il|,有(4)(矩阵相乘的)相容性：IlAIlABIAllIlB|,BWCM,那么称N（八）=IIAll为A的矩阵范数。我们现在来验证前面(1.1)和(1.2)定义的矩阵范数是否合法？我们这里只考虑(1.2),把较容易的(1.1)的验证留给同学们，三角不等式的验证。按列分块，记A=(q,4,%)，B=1.,.,/对上式中第2个括号内的诸项，应用CaUChy不等式，那么有WA+BA.+2HAfBIlF+1B.=(AIlF+BIlJ(1.3)于是，两边开方，即得三角不等式。再验证矩阵乘法相容性。f2Y2"(这一步用了Cauchy不等式)y三三)三i)(ntn、('=22=IMIl-IIa-()Ii=Ik=Js=1>可见，矩阵相容性满足。这样就完成了对矩阵F-范数的验证。是不是这样直接将向量范数运用到矩阵范数就可以了吗？No!运用乙-范数于矩阵范数时便出了问题。如果IlAll8=max%I,那么,这样的矩阵范数在下面一个1M，J1jn(A(22、例子上就行不通。设A=,A2=2AO因此，按上述矩阵8-范数的定义，UD(22)IlAl1.=1,IIAlIAIl1,A2x=2,于是但这是矛盾的。所以简单地将。-范数运用于矩阵范数，是不可行的。虽然这仅是一个反例，但是数学的定义是不可以有例外的。由此，我们必须认识到，不能随便套用向量范数的形式来构造矩阵范数。为此,我们仅给出矩阵范数的定义是不够的，还需要研究如何构成具体的矩阵范数的方法。当然，你也可以不去考虑构成方法，一个函数一个函数去试，只要满足条件就行。不过这样做的工作量太大，也很盲目。第二，在实际计算时，往往矩阵与向量出现在同一个计算问题中，所以在考虑构造矩阵范数时，应该使它与向量范数相容。比方要考虑Ar的“大小”，AX是一个向量，但它由A与X相乘而得的，它与A的“大小”和X的“大小”的关系如何？这提出了两类范数相容的概念。定义2对于C"*"上的矩阵范数a7和C7C”上的同类向量范数y,如果成立IlAxHvAw.xv,VACmX二VxC,（1.5）那么称矩阵范数IlHw与向量范数IlHv是相容的。mn521例1.1可以证明Af=ZZl%F=（tr（A"A）尸是与向量范数2相容。1.=I7=1事实上，在（1。2）中，取8二xCwd,那么二.矩阵算子范数现在给出一种构造矩阵范数的一般方法，它可以使构造出的矩阵范数与向量范数相容，当然，它也满足定义1规定的4个条件。定义3设C7C”上的同类向量范数为y,AC"",定义在Cm空间上的矩阵A的由向量范数IlIlv诱导给出的矩阵范数为IlAIly=max"（2.1）'"°Ilxllv可以验证，这样定义出的矩阵范数IlAIly满足定义1规定的4个条件，同时又满足矩阵范数与向量范数相容性要求（定义2）。由于有什么样的向量范数y,就有什么样的矩阵范数，所以，这样的矩阵范数称为由向量范数诱导出的，简称诱导范数；又因为（2.1）实际上规定了一个函数（或算子），故又称为算子范数（2.（1） 的范数实际是寻求一个最优化问题的最优值，求目标函数必出的最大值，约束条件IlXIIy是XW0,也就在。"空间中除原点外的点中，找一个维向量X,使华？1.取得最大值。如果直接考IIxIly虑这样一个优化问题,还是有困难的.可以证明，它可以以下等价方式定义,使问题的处理简单。IMIIv=max"?=max=maxIlAXIIV（2.2）noHxv<=Hxv<='事实上，分母上的IlXllV是一个正数（x0）,那么根据向量范数的齐次性有上面第3个等号成立是因为向量Z=为一个单位向量。IlxlIV下面我们从理论上证明这样的矩阵范数IlAIIy满足定义1规定的4个条件，同时又满足矩阵范数与向量范数相容性要求。定理2。1由（2.1）或（2.2）给定的。杵”上的矩阵范数满足矩阵范数定义1的4个条件，且与相应的向量范数相容。证明：首先，矩阵范数与向量范数的相容性是不难证明的，事实上，对IIiIIy=I,IlaHvIIxv=AIlv=maxAzv>Axv,因此,矩阵范数与向量范数的相容性条件（1.5）成立。IIZIlV=I我们下面来验证（2.1）或（2.2）满足矩阵范数的4个条件。这4个条件中，前2个也容易验证，因此这里只来考察第3,4个条件。三角不等式的验证：对于任一3Cmx"矩阵相乘相容性的验证：由(1.5),不难有当XWO时，llllvAvgvIlxIly所以HABHv=maxUrT<AjBIIy-t*°IIXllV至此，证实了用算子范数确能给出满足矩阵范数定义和矩阵范数与向量范数的相容性的矩阵范数。推论1对于C"'"上的任一种向量诱导范数，都有Il=maxIlII=I(2。3)IWl=I但是要注意的是，对一般的矩阵范数，对任一向量xC",有故有Il/a1。比方，IlHf不是诱导矩阵范数，所以flo三.几个常用的诱导矩阵范数上面的论述说明，诱导矩阵范数与向量范数密切相关，有何种向量范数，就有什么样的诱导矩阵范数。下面就来具体地构造几个常用的诱导矩阵范数。设AC'"'".例3.1设4C"'X",由向量/范数诱导而来的最大列和诱导矩阵范数1=maxya.I(3.1)证明：按列分块，记A=(q,%,%)，那么由(3.1)和向量/范数的定义可知设X=(XI，/，,X")"且有IlXII=1因此，HAII1=maxHAxll1maxya(+)w=)7Z另一方面,选取人使得令X0为第k的单位向量/=(0,0,l,0,0)r,那么Axq=ak=(ljt,a2k,-,ank)IlAiII=maxAx1Ax01=aik=maxZlaij(+)阿=I/=|J1=综合(+)与(+)可知，由向量/小范数诱导出的矩阵范数既是IlAlll的上界,又是其下界,因此必有(3.1).例3.2设AC'pc",矩阵谱范数由4-范数诱导得出的矩阵范数，定义为IlAll2=max是A”A的特征值="nax(A"A)=5(3.2)其中2为A的最大奇异值，当AT"时，IlAH2=nm(ArA)(3.3)证明：首先由线性代数，A"A是半正定矩阵，事实上,对任一xC有因此，A"A的特征值都为非负实数,记为A1A240,而且A'A具有n个相互正交的，I2-范数等于1(即标准化了的)特征向量冗,x,衣，它们分别对应于特征值422n0o故这组特征向量构成了一组标准正交基，用它们可表示任一个范数IlXII2=1的向量X：x=Zaix1=1而且，由IlXIl2=1，可得到£苗二1。r=l这样，AhAx=AhAjaix=Zaj(A"A?")=。j=lZ=IZ=I由此=11«112+Ia212+Jan21=4,3=也就是IlAr27由x的任意性和算子范数的定义HAH2=maxHAr2(*)IWl2=I另一方面，由IlXll2=1，并且取4对应的特征向量X，考虑所以A,=maxAxkx,二4IIaII2=I综合(*)和(*),由4-范数诱导得出的矩阵范数应为IlAll2=max是A"A的特征值=nax(Az/A)=l。例3.3设AG。'">",乙-范数诱导得出的矩阵范数(*)HAIlx=max«IltnJJ=I证明：设X=,X2,xj,且IIXII8=1,由算子范数，IlAH30=maxHArjmaxZlaijIW1.=I=另一方面，选取，使得1,令y二(凹，y,>,其中yj=,必J(3.4)即maxIxi=1。i(*)/%=O矿。那么IlyIl00=maxIyj=1,从而有由算子范数IlAIlx=maxAv1.AylIJ£|aki=maxaijo(*)Il叽=1j=1/=|'综合(*和(*),便得IlAIlx=maxyIa.Iolim-jJ=I除了上述3种常用的矩阵范数外，FrobeniUS范数虽然不是算子范数，但也经常所用，在讨论序列收敛等问题上是等价的。(1一2、例3.4设A=,求其各种矩阵范数。-34解：IlAIll=最大列和=6：IlAlloC=最大行和=7；IlAII产l2+22÷32+42=305.477；四.由矩阵范数推出的向量范数矩阵范数可由向量范数诱导，反过来，向量范数有时也可从矩阵范数推出。例4.1设1.是CM上的矩阵范数，任取C"中的非零向量y,那么函数ley”".rC,(4oD是Cn上的向量范数，且矩阵范数IlIlw与向量范数IlIly相容。证明：欲证IlXlly是一个向量范数，只须验证它满足向量范数得个条件。非负性：当x0时,由于y非零,故IlXlIV=Il孙”M>0，VXWCZ当X=O时，Xyy=QX“，故IIXlly=II孙IIM=0。齐次性：对任一常数cC,有IRxWv=WcxytiIIm=IcIH盯IlM=ICIlIXvo三角不等式：对任意的X,zwC",有=IkIIv+112Ilwo因此由向量范数的定义知，Ilxllv是一个向量范数。下面再证两种范数的相容性。如果4C"”,xC",那么WAxv=(Ax)yHIIjm=IIA(xyH)MAI1.ll孙"IlJW=IIAIlMIIX。可见，矩阵范数IlI1.与向量范数IlIly相容。五.范数的假设干应用范数的应用很广泛，这里只举2例。1 .矩阵奇异性的条件对于矩阵AC"X",能否根据其范数的大小，来判别(/-A)的奇异性？判别一个矩阵的奇异性，并不方便(比方计算A的行列式的值是否非零，判断A的诸列是否线性无关等，均不大容易)，但矩阵的范数的计算，如l4l,l43还是方便的。定理5.1(Banach引理)设矩阵4C"，且对矩阵C"'"上的某种矩阵范数|,有IlAII<1,那么矩阵(±A)非奇异,且有II(Z-A)-11Il/11I-IIAII(5.1)证明：假设矩阵范数IIAIl与向量范数IIXlI相容。欲证矩阵(±A)非奇异，可通过det(±A)wO°用反证法。假设det(±A)=O,那么齐次线性方程组(±A)x=0有非零解方,即于是，X。Ax。o两边取范数IlX0IIv=IIAr0Ilvx0v<0v其中最后一个不等号是由于4<1.但上式是矛盾的,假设det(±4)=0不成立,从而矩阵(/±4)非奇异，故有逆。再由(±A)-(±A)=可得(±A)T=/壬(±A)-A两边取范数,W(Z±A)-'H-(/±A)-1AaZ+(Z±Af11A再移项，有±A,H(1-HAH)ZH从而±Ar,IlZllI-IIAII这正是我们要想证明的。在推演分析AY=人的直接法的误差分析时起重要的作用。请同学们自行证明下面类似的结果。定理5.2设矩阵AGe"'",且对矩阵CM上的某种矩阵范数Il,有IlAll<1,那么2,近似逆矩阵的误差逆矩阵的摄动在数值计算中，误差无处不在，考虑由于这些误差存在而带来的后果，是一项重要的课题。设矩阵AC"'"的元素传带有误差b%,(i"=l,2,)，那么矩阵的真实的值应为A+S4,其中SA=(6他)称为误差矩阵，又叫摄动矩阵。假设A为非奇异，其逆阵为.问题是：(A+5A)”与AU的近似程度如何呢？或者说，(A+5A)-与A-I的“距离”大小为多少？下面是答复上述问题的摄动定理。定理5.3设矩阵AC"5非奇异，BWC且对CgI上的某种矩阵范数,A-,B<1,那么(1)4+6非奇异；记尸=/一(/+AT8尸，那么Fll-5l1-;ITlA8IlCllAT-(A+8)TII,IIA-1BIIIJJIIOIlATIlI-IIA-1BII证明：由于IlATBII<1,所以Il-ATBII<1。由定理5。1,(/+4一七)非奇异,故A+B=A(+ATB)非奇异。在定理5。2中，将A换成一4一%，即得(2)。又因为A,-(A+B),=(7-(/+A1Bf1)A-1,两边取范数，并利用(2)的结论，可得IlA,-(A+B/"A甲IlATII,即可得到(3)。3 .矩阵谙半径及其性质矩阵谱半径是一个重要的概念，在特征值估计，广义逆矩阵，数值计算(特别在数值线性代数)等理论中，都占有极其重要的地位。定义4设矩阵AG。”*”的n个特征值为4,4，(含重根)，称maxIqI为矩阵A的谱半径，/记为夕（八）。关于矩阵谱半径的最证明也是最重要的结论是，矩阵A的谱半径不超过其任一种矩阵范数。这个结果已经在课堂上证明过了。(-i3、作为练习，请同学们对A=验证这个结论。I21÷J关于矩阵谱半径的第2个重要结论是，如果矩阵A为Hermite矩阵，那么IlAII?=P（八）。证明留给大家。虽然Hermite矩阵的谱半径与其谱范数相等，但是，一般矩阵的谱半径与其谱范数可能相差很大。下面关于矩阵谱半径的第3个重要结论，刻画了谱半径与矩阵范数之间的另一种定量关系,定理5。4设矩阵AG。“、"，对任意正数£,存在一种矩阵范数IlJ,使得证明：根据Jordan标准型，对AgC”*",存在非奇异的尸C"x，使如果记=Jz(1,2,n)和94O1O认I=,e=O或1O加OJ那么Jordan标准型J=A+/,其中乙乙，4为A的特征值。又记D=diagQ,与,"Z),那么有4 xA22(PD)"A(PD)=D1PiAPD=D1JD=+1=4喇记S=PD,那么S为非奇异，且有IlSTASlRlA+3l<p（八）+o另一方面，容易验证，Ajw=S-,AS1是C"x"上的矩阵范数，所以AU=S-,AS1p（八）+fo5.向量和矩阵范数在求解/U=b的直接法的误差分析中应用这一内容我在课堂上讲的比拟仔细，这里就略去了。