矩阵论的应用.docx

《矩阵论的应用.docx》由会员分享，可在线阅读，更多相关《矩阵论的应用.docx（6页珍藏版）》请在课桌文档上搜索。

1、广义逆在多元分析中的应用刘雯雯信通院学号：B098035摘要：多元分析的一个重要内容就是研窕随机向量之间的关系，在一元统计中，用相关系数来描述随机变量之间的关系，HotH1.ing1.和张尧庭教授先后定义了度量两个随机向量相关程度的数量指标，并称之为广义相关系数。这一章主要利用Moore-PenroSe广义逆矩阵来引人了随机向量之间的相关系数一广义相关系数，并探讨了随机向量的典型相关系数和广义相关系数之间的关系。关键词：特征值广义相关系数典型相关系数正交阵可逆矩阵1.引言矩阵概念和线性代数学科的引进和开展是源于研究线性方程组系数而产生的行列式的开展.莱布尼兹,微积分学的两个奠基者之一,在169

2、3年使用了行列式,克莱姆于1750年提出了用行列式求解线性方程组的公式(即今天著名的克莱姆法那么).相比照地,行列式的隐含使用最早出现在18世纪晚期拉格郎日关于双线性型的著作里.拉格郎日希望刻画多变量函数的极大值与极小值.他的方法今天以拉格郎日乘数法闻名.为此,他首先要求第一个偏导数为0,再需要关于第二个偏导数的矩阵成立一个条件.这个条件今天称之为正定或负定,尽管拉格郎日没有明显地使用矩阵.在1800年左右,高斯发现了高斯消去法,他用此方法解决了天体计算和后来大地测量(关于测量或确定地球形状或定位地球外表一个点的应用数学分支,称之为大地测量学)计算中的最小平方问题.尽管高斯的名字相伴随从线性方

3、程组逐次逍去变量的这项技术,但从发现的早在几个世纪前的中文手稿中解释了如何用“高斯的消去法解带有三个未知量的三个方程构成的线性方程组.多年来,高斯消去法被认为是大地测量学,而非数学,开展的一局部.首次印刷出来的高斯一约当消去法是在W.约当写的关于大地测量学的手册里.许多人错误地认为著名数学家C.约当是“高斯一约当”消去法中的约当.为了矩阵代数的丰富开展,人们既需要适当的概念,还需要适当的矩阵乘法.这两种需要在同一时间和同一地点交汇了.在1814年于英格兰,JJ西勒维斯特首先引进了术语“Matrix”,作为一列数的名称,这是胚胎的拉丁词.矩阵代数于1855年由亚瑟凯莱的工作得到了开展.凯莱研究了

4、线性变换的合成,导致定义了矩阵乘法,使得合成变换ST的系数矩阵是S的矩阵与T的矩阵的乘积.他继续研究这些合成包括矩阵逆的代数.著名的凯莱哈密尔顿定理断言,一个方阵是它的特征多项式的根.这个定理于1858年在凯莱的“关于矩阵理论备忘录”的著作里给出.代表矩阵的单个字母A的使用对于矩阵代数的开展是关键的.早期的公式det(AB)=det（八）det(B)提供了矩阵代数与行列式的联系.凯莱写下了“有许多事情说明关于矩阵的理论,似乎对我而言,比行列式理论重要”.数学家们也试图开展向量代数,但没有任意维数的两个向量积的自然定义.涉及到非交换向量积(亦即VWX不一定等于WVX)的第一个向量代数由赫尔曼格拉

5、斯曼在他的书“维数理论”(1844)提出来的.格拉斯曼的书也引进了一个列矩阵与一个行矩阵的乘积,导致了今天所谓的单纯的或秩1的矩阵.在19世纪晚期,美国数学物理学家W.吉布斯发表了关于向量分析的著名论文.在那篇论文里,吉布斯把一般的矩阵,他称之为并向量(dyadics),表示为单纯矩阵(吉布斯称为并向量(dyads)的和.后来物理学家.迪拉克引进了术语”行-列(bra-ket)来表示我们现在称之为行向量乘以列向量的纯量积,术语”列-行(ket-bra)表示列向量乘以行向量的积,从而导致如同上面的我们现在称做的单纯矩阵.我们现在把列矩阵和向量视为同一的习惯是由物理学家们在20世纪引进的.矩阵一直

6、与线性变换紧密结合着.直到1900年,它们仅仅是线性变换理论的有限维的情形.向量空间的现代定义是由皮亚诺于1888年引进的.不久,其元素是函数的抽象向量空间跟着出现了.第二次世界大战后随着数字计算机的开展,矩阵,特别是矩阵的数值分析方面有新的进展.约翰冯诺伊曼和赫尔曼戈德斯坦于1947年在分析舍入误差中引进了条件数.阿兰图灵和冯诺伊曼在程序存储计算机方面是二十世纪的巨人.图灵于1948年引进了矩阵的1.U分解,1.是对角线上为1的下三角矩阵,U是梯形矩阵.在解一系列线性方程组时普遍采用1.U分解,每个方程组有同一系数矩阵.QR分解的好处是在10年后认识到的Q是其列为正交向量的矩阵而R是上三角矩

7、阵,其对角线元素是正的.QR分解用于各种计算如解方程,找特征值的计算机算法中.矩阵理论在数值计算、线性规划、数据分析、科学试验、信号传输等重大领域有着极其广泛的应用。随着科技日新月异地进步，人类社会开始步入信息化、数字化时代，矩阵在生产实践中的应用越来越广泛，矩阵理论的研究也就越来越重要1。矩阵理论在现代统计学的许多分支有着广泛的应用，成为统计学中不可缺少的工具，而且，随着研究的深入和应用的开展，矩阵与统计学之间的关系会越来越深刻。一方面，统计学对矩阵研究提出了许多新的研究课题，刺激了有关矩阵理论研究的开展;另一方面，矩阵理论中的结果被越来越多地应用于统计学的理论研究及其应用中。近三十年，许多

8、统计学家致力于这方面的研窕，并撰写了很多这方面的论文和著作，其中很多结论在统计学的研究中发挥着很大的作用。近三十年矩阵研究中一些与统计学有密切关系的新开展，包括它们在统计中的应用，这些研究结果一开始就渊源于统计问题。本文皆在向读者介绍矩阵论中并与统计学密切有关的如下几个方面：矩阵偏序、矩阵不等式、广义逆矩阵等，这些方面与统计学息息相关，特别是在多元分析和线性模型参数估计中都有着重要的应用。广义逆矩阵是对逆矩阵的推广。广义逆矩阵是上世纪矩阵理论的一项极为重要的新开展，广义逆的概念最早由Redho1.m于1908年提出的，他给出TFredhoIm积分算子的广义逆，Hurwitz于1912年利用有限

9、维Fredho1.m积分算子的零空间给出了此类广义逆的一个简单的代数表征，HiIbert于1904年讨论广义Green函数时曾提出了微分算子的广义逆，之后许多学者研究了微分算子的广义逆，特别是My1.1.er、westfa1.KReid等。1920年,Moore首次提出了矩阵的广义逆，他利用投影矩阵定义了唯一的广义逆。Bjerhammer在不知道Moore结果的情形下，重新提出了广义逆矩阵的定义，利用广义逆给出了线性方程组的解。Bott和DUffin在研究电网络理论时，引进了后来被称为Bott-DUffin广义逆。但这时期的研究工作是零散的。在PenroSe1.955年证明了MOOre所定义的

10、广义逆是漏足四个矩阵方程的唯一的矩阵之后,广义逆矩阵得到迅速开展并在应用学科的诸多领域获得广泛的应用。近四十年来，广义逆矩阵理论在最优化、数理统计、算子理论、经济学和计算数学等众多数学分支和工程科技领域发挥了重大作用。尤其在研究最小二乘问题、病态线性、非线性问题，回归，分布估计，多元分析等统计问题，规划问题，控制论，网络问题的过程中，广义逆是不可或缺的研究工具。假设4为非奇异矩阵,那么线性方程组Ax=b的解为x=A(-1)b,其中4的人的逆矩阵4力满足A(-1)A=4A-7y)=(为单位矩阵)。假设A是奇异阵或长方阵x=b可能无解或有很多解。假设有解,那么解为X=Xb+(/-XQy,其中y是维

11、数与4的列数相同的任意向量,X是满足AXAA的任何一个矩阵，通常称X为4的广义逆矩阵,用Ag.4八-或等符号表示,有时简称广义逆。当A非奇异时也满足AA(-1)A=AiRx=A(-1)b+(1.-A(-1)A)y=A(-1)b,故非异阵的广义逆矩阵就是它的逆矩阵，说明广义逆矩阵确是通常逆矩阵概念的推广。1955年R.彭罗斯证明了对每个mn阶矩阵A都存在惟一的nm阶矩阵X,满足：4X4=4XAX=X；(AX)*=AX;(XAy=XA0通常称X为A的穆尔-彭罗斯广义逆矩阵,简称M-P逆，记作/V+。当A非奇异时，人年也满足,因此M-P逆也是通常逆矩阵的推广。在矛盾线性方程组4x=b的最小二乘解中,

12、x=4-是范数最小的一个解。广义逆的计算方法大致可分为三类：以满秩分解和奇异值分解为根底的直接法，迭代法和其他一些常用于低阶矩阵的非凡方法。本文介绍了Moore-Penrose广义逆在多元分析中的应用。多元分析的一个重要内容就是研究随机向量之间的关系。对于不同类型的矩阵A和B,讨论了随机向量和y的典型相关系数与AX和By的典型相关系数之间的关系，从而得到了X和y的广义相关系数与Ax和By的广义相关系数之间的关系。设X,y分别为PXI和q1.随机向量，它们的方差阵和协方差阵分别为从而1/x(V(X)Cov(x,y)y(VttVtv、V=y)ICMy，幻v(y)1%vyy)(11)矩阵v+yyvy

13、xv+xxVxy的特征值都是非负的且都不大于1,非零特征值设为0片%_.421其中矩阵A+表示A的Moore-PenroSe广义逆。由典型相关系数的定义知，4,4，4称为典型相关系数，它在典型相关分析中起着重要作用。2 .广义逆矩阵广义逆矩阵的研究可以追溯到1935年的Moore的著名论个条件：定义了A的广义逆X。但是，在此后的20年中，这种广义逆几乎没有引起X人们的多少注意，直到1955年，Penrose证明了满足上述条件的广义逆具有唯一性后，广义逆的研究才真正为人们所重视，基于这个原因人们把满足上述四个条件的的广义逆称为Moore-Penrose广义逆。本节主要介绍以下两种经常应用的广义逆

14、：2.1 广义逆A定义2.1对矩阵AmXn,一切满足方程组的矩阵X，称为矩阵A的广义逆，记为A-。下面的定理解决了A-的存在性和构造性问题。定理2.1设A为mXn矩阵，rk（八）=r,假设这里P和Q分别为mm,nXn的可逆阵，那么这里B,C和D为适当阶数的任意矩阵。下面的两个定理圆满地解决了用广义逆矩阵表示相容线性方程组集的问题。定理2.2设Ax=b为一相容方程组，那么对任一广义逆A,X=Ab必为解；(2)齐次方程组AX=O的通解为X=(I-AA)z,这里Z为任意的向量，A为任意固定的一个广义逆；(3)A=b的通解为其中A为任意固定的一个广义逆，z为任意的向量。定理2.3设Ax=b为相容线性方

15、程组，且bW0,那么，当A取遍A的所有广义逆时，X=Ab构成了该方程组的全部解。下面一定理讨论分块矩阵的广义逆。定理2.4(分块矩阵的广义逆)(1)假设A11-1存在，那么假设Az/存在，那么假设那么或其中，2.2 广义逆A+从上段的介绍知，一般来说广义逆A有无穷多个。在这无穷多个A中，有一个饵占有特殊的地位,它就是本节一开始提到的Moore-Penrose广义逆。定义2.2设A为任一矩阵，假设X满足下述四个条件：那么称矩阵X为A的Moore-Penrose广义逆，记为A+0满足以下方程：(BVyy)+BVyxAr(AVxxAr)+AVxy-p=0(32)其中I是单位矩阵。下面验证(AVvX)

16、+=(A-1.)VA-1.9(BVyyB)+(33)事实上，注意到：KM=%”4,所以同理，这就验证了(3.3)式的成立。把(3.3)式代入(3.2)式得：I(BT)VbNv”(AT)/吸ATAK歹-QM=MMMMy-成卜。(3从而证明了Pi是X与y的典型相关系数。由于广义相关系数是用典型相关系数定义的(参见文献)，故有推论3.1当漏足(3.3)式时，随机向量X与y的广义相关系数和AX与By的广义相关系数相同。定理3.2设A是PXP可逆阵，B是qXq可逆阵，X与y分别为P维和q维随机向量，且V,Vyv也都可逆，那么Ax与By的典型相关系数和X与y的典型相关系数相同。证明：由于所以AX与By的典

17、型相关系数pi0满足vvrBvv(AX)+Av9x-p,2=o(35)由于A,B,V,VVy都可逆，上式易化为fc-z=o（3.6）这样就证明了定理3.2。推论3.2在定理2.2的条件下，Ax与By的广义相关系数与X和y的广义相关系数相同。定理3.3设A是nXp列正交阵，B是mXq列正交阵，那么AX与By的典型相关系数和X与y的典型相关系数相等。证明：因为AX与By的典型相关系数Pi满足注意到A,B都是列正交阵，据3.2知代入(3.7)式得忸Xxx一利=0(3.8)又因为对矩阵D,F,我们易证DF与FD的非零特征值是相同的。从而由3.8)式得这就证明了Pi是随机变量X与y的典型相关系数，定理证

18、毕。推论3.3当A,B是列正交时，Ax与By的广义相关系数和X与y的广义相关系数相等。定理3.4设A是nXp列满秩阵，B是mXq列满秩阵，Vxx,VyY可逆时，那么AX与By的典型相关系数和X与y的典型相关系数相等。证明：设A,B的谱分解分别为其中Pi,P2,Qi，Q2都是列正交阵，】，是主对元素大于零的对角矩阵。令p0是AX与By的典型相关系数，那么Pi是以下方程的解。(vvrBvX(AX)+Av9,Br-p,2=o(39)把A,B的谱分解代入上式，并注意到P,P2,Q,Cb的正交性，上式可化为：g2Q21.QA)HQ2VyM7A(嗫2A)+42%QA-2力|二O(310)由于Vy,Vy,1

19、,2,Q1,Q2都是可逆阵，故代入(3.10)式即得定理由此获证。推论3.4设A是nXp列满秩阵，B是mXq列满秩阵，Vxx,VyY可逆，那么AX与By的广义相关系数和X与y的广义相关系数相同。4 .小结本文，利用MOOre-PenrOSe广义逆矩阵讨论了它在多元分析中的一个应用-比拟随机向量的典型相关系数和广义相关系数之间的关系。对于不同类型的矩阵A和B,讨论了随机向量X和y的典型相关系数与Ax和By的典型相关系数之间的关系，从而得到了X和y的广义相关系数与Ax和By的广义相关系数之间的关系。典型相关系数和广义相关系数在多元统计中发挥着重要的作用，例如，王松桂讨论了广义相关系数与估计效率；朱

20、显海，杨学锋讨论了广义相关系数与估计的稳健性。正因为典型相关系数和广义相关系数在统计中有着重要的应用，本文讨论了它们之间的关系。参考文献：1.Hote1.1.ingH.,Re1.ationBetnweenTwoSetsOfVriateszBiometrika,1936,36：321-377.张尧庭，广义相关系数及其应用，应用数学学报，1978,1(4)：312-320.张建芝，刘栋富，随机向量的典型相关系数和广义相关系数，中国科技信息，2008,(6)：268-269.张尧庭，方开泰，多元统计分析引论，北京：科学出版社，1983.5.王松桂，广义相关系数与估计效率，科学通报，1985,19：1521-1524.朱显海，杨学锋，广义相关系数与估计的稳健性，东北师大学报，1995,3：1-5.7.王松桂,杨振海,广义逆矩阵及其应用,北京:北京工业大学出版社,2006.