大视场背景下的图像拼接成像方法研究与验证.docx

摘要1Abstract2第一章绪论51.1大视场下届瓯象基质研金鲁京51.2 大视场背景下的图像拼接的研究意义51.3 大视场背景下的图像拼接的应用领域和研究现状61.3.1 1应用领域61.3.2 国外研究现状41.3.3 国内研究现状51.4 本文内容及结构安排71. 4.1本文主要工作内容82. 4.2论文的组织和结构8第二章大视场背景下的图像拼接的基础原理分析93. 1图像拼接的流程92.2 图像拼接的预处理102. 2.1彩色图到灰度图的转换103. 2.2图像矫正104. 2.3图像去噪102.3 图像配准的基本概念112.4 图像融合112. 4.1图像融合的目的113. 4.2图像融合技术分类122.5 实验结果142.6 本章小结14第三章大视场背景下的图像配准算法分析153.1 图像的变换模型介绍153.2 基于灰度信息的算法分析163. 2.1互相关法164. 2.2序贯相似度检测法175. 2.3互信息法173.3 基于变换域的算法分析173.4 基于特征的算法分析193. 4.1基于点特征的算法194. 4.2基于边缘特征和区域特征的算法213.5实验结果223.6本章小结22第四章基于图像相位相关的图像拼接算法分析234. 1阈值分割边缘检测234. 1.1传统阈值分割234. 1.2自适应阈值分割234. 1.3迭代阈值分割法245. 1.4边缘特征提取算法254.2基于边缘扩展相位相关的图像拼接算法254.2.1相位相关法264.2.2扩展相位相关法274.3 实验结果284.4 本章小结32第五章基于HarriS角点检测的图像拼接算法分析335.1 角点提取算子335.2 HarriS角点检测原理335.2.1柱面投影生成335.2.2HarriS角点提取345.3RANSAC算法的原理345.4实验结果355. 5本章、结39第六章总结与展望406. 1论文总结406.2工作展望40参考文献41摘要大视场背景下的图像拼接理论、技术和方法是当前图像处理领域的一个研究热点，主要解决由于成像设备的视角限制，而不可以直接拍摄到360度全视场图像的问题。该项研究的进展对推动大地测绘、医学影像合成、军用全景成像作战支持系统，以及民用全景相机等技术的提升具有十分重要的现实意义和明显的工程应用前景。本文对大视场背景下的图像拼接的算法进行了深入的研究和分析，具体的工作和成果如下：1、深入了解了大视场背景下的图像拼接技术的研究意义和应用领域。深入了解了国外与国内的大视场背景下的图像拼接技术的发展历史与状况。了解到大视场背景下的图像拼接技术具有深厚的历史底蕴与发展前景。在生活的各个方面都能够运用到它，它具有极高的价值。2、认真学习了大视场背景下的图像拼接技术的基础流程，包括图像的获取、图像的预处理、图像的配准、图像的变换模型、图像的融合技术直到最后完成大视场背景下的图像拼接。3、重点分析了大视场背景下的图像配准算法,包括基于灰度信息的算法、基于变换域的算法、基于特征的算法。基于灰度信息的算法包括了互相关法、序贯相似度检测法和互信息法。基于特征的算法包括了基于特征点的算法、基于边缘特征的算法和基于区域特征的算法。4、分析实验了一种基于图像相位相关的图像拼接算法，这个算法使用了迭代阈值分割与Canny边缘检测算子相结合的算法提取图像边缘，再利用扩展相位相关法来计算图像间的配准参数，从而进行图像拼接，并用渐入渐出法融合拼接后的图像。通过实验可以看出该算法简单，不需大量计算，能够有效的实现图像的拼接。5、分析实验了一种基于特征点的图像拼接，在提取特征点和检测中做了一些详细的研究，在图像的特征点上，本文中提出了一种基于HarriS算法结合鲁棒性较高的RANSAC算法提纯匹配点的算法，其主要的思想在于去除经典Harris算法中出现的特征点聚集，这样大大减少了RANSAC算法进行图像配准的运算时间。提高了大视场背景下的图像拼接算法的速度与精度。关键词：全景拼接；图像配准；特征提取；图像融合AbstractUnderthebackgroundoflargefieldofviewimagemosaictheory,technologyandmethodisahotspotinthefieldofimageprocessing,whichmainlysolvesduetorestrictionsfromtheperspectiveoftheimagingdeviceandnottotakea360degreefieldofviewimage.Theprogressofthestudyonpromotinglandsurveying,medicalimagesynthesis,protectionpanoramicimagingcombatsupportsystem,andcivilpanoramiccameratechnologyhasveryimportantpracticalsignificanceandobviousengineeringapplication.Inthispaper,thealgorithmofimagemosaicinlargefieldofviewisdeeplystudiedandanalyzed,andthespecificworkandresultsareasfollows:1、Indepthunderstandingoftheresearchsignificanceandapplicationfieldofimagemosaictechnologyinlargefieldofview.Indepthunderstandingofthehistoryandstatusofthedevelopmentofimagemosaictechnologyinthelargefieldofviewofforeignanddomesticlargefieldofview.Understandingtheimagemosaictechnologywithlargefieldofviewhasaprofoundhistoricalbackgroundanddevelopmentprospects.Inallaspectsoflifecanbeappliedtoit,ithasaveryhighvalue.2、Seriousstudyofthelargefieldofviewunderthebackgroundofimagemosaictechnologybasedprocess,includingimageacquisition,imagepreprocessing,imageregistration,imagetransformationmodel,imagefusiontechnologyuntilfinallycompletedunderthebackgroundoflargefieldofviewimagemosaic.3、Theimageregistrationalgorithmbasedonthelargefieldofviewisanalyzed,includingthealgorithmbasedonthegraylevelinformation,thealgorithmbasedonthetransformdomainandthefeaturebasedalgorithm.Thealgorithmbasedongraylevelinformationincludescrosscorrelationmethod,sequentialsimilaritydetectionmethodandmutualinformationmethod.Featurebasedalgorithmsincludefeaturepointsbasedalgorithm,edgefeaturebasedalgorithmandregionbasedalgorithm.4、Experimentalanalysisoftheaphasecorrelationimageimagemosaicalgorithmbasedon,thealgorithmusedalgorithmcombiningiterativethresholdsegmentationandCannyedgedetectionoperatorimageedgeextraction,theextendedphasecorrelationmethodtocomputetheimageregistrationparameters,andfigure,imagemosaicing,andfadeinandfadeoutmethodfusionsplicingimages.Theexperimentcanbeseenthatthealgorithmissimple,doesnotneedalargeamountofcomputation,andcaneffectivelyrealizetheimagemosaic.5、Analysisofexperimentakindofimagemosaicbasedonfeaturepointsandintheextractionoffeaturepointsdetectinganddosomedetailedresearch,onimagefeaturepoints,thispaperproposedabasedonHarrisalgorithmwithhighrobustnessofRANSACalgorithmandpurificationofpointmatchingalgorithm.ThemainideaisremovalofclassicalHarrisalgorithmoffeaturepointsareclustered,therebygreatlyreducingtheRANSACalgorithmthecalculationtimeofimageregistration.Improvethespeedandaccuracyofimagemosaicalgorithminlargefieldofview.Feature extraction；Keywords:Panoramicstitching；Imageregistration；Imagefusion.第一章绪论图像拼接应用广泛的数字图像处理的技术。根据不同特征点的之间的相互匹配，就可以将很多张小视角的数字图像拼接成为一张大视角的图像，拼接之后与原始图像很接近，失真较小。开始源于人们的摄影技术，如果相机的视野远小于人们的视野的时候，我们首先想到的是将多个不同的地点的图像拼接成一幅全景图。由于科学技术的脚步不断前进，拼接技术在数字图像处理、卫星图像处理、医学图像处理等领域都有广泛的使用。在上个世纪80年代图像拼接技术开始应用于航天技术和宇航照片的处理之上。1.1 大视场背景下的图像拼接的研究背景图像拼接在科学技术的各个行业中都有着至关重要的角色，从1965年往后，电子技术和计算机技术的快速发展，图像处理技术也进入了一个高速发展的时期，现在广泛应用于医学，军事，航天技术等各个领域。在日常生活中，摄影技术的发展使得我们不满足于图像大小，在争取全景图的同时，往往限制于图像分辨率的问题，种种的情况使得图像的大小和图像分辨率之间存在冲突。当今医学界，图像处理更是无处不在，在CT等医学技术到细胞图形学等，医学对于图像的品质和一些处理手段要求是雨来越高，这其中也在医学中促进的图像处理的发展。现代的医学成像系统中的应用也为医生的诊断提供了医疗诊断依据。在一些患者的诊断中，由于图像的距离和角度上发生变化，所以就需要对图像进行配准，用图像拼接技术使得他们的信息综合在一起，这就为医学上的诊断和生理结构和功能提供了更多的信息。在一些外科医学领域中视网膜的激光手术一直是一个医学难题，一些科学家就提出来利用图像拼接的技术来解决这个难题，他们利用相机的镜头运动和平移没有变化，并且将视网膜看经验主义的研究方法做一个二维的曲面，通过变化矩阵间的变换将视网膜的图像拼接成一个完整的全景图，这个在医学方面做出了巨大的贡献。近年来，随着计算机技术的高速发展，图像融合技术的发展变得更加广泛和深入，更加迫切地需求较大视域地全景图像。全景图像拼接血染是新兴技术，但是短短几年就得到了高速的发展，研究者的关注越来越多。如今全景图像己经成为图像处理、计算机仿真、计算机特效、计算机视觉和虚拟现实技术研究的热点，并且在医学微创手术、军事侦查、地质勘测、视频会议以及航空航天等多个领域发挥了重要的作用。所谓全景图像具有广泛的视觉领域，所谓拼接是指将多幅图像融合成一幅图像。具体而言，全景图拼接是使用多个摄像头在不同角度拍摄的同一场景，对多幅图像进行校正、去噪、匹配和融合，最终生成一个高质量、清晰、平滑的边缘、高分辨率的图像。1.2 大视场背景下的图像拼接的研究意义近些年来随着高新科技的告诉发展和一些相机和摄像产品的普及，更多的涉及到图像处理这项技术了，在早期，用相机来拓宽视野经常需要调整相机的焦距来获得相对完整的图像，但伴随着问题是产生的图像的分辨率会比较低，当然是用一些高档的相机也可以避免这个问题，但是往往这些设备比较昂贵，也不容易操作。在普通的家庭中不适合是用。当我们用到图像拼接技术的时候，这个问题就可以轻松的解决，消除我们的一些盲区，同时也能得到一幅大型的无缝高分辨率的问题。这些年来，图像拼接技术的告诉发展也改变我们对于传统的测量的认识，所应用的技术和成熟度也较以往有了直观的改变。图像处理的方法也是实现比较准确、快速将多个场景拼接在一起，让我们感受到真是的感觉。图像拼接是图像处理当中一个重要的研究分支，也是计算机图像学等领域的重点研究课题，其中还涉及到科学技术的多个方面，包括地质的勘探、视频的传输和检索以及数学的建模等都有广泛的应用。就目前来说，图像拼接的一个成功的应用案例就是虚拟现实技术，它是用计算机生成一幅三维的图像，可以使用户通过专门的设备技术在一个虚拟的环境中看到实物的整体概况，也可以进行相互的考察和控制，倒是随着这些技术的告诉发展，也滋生出更多的不足，这也在我们发现不足，改变不足中继续的创新与发展。总体来说吧，图像的拼接技术给我们带来的不止是科学上的进步，也是我们普通人在视觉上、听觉上以及触觉上带了不一样的感受，让我们在学你中体会到真是的一种感觉。1.3 大视场背景下的图像拼接的应用领域和研究现状1.3.1 应用领域在实际的科研和工程中，当遇到超过人眼视角的场景时，在近距离不能用摄像机拍摄的这些更大的东西，虽然拉大拍摄距离可以得到很宽的范围内的图像，但拍摄对象会相对较小，而且图像放大后会有马赛克，图片效果差。这一现象在航空摄影照片中十分突出。虽然利用现代硬件设施来解决这个问题。然而，这种硬件设备的价格是非常昂贵的，使用的方法是非常复杂的，并会导致图像边缘变形的现象。另一种方式是通过软件来解决这个问题，如PhotoShoP图象处理软件的图像处理软件，可以将一些常见的图像拼接到一个更广泛的视角的大背景图像，但效果不是很理想。因此，为了获得高分辨率的全景图像，在大视场图像拼接技术上进行研究是非常有必要的。在虚拟现实的方面，图像拼接技术得到了非常广泛的应用。在虚拟场景的构建过程中画面的真实感是十分重要的，通过图像得拼接技术得到质量清晰、视觉宽地大图像来替代视频图像能够大大节约数据的传输量和数据的传输速度。在计算机的视觉领域中，图像拼接技术是可视景物研究的一小部分。完整的可视景物还包括了深度或者视差信息的恢复。图像拼接技术还是还原和构建三维景物的基础。在遥感技术的领域中，要比较同一区域不同时间拍摄到的景象，经常要通过图像拼接中的图像配准技术实现。通过图像拼接后的图像间的比较能够显现出更直观的效果，可以为以后的研究工作提供准确的数据依据。在医学图像的处理方面，图像拼接技术被用来辅助诊断，通过CT、超声波、显微镜等技术获得的图像视野一般都很小，在诊断时，医师要需要通过拼接后的多幅图像来判断病因，方便医生的会诊工作。综上所述，深入学习和研究图像的拼接领域，然后改良现有算法，得到更加清晰的拼接图像具有十分重要的意义。1.3.2国外研究现状数字图像处理这门技术已经在国内外研究很多年了，在图像拼接的领域更是研究的热门，其实在研究的目标中可以归纳为追求更高的分辨率和更为广阔的视野。这些年来借助计算机，在图像拼接研究方面也有了很大的突破。在图像拼接的原理上，许多研究成果已在国内外广泛应用。但是就目前的技术而言还是没有得到人们想象的那样快速的和高效的得到一个图形的拼接图像。在各国科研工作者的研究中，对于图像拼接的关键技术的研究是倍受青睐，图像的特征点提取和配准一直是拼接技术的关键所在，在二十世纪70年代的时候Milgrani就曾经发表过这样的文章，他是通过照相机的拼接技术来叙述了资源卫星得到的比较高的分辨率的图像拼接，有人就提出了相位相关的原理，对图像进行傅里叶的变换，再进行配准和平移。然而在八十年代的时候，Harris提出的角点检测方法对相位相关的方法做了改进和创新，在对提取到的角点具有平移和选择不变图像融合的基础是图像配准。国内外的学者曾经围绕这两项技术展开过大量的讨论和研究。1965年,在IFlP会议上IVanSUtherland作了题为"TheUelimateDisplay”的报告，提出了一项研究计算机图形学的课题。报告指出人们可以把显示屏当成一个窗口来观察一个虚拟世界，使观察者能够有身临其境的感觉。经过拼接后得到的全景图像就是这个显示屏上显示的图像。相位相关法在1975年被Kuslin和Hines提出。这一种相位相关法主要是通过傅立叶变换，把原始图像变换到频域区，接着把互功率谱应用到了图像中，对图像之间的平行移动做出相应的计算，然后得到拼接好的图像的方法。扩展相位相关法在1987年被DeCaStro和Morandi提出。扩展相位相关法可以对具有平移变换和旋转的图像进行配准。之后，基于快速傅里叶变换法被Reddy和Chatterji提出，其能对缩放、旋转、平移变换图像进行精确的配准。一种能够根据相机的不同运动来选择模型的图像拼接算法在2000年被ShmuelPeleg、BennyRousso、AlexRav.Acha和AssafZomet一起提出。算法首先将图像分成了多个条状图像，接着通过条状图像的多重投影完成图像的拼接。匹兹堡大学的SerketGumustekin博士针对相机的旋转而形成的图像透视变形等问题做了大量的研究。通过标定摄像机的方法建立图像的成像模型，然后在图像成像的模型中选取图像投影到同一个高斯球面上，通过这种方式就可以得到一个拼接后的图像。这种方法的要对摄像机进行精准的标定，但是摄像机的镜头会导致图像变形，最后完成的拼接图像效果十分好，实验证明这种方法的可靠性十分良好。2008年，Addison设计了一种基于SIFT的图像序列的拼接算法，一个概率模型会验证全景图像序列，通过假设图像的特征点不变来实现全自动的图像拼接。13.3国内研究现状对于图像拼接技术，在我国来说，主要随着国外的兴起也逐渐得到发展。它采用的是一种对这种图像自动拼接的方法，这种方法在1997年被王小睿等人提出，该方法通过以序贯为基础，来检测其相似度，通过把相似度量化并且归一化的方法建立相应的模版，这些模板通过图像表现出来，建立起模版图像后，对这些图像间的相似度进行测量。然后再利用模拟退火算法的方法，对这图像进行迅速并且准确的匹配，这样得出来的图像的准确性就比较高。1998年，对于图像匹配方法又出现了一种比较快的方法，这种方法是由张祖勋等人提出来的。这种方法有针对性的使用对象，主要是对图像在不同的传感器以及空间中具有的不同分辨率来运用，通过它的特征这一种方法又被叫做多级影响概率中之匹配技术。随着它的发展，在华中科技大学，对相应的匹配方法又进行了创新，创造了一种通过相邻图像对比，来实现图像拼接的大图像的拼接算法。2002年，随着匹配方法的不断发展，图形的匹配方法不仅用于静态的图像还用到了动态场景。初次提出动态场景图像的是杜威和李华，而其后周鹏对其又进行了新的发展,开拓了匹配方法的应用领域，从以前的只适用于小角度旋转的问题，扩大到适用于大角度旋转领域之中。这样就扩大了匹配方法的应用领域，它的旋转角度也没有任何的限制，并且它可以达到很高的精确率。在此后封靖由对匹配的方法进行了发展，与以前集中在相应的动态以及静态场面不同，它采用的是利用曲线的角度，通过曲线的匹配和对比，来找到最适合的匹配问题。这种方法有很大的优点，可以减少相应的匹配步骤，和对图像进行匹配度的计算量，使相应的匹配程序得到减化。在此之后，赵向阳和杜立民又采用了传统计算法，通过提取相应的点，来对相匹配的图像进行自动匹配。2006年，由王伟、陆佩忠提出的在HarriS的特点的基础上来进行相应的匹配的方法。这种方法通过采用最小二乘法的方式进行8个参数的估计，有效地提高了匹配精度。西安交通大学有教授指出，使用鲁棒变换估计，这就成为一种非常与众不同的计算方法。算法使用鲁棒变换估计技术并结合Harris算法，通过对不同图像的一定点的选取，来进行比较和分析，这样有利于提高精确度，但和PaulBao的拼接算法一样算法在运行速度上没有做出改进。2007年，夏妍妍等人根据图像的特征点进行匹配的方法来对图像进行拼接。这里采用了海洋图相的特点，主要用于对海上的航空遥感监测图像进行相应的海上采油的指导。通过人为地选取相应的特征点，可以实现对重叠部分的拼接。在此之后，赵辉等人又提出了一种新型的自动排序的拼接方法，这种方法是按照自动排序的功能对数图像进行排序。2008年，针对匹配方法错误而导致的错误的结果恶化的问题，郭红玉等人为了避免这种问题的发生，提出在相应的坐标进行统一归一化后，在根据RANSAC的原理，进行矩阵估计，采用这种方法来得出相应的数据。在2008年7月，由李柏林等人提出的一种新型的图像配准方法，促进了匹配方法的进步，主要是在现有的RANSAC算法的基础上，来利用仿射和变换的方式，通过对这些图像的二次导向匹配功能，来实现匹配。2010年8月，西安科技大学的李会平改进了图像拼接算法中的特征点匹配问题，他使用双向顺序搜寻的方法得到图像间的最大相关性角点，有效地提高了图像拼接的精度度。1.4 本文内容及结构安排1.4 ,1本文主要工作内容本文对图像拼接的意义、流程和基础原理做了简单的概述和研究，对图像配准做了一个详细的介绍，在这个基础上，本文就相位相关的图像拼接算法和Harris角点检测的图像拼接算法的拼接技术提出了自己的观点和一些处理的手段。1.5 .2论文的组织和结构1、绪论，介绍了大视场背景下的图像拼接的方法和特点，就国内外的研究方向以及研究的时代背景做了一个介绍。2、大视场背景下的图像拼接基础技术的研究介绍，主要工作是图像拼接的技术特点和具体的流程的介绍。3、主要介绍讨论了大视场背景下的图像配准的多种算法。4、研究图像相位相关的图像拼接算法，给出相位相关及扩展相位相关的算法，提出了基于边缘扩展相位相关的图像拼接算法。5、基于HarriS和RANSAN算法的图像拼接，通过研究这两种算法的原理和理论，在这种基础上，通过两种算法的结合，使得图像拼接的复杂度降低，同时运算量减少，效果更好。6、总结和展望，本文所作的一些研究做一个总结和当前所存在的问题进行说明，对大视场背景下的图像拼接技术的发展和研究提出了期盼。第二章大视场背景下的图像拼接的基础原理2.1 图像拼接的流程图像的拼接是多步骤的一个过程，图像拼接主要分为四个阶段：图像的预处理、图像的配准、图像的坐标变化、图像的融合技术。采用了不同的拼接方法，算法间的步骤也不相同，但是大体上是差不多的。图2-1是图像拼接流程图。(1)图像预处理图像的预处理过程有处理数字图像的基本操作，比如对图像进行变换或者提取图像的特征点等等。并且因为拼接的图像会有可能来自不同的传感器所拍摄，图像就会带有不同的参数特点，然后就可能会使用不同的预处理的过程。(2)图像配准图像的配准技术可以针对不同的视角、不同的范围、不同的时间、不同的成像模式下对一个景物所拍摄的两幅或更多幅图像，基于某种配准方法来找出图像之间的视觉相关性，使得图像的内容可以在拓扑上对应起来。(3)图像坐标的变换先选择一个图像的变换模型，然后通过图像配准找到图像间的相关性，最终完成图像间的映射关系。(4)图像的融合技术图像之间因为会存在光照的变化或者图像本身不是由同一个传感器得到的，所以配准好后的图像变换模型若只是简单地将图像拼接在一起，那么图像的拼接处会有明显的缝痕。为了消除拼接过程中产生的缝痕，就需要采用图像的融合技术进行融合处理。图2-12.2 图像拼接的预处理2.2.1彩色图到灰度图的转换相比彩色图，灰度图包含的数据量少，易于处理，对计算机要求低，目前大多数针对图像预处理的算法以及图像匹配算法都集中在针对灰度图上。真彩色图像是指图像中的每个像素点的颜色均有RGB模型确定，即每个像素点的像素点的像素值有RGB三个基色分量组成。真彩色的发色总数可以达到224,因为RGB每个基色分量用8位表示其强度，即每个基色分量的强度是从0-255之间。灰度图是指去掉了彩色图像中的色彩信息，只保留灰度信息的图像。一般将灰度分为256个等级，0代表最暗，255代表最亮。对于一幅彩色图像可以用颜色模型来转换成灰度图。除RGB颜色模型外，还有很多颜色模型，比如YUv颜色模型。其中“Y”表示明亮度，即灰度值；“U”“V”表示色度。在YUV颜色模型中亮度信号和色度信号是分离的,因此要获得一幅真彩色图像的灰度图，只需将其从RGB颜色模型转换为YUV颜色模型并取取“分量即可。YUV颜色模型和RGB颜色模型的转换关系如式(2-1)："0.299-0.1480.615-Y,U,v=GiB0.587-0.289-0.515(2-1)0.1140.437-0.100通过求Y可以得到真彩色图到灰度图的转换：y=×0.299+G×0.587+B×0.114(2-2)对真彩色图像的每个像素进行式(2-2)的处理，将Y的值赋给这个像素，最后我们就可以得到一幅对应的灰度图。2.2.2图像矫正当照相机的镜头或者别的照相装置没有正对着景物的时候，那么拍摄到的图像就会发生一定的变形，这就是发生了几何畸变。另外，由于光学成像系统或者电子扫描系统的限制而出现的桶形或枕形失真，也是发生了几何畸变。几何畸变会对图像的拼接造成问题，两幅图像中的相同物体会由于畸变而不匹配，这给图像的配准带来了很大的问题。因此，解决图像的几何畸变问题显得非常重要。图象校正的基本方法是，找出图像的失真原因，然后建立一个相应的数学模型，在被污染或者畸变的图象信号之中提取到所需要的信息，最后逆着让图象失真的过程恢复图象的本来面貌。实际上复原的过程是设计出一个滤波器，使其能够从失真的图象中计算出真实图象的估值，使得失真图像能够根据预先设定的误差准则，被最大程度地还原。2.2.3图像去噪图像噪声是能够影响人的视觉感知，或者影响系统对传感器所接受的图像源信息进行理解或者分析的各种不利因素，也能够理解为存在于真实信号与理想信号之间的偏差。一般来说，噪声是不能被预测的随机信号，需采用概率统计方法进行分析。噪声的处理十分重要，它会影响图像处理的多个环节，特别是在图像的输入、采集中，噪声的抑制是十分重要的问题。如果输入伴有较大的噪声，则会全程影响图像拼接及拼接的结果。根据噪声来源，噪声可以被分为外部和内部噪声；根据统计数学，噪声可以被分为平稳和不平稳噪声。不同的噪声呈现在图像的上后，大致可以被分成两种类型。其中一种是噪声的幅值大致相同，但是噪声位置是随机的，这类噪声被为椒盐噪声。还有一种是噪声存在于每一点，但噪声幅值却是随机的。根据噪声幅值的大小分布，有瑞利型密度函数、高斯型，分别被称为瑞利噪声和高斯噪声，此外频谱是均匀分布的一种噪声则被称为白噪声。我们可以用滤波的方法来进行处理关于噪声的问题，中值滤波和均值滤波可以处理相应的噪声问题。1 .中值滤波中值滤波是一种常用的非线性的数字滤波技术。中值滤波针对斑点噪声和椒盐噪声，能很好的进行图像去噪，并且能保持图像的边缘特性。顾名思义，中值滤波是通过模板内的中值对图像进行滤波。其基本思想是:用定义的模板在数字图像像素上进行移动，对模板对应的各像素值进行从小到大排序，取处于中间的像素值赋给当前模板对应的像素点。中值滤波的实现过程如下： 确定一个模板，通常为方形，圆形或者十字型。 将模板中心定位到目标像素。 对模板窗口内的像素值进行排序。取排序后像素值的中间值赋给当前像素点。2 .均值滤波均值滤波是一种线性数字滤波技术。均值滤波是用模板窗口内的所有像素值的平均值对图像进行滤波。其基本思想是：用定义的模板在数字图像像素上进行移动，对模板内对应像素点的像素值进行求和再取平均，将得到的平均值赋值给当前的像素点。其计算的公式如(2-3)：1MNMMy)=加,j)(2-3)vy,i=x-INT(M2)j=y-INT(N/2)其中(x,y)是当前像素点的坐标，模板尺寸为MXN。均值滤波的实现过程如下： 确定一个模板，通常是正方形。 将模板中心定位到目标像素。 对模板窗口内的像素值求和取平均。 将上一步求得的平均值赋给当前像素点。2.3 图像配准的基本概念图像配准技术是用来确定拼接图像之间重叠区域以及重叠位置的关键技术，对各不同的传感器、不同时间和不同角度所获取的图像进行最佳配准的处理过程。因此它是整个数字图像拼接算法的核心，并且直接关系到图像拼接算法的运行速度和成功率。所以图像配准算法是数字图像拼接技术的研究重点。关于图像配准的具体算法会在第三章详细讲述。2.4 图像融合完成图像配准后，就可以进行数字图像的拼接，但是图像拼接好后，由于拼接的图像中存在灰度差异等原因，拼接后的图像便会出现亮度差异或拼接接缝等问题，这时就需要进行图像融合的操作，完成图像的拼接。图像融合是通过一定的算法，将拼接图像中的各个子图像的信息综合，最终形成一幅完美的拼接图像。图像融合能够消除图像中的冗余信息，提高拼接后的图像的视觉效果。2.4.1图像融合的目的在采集图像拼接所使用的图像时，因为天气条件的多样性，得到的图像在亮度上会有所不同，对此类图像完成图像拼接后，拼接图像中可能会产生不同亮度的情况，边界处也容易形成明显的拼接拼缝。为了能够提高拼接后图像的视觉效果，就要将图像融合技术应用到拼接后的数字图像中。图像融合的算法应当满足：图像在拼接过程中的边界过渡自然，可以消除图像拼接接缝，使图像拼接过程中损失原始图像的信息尽量减少，图像的融合算法要适用于所拼接图像的性质。2.4.2图像融合技术分类图像融合技术是数字图像处理中常用的一种技术,在数字图像拼接中用来将拼接后图像中的重叠区域进行融合，让拼接后的图像在视觉上能够保持一致。图像融合技术主要分为三个层次：像素级、特征级、决策级。L像素级图像融合像素级图像融合是在图像原始数据层上进行的图像融合，主要是通过对图像中目标和背景的测量结果来融合图像。像素级图像融合有很高的准确性，最大程度地保留了图像的原始信息，可以提供图像中的细节信息。但是这种方法需要计算的信息量很大，要花费很多的时间，而且对采集的图像要求比较高。2 .特征级图像融合特征级图像融合要先对图像进行特征提取，再使用提取的特征进行图像融合。找出图像中的特征包括大小、方向、形状、边缘等，可充分保留图像中的重要信息。特征级图像融合大多数采用参数模板或者模式相关等算法进行图像融合，但特征提取方式的影响很大，只有先使用精度很高的特征提取算法，才能实现满意的图像融合。3 .决策级图像融合决策级图像的融合是一种高水平的图像的融合方式。经过对图像采取目标提取和分类的步骤后，要根据一定的认知模型和判别系统对决策的可信度做出判断，决策级的图像融合还要通过分析、推理和识别等过程提高决策的智能化。这种融合是效果较好的一种图像的融合方式，有很快的计算速度，但是在图像融合的过程中，会损失很多信息，有可能使融和之后的图像产生失真。图像融合有多种图像融合算法。下面将会介绍几种图像拼接中常被用到的图像融合莫法1 .直接平均法直接平均法是先将像素的灰度值叠加，然后在求其平均值，用这个值来融合图像。这种算法相当于对图像进行低通滤波，很容易在融合之后的图像中产生带状的感觉，甚至严重的会影响到拼接图像的质量。假设工和力分别代表两幅待拼接的图像，代表融合之后的图像，有公式：工(,y)(,y)w/(,y)=,(工(,y)+力*,y)2(x,y)"C八)(2-4)力(,y)(x,y)人对于多幅图像的融合也具有同样的原理，重叠区域可表示为：/(,y)=1G,y)，这里(苍y)(ZnnnA)o2 .加权平均法加权平均法与直接平均法有一些相似之处，也是使用图像像素的灰度值。但加权平均法会先对图像重叠区域的像素值进行加权计算，再叠加像素值后计算像素的平均值。设工和人分别代表两幅待拼接的图像，/代表融合之后的图像，有公式:E(My)U)ZF(X,y)=w1(x,y)fl(x,y)+vv2(x,y)f2(x,y)(x,y)(工C人)(2-5)Uy)(,y)S式中，”和必代表两幅待拼接的图像在重叠的区域中对应的像素权值，且W1+W2=1,Oy%,叫Yl。如果能够找出适当的权值，便可以实现图像重叠的区域的平滑过渡来消除图像的拼接接缝。加权平均法中，有两种主要的权值选取算法：帽子函数加权平均法此法在对图像加权时，会把较高一些的权值赋到图像的中心区域，却把较低一些的权值赋到边缘区域。使用帽子函数计算权值。Widthi2人heighti2式中，Widthi和法ig何分别代表第i个图像的宽和高,图2-2所示就是帽子函数w(x)：图2-2帽子函数卬*)渐入渐出法渐入渐出法是图像融合中经常用到的一种算法，是通过重叠区域的像素到重叠区域边界的距离计算出权值。假设/代表融合之后的图像，工和力分别代表两幅待拼接的图像，有:(,y)e)(x,y)(flnf2)(x,y)ef2(2-7)/(,y)/(x,y)=djl(x,y)d2f2(x,y)f2a,y)式中，4和4分别代表了权重值，并且4+4=1，o<ji<i,0<4<1。在渐入渐出的图像的算法中，4由1渐变志0,而乙由0渐变至1，图像工通过这种融合算法能够在图像重叠的区域中过渡到图像2o3中值滤波法中值滤波法主要通过中值滤波器处理图像的重叠区域的像素。先在图像的重叠区域进行搜索，一但发现某个像素的灰度值与其周围的灰度值有较大差异时，就要使用中值滤波器进行处理，使其像素值能够接周围的像素值，最终达成融合图像的目的。但是这种算法拼接图像时容易出现