04图像融合技术概论(像素级).docx

《04图像融合技术概论(像素级).docx》由会员分享，可在线阅读，更多相关《04图像融合技术概论(像素级).docx（13页珍藏版）》请在课桌文档上搜索。

1、图像像素级融合算法（讲稿D2、图像融合算法探讨主要集中介绍像素级融合算法。依实现原理划分，像素级图像融合算法大体分为：代数算法，假彩色技术，图像调制技术，多辨别技术，基于视觉神经动力学的图像融合技术，等。2.1代数法代数法包括加权融合、单变量图像差值法、图像比值法等。最常用的方法是加权平均法。加权平均法主要是运用代数运算和线性运算来处理图像，是早期的图像融合方法。它的基本原理是不对源图像进行任何的图像变换或分解，而是干脆对各源图像中的对应像素进行选择（选取最大值或最小值）、平均或加权平均等简洁处理后输出融合图像。以4表示融合图像的第/个像素灰度值，G,表示参与融合的第，幅图像第/个像素灰度值。

2、表示参与融合的第i幅图像第7个像素的权值。加权平均法的数学表示式为：1.j=AjiGjiI=I=1Z=I依据实际应用的须要，代数法可实行局部和全局处理。下面主要说明全局法的处理过程。考虑到图像的整体性，全部融合运算采纳了统一标准，因此称为全局法。主要步骤如下：（I）求出图像灰度的最大值、最小值、均值与方差；（2）由这些参数通过肯定的运算，计算出一个变换式，可将高辨别力图像的灰度变成。到1的实数；（3）用变换后的实数与低辨别力图像进行肯定的运算，其所得到的结果即为融合图像；（4）这个图像往往色调比较暗，必需进行增加才能满意要求。设高辨别在目像灰度、灰度最小值、最大值、均值与方差分别为gfg,“心

3、，低辨别力图像灰度值为g/，融合后的灰度值为g/，D为变换系数。2、假彩色技术假彩色（FalSeCOlor）图像融合处理的原理基于如下事实：人眼对颜色的辨别力远超过对灰度等级的辨别力。因此，假如通过某种彩色化处理技术将隐藏在不同原始信道图像灰度等级中的细微环节信息以不同的色调来表征，可以使人眼对融合图像的细微环节有更丰富的相识。以假彩色法来实现图像融合的工作由来已久，随着对人眼生理特性相识的逐步深化，这种方法也在不断改进，以期达到既能将各原始信道的图像信息尽量地表现出来，又能使融合图像的可视效果符合人眼生理习惯的目的，这是当前假彩色探讨的关键所在。依据信息融合发生的色度空间不同，假彩色融合算法

4、可分为三类：2.1.1 灰度融合后采纳假彩色编码的融合算法这种假彩色融合方法可以认为是图像处理的后期的假彩色化处理，其本质与图像融合并无干脆联系，基本是灰度图像的假彩色编码的问题。有文献分别采纳灰度调制、灰度级平移叠加以及小波融合的处理手段对灰度图像进行融合后再进行假彩色处理，取得了肯定的效果。此类算法的关键是选择合适的彩色标尺，而此要求却较为苛刻，使得这一方法一般只作为图像融合结果的可选附加处理。2.1.2 基于RGB色空间的假彩色融合技术任何图像的彩色处理最终都将归结至RGB色空间的转换，因此，干脆在RGB色空间的假彩色融合处理具备的最大特点就是计算简洁，速度快，便于硬件实现和实时处理。此

5、类算法的原理依据如下的基本领实：来自不同图像传感器的图像总存在着差异，而这种差异一般总是以不同图像传感器的图像间不同的灰度特性分布所表征。因此，干脆基于RGB色空间的假彩色融合处理就是利用不同图像间的灰度分布的不同，经过某种处理后，提取不同图像间的灰度差异，以某种组合方式送至R、G、B三通道干脆进行显示。当然，不经过提取灰度差异这一处理过程而干脆将图像送至RGB通道进行显示，在某些状况下可能也是一种有效而便捷的处理手段。基于RGB色空间的假彩色融合处理的基本运算结构流程见图2.IoRGB色空间映射技术存在的主要缺点是融合前对融合后将要出现的图像细微环节的彩色表征缺乏可预见性，融合图像的细微环节

6、表征与常规所见的图像往往大相径庭，视察员要辨识出图像细微环节，经常须要经过肯定的训练和具备肯定的阅历。假如希望得到较佳的可视效果，一般须要采纳一些生理光学领域的探讨成果，通过分析人眼的生理特性来确定映射算法。g3(U)RB数据预处理假彩色合成假彩色融合图像图2.1基于RGB色空间的假彩色融合处理示意图有文献依据人眼的视觉习惯开发了一种融合红外和可见光图像的假彩色映射技术。该算法将红外图像和可见光图像经过肯定的交互处理后，分别送至R、G、B三通道，使得融合图像具有肯定的自然性，其具体处理步骤如下：1)图像相关性提取图像相关性提取指提取可见光图像和红外图像间的公有部分：令ViS访/e表示可见光图像

7、，TTzerma/表示红外图像，ComWo表示两图像的公有部分，(i,j)表示图像像素坐标，则有：Comnoni,j)=Visibly,j)Thermal(i,j)(2.4)提取两图像公共部分的具体操作，可以采纳求取最小值的方法来处理，即：Common(z,j)=11in(Visible(iyjThermal(z,J)(2.5)2)图像去相关图像去相关指提取可见光图像和红外图像各自的特征部分：令HSi4e*表示可见光图像的特征部分，TVzermo/*表示红外图像的特征部分，则有：Visible(i,j)=Visible。,j)-Conmion(i,j)(2.6)Thennal*(z,j)=Th

8、emial(z,j)-Convnon(i,j)(2.7)3)图像交互处理图像交互处理指采纳何种融合算子来有效包涵可见光图像和热红外图像各自蕴含的信息。依据生理光学的探讨成果，原则上，假如一路图像在某个区域的特征成分具有显著值，任何减小另一路图像对应区域动态范围的操作均可以选择。有文献采纳交叉相减的处理来实现，并将处理结果干脆送至R、G、B三通道进行显示，即：*Thermal-Visible、rThermal-VisibleGVisible-The11naVisible-ThermalVisible-Therma/Visible-Thermalk(2.8)由式(2.8)看出，R通道显示的是降低了

9、可见光图像对应部分的红外图像；相反，G通道显示的是降低了红外图像的对应部分的可见光图像，即将红外与可见光图像的突出部分分别增加，并利用不同的色调来表现其细微环节。这样的融合结果为：在以表现可见光图像与红外图像差异的蓝色背景下，以红色作为红外图像的特征突出部分、绿色作为可见光图像的特征突出部分，比较符合自然特征，图像看起来更自然些。但是，该算法仍不能避开假彩色算法的固有缺陷，即假如事先不知道景物的大体属性，则不具阅历的视察员很难推断出静态目标的属性。因此，这种算法假如应用于对动态目标的监视视察，可以取得较好效果。对式(2.8)的图像交互算法进行某些改进可使融合结果的色调层次更丰富，对于多细微环节

10、目标产生更好的效果。本课题组就提出过用两图像公共部分映射到B通道的方案。基于1.HS色空间的假彩色处理与RGB色空间映射技术的缺乏可预见性不同，1.HS色空间的1.（明度）、H（色调）、S（饱和度）模型由于干脆反映人眼的感觉，故基于该色空间的假彩色融合技术具有较好的可预见性。该方法是将图像数据经过预处理后分别赋于1.、H、S色通道，然后再换算至RGB色空间以实现彩色显示。其融合流程见图2.20灰度图像MiJ)f2(U)假彩色融合图像图2.2基于1.HS色空间的假彩色融合处理示意图基于1.HS色空间的假彩色融合处理首先要确定原始图像与1.、H、S三坐标的对应关系，关键是确定在融合中起主导作用的原

11、始图像，把它对应于H通道，然后对应地对原始图像和1.、H、S进行分割。国际上的一些探讨表明基于1.HS色空间的假彩色技术较干脆在RGB色空间的处理更加符合人眼的生理视觉特性，但由于该过程计算较为困难，H坐标的起始点、取值方向和间隔等参数均须要多次试验来确定，因此其实际应用受到限制。2.2图像调制技术调制（MOdUIation）本为通信技术术语，意指一信号的某参数（强度、频率、相位等）随另一信号变更而变更，是信号处理领域一种很常用的手段。在数字图像处理领域内，假如将图像看成是二维信号，那么对多路图像进行的融合处理可以看作是图像信号间的相互调制。因此，借助通信技术的一些思想，调制技术在图像融合领域

12、也有着相当广泛的应用。用于图像融合的调制技术一般适用于两幅图像的融合处理。具体操作一般是将一幅图像进行归一化处理，然后将归一化的结果与另一幅图像相乘，最终重新量化后进行显示。这种处理方式相当于无线电技术中的调幅（AmplitudeModulation）,数字图像的灰度大小就相当于无线电波的幅度大图像对比度调制Smith提出的基于对比度归一化处理的对比度调制技术（ContrastModulationTechnique）,用来融合可见光图像和红外图像。其基本思想是依据可见光图像包含的细微环节信息较为丰富的特点，提取可见光图像的对比度，以此调制红外图像的灰度分布，从而达到融合的目的。具体操作如下：1

13、）可见光图像对比度提取获得图像的对比度信息，必需得到图像高频和低频的重量。令1.OWPASS表示低通滤波，G表示输入图像，G/表示低通滤波后的图像，则由(2.9)G1=1.OWPASS(G)可得到可见光图像的低频重量，然后求得图像的局域对比度C,即：Ctj)=G(i,)-G(0)G()(2.10)之后将局域对比度归一化，得到归一化对比度C*：C*(i,7)=Cy/)-T(Cw)(2.11)max(C(i,7)-nin(c(z,)2)融合调制将式(2.11)得到的归一化对比度C*与热图Gr相乘，即可得到融合图像：GF1.j)=C飞加GTtj)(2.12)将得到融合图像重新量化，使之灰度范围与显示

14、设备动态范围R相匹配,即：G；(i,j)=RG疼)-(G1)(2.13)max(Gp(i,；)-min(Gf(i,)得到的G；即为最终呈现的融合图像。图像灰度调制我们探讨发觉了一种简洁有效的融合可见光图像和热红外图像的灰度调制法。灰度调制是一种线性处理，采纳线性归一化的手段将图像进行变换，一般仍旧对两路图像中细微环节较多的一路进行归一化，然后调制另一路。其过程为：首先求出可见光图像Gy的归一化图像G；：1.(iGy(i,j)-min(Gy(i,j)5一ImX(GyGJ)min(GGS)然后以归一化可见光图像对红外图像热冉进行调制：Gf()=G；CJ)XG/力(2.15)最终按式(2.13)对调

15、制结果重新量化得到融合图像G；。灰度调制方法虽然运算简洁，但实际试验表明其融合效果却好于对比度调制法。调制融合技术以一幅图像的灰度特征对另一幅图像施加“影响”，变更其灰度分布属性，算法比较简洁，是实现可见光和红外图像融合的一种好用技术。多辨别技术图像的多辨别(MUIlireSOIUtion)结构理论来源于计算机视觉探讨中对人眼感知过程的模拟，例如，假如在一幅图像中我们不先识别出“房子”，那么就很难辩识图像中的小方框是不是“窗户一般而言，多辨别结构是对输入图像信息供应相继压缩表示形式的数据结构。被压缩的信息可以是简洁的图像灰度，也可以是描述图像中的一些特征信息(如前面探讨的基于多辨别特征点提取的

16、图像配准)，前者的多辨别结构相继表示辨别力逐级降低的输入图像，而后者则越来越粗地近似表示这些特征。图像多辨别结构的另一重要优越性在于：在低辨别力层上粗略的信息只用很少的数据量来表示，故在该层上可以获得很快的处理速度；到了高辨别力层，尽管描述细微环节的数据量增大，但由于已有了对低辨别力层信息的识别，还是有可能通过面对目标的处理方法来提高计算速度。多辨别结构的形成是采纳对图像进行自底向顶的计算，每一级图像均是其前一级图像经过某种滤波形成。图2.3给出多辨别结构示意。Gaussian金字塔Gaussian金字塔图像多辨别结构中的每一级图像均是前一级图像低通滤波形成的。设矩阵Go表示输入源图像，则Go

17、作为GaUSSian金字塔的零级，Gaussian金字塔的/级矩阵的每一元素值可由用一nn的窗口函数对第/-1级矩阵进行加权平均而得到。留意，以下探讨均设片5,即滤波模板大小为55o图2.3金字塔多辨别结构示意图高辨别力级到低辨别力级的滤波运算用函数REDUCE表示:G,=REDUCE(G1(2.16)即对1N(N是金字塔的总级数)，点(i,Q,0iC,f0jR1(C/,R/是金字塔第/级的大小)，有：Gl(i,j)=1.X：M几+m2j+)(2.17)其中M加,)为Gaussian模板，其定义如下：vv(w,)=w(w)vv,(r?)(2.18)X73I(2.19)w,()=fl,w,(l)

18、=w,(-1)=Zj=0.25,w(2)=w,(-2)=b-a2采纳Gaussian模板对图像进行多辨别分解后，得到的Gaussian金字塔结构中相邻两级图像的频带以1/8倍率减小，图像大小则以1/4倍率减小。金字塔中采样速度的减小正比于频带范围的减小，因此Gaussian金字塔可认为是一个多辨别力低通滤波器。1.aplacian金字塔构造1.aplacian金字塔之前，首先需对Gaussian金字塔进行扩展。定义函数EXENO为函数REDUCE的逆运算，其作用是利用插值法在给定的数值间插补新的样本值，将Gaussian金字塔结构中某一级图像扩展成其前一级图像的尺寸大小，即假如对G/进行EXR

19、INo运算，获得的新图像将具有与G八同样的尺寸大小。设GM表示对G/进行EXRAN。运算Mk）次后得到的图像，则(2.20)GlG1Gu=EXPAND(Glk.EX%N。运算定义为3.也）=4ZE二等,手）（2.21）式中仍为Gaussian模板，仅当上手,勺）为整数坐标时方计算入上述和式。留意到GIJ与G-I大小相同，5,与原始图像GO大小相同。1.aplacian金字塔（多辨别力带通滤波器）是一组带通滤波图像序列1.lt定义为Gaussian金字塔中相继各级低通滤波图像之差，即：1.N-GN（221）1.1G1-EXPANE（Gm）=Gl-Gm0lN1.aplacian金字塔对于原始图像G

20、o而言，是一组带通滤波器，而对于Gaussian金字塔序列中的图像G,。则是其高通滤波器。对比度金字塔对比度金字塔。的构造类似于1.aplacian金字塔，但其定义为Gaussian金字塔中相继各级图像之比，即：(2.22)CN=GNG=GJEXPANg.)=GiGma0laa2则表示Gaussian金字塔的扩展序列，B通道类似。F2、F.FO示意融合金字塔序列，对其重构即可得到最终融合图像。基于小波的图像多辨别结构小波变换(WaVeletTranSfOrm)作为一种新兴的工程数学工具，由于其具备的独特数学性质与视觉模型相近，因此在图像处理领域也得到了广泛的应用。应用于图像融合领域的小波变换，

21、可以说是金字塔方法的干脆拓展。自Manat将计算机视觉领域内的多尺度分析的思想引入到小波变换后，对图像进行多辨别融合处理的方法在离散小波变换这一强有力的数学工具的帮助下日益完备，并取得了一系列卓有成效的成就。1连续小波变换与二进小波变换1 .连续小波变换设以力是一个平方可积函数，即以f)1.2(R),若其傅立叶变换中(满意条件：忸d0,Z?R(2.28)Cl则函数族“招称为小波基函数，或简称小波基。对于信号/)w1.2(R),其连续小波变换定义为信号/和小波基的内积：Wf(a,b)=V(t)Wa,bS=fQ)w)dt(2.29)其中“小表示匕力的复共烧。小波逆变换定义为：I00+QO/(0=-

22、Wf(a,b%abdb(2.30)1.W0-00连续小波变换具有如下主要性质：设X、y1.2(?),占、%为随意常数，My(。的小波变换分别为叱(。,份、Wv,有：(1)叠加性：函数ZQ)=Kx+y的小波变换为：暝m,份=KWv3力)+七%M(2.31)(2)时移不变性：yQ)=(f)的小波变换为：Wy(a,b)Wx(a,b-t0)(2.32)(3)尺度转换:)0=双)的小波变换为：W33=wgg),0(2.33)(4)内积定理：有:低3圾,3助=CWMOy(2.34)(5)微分定理：y(f)=x的小波变换为：Wv(M)=三w,(9)(2.35)OO(6)卷积定理：ZQ)=Mr)*y()的小波

23、变换为：Wz(a,h)=x(t)*Wy(a,b)=y(t)*Wx(ayh)(2.36)其中：表示对变量b做卷积。(7)能量交叉：当处和外为叱.3份和W1,份的幅角，有：帆3勿+wv3研=帆(凡初+帆(4,力卜2|叱3份牝(4,即cos(-4)(2.37)2 .二进小波变换在实际应用中，无论是出于数值计算的实际可行性考虑，还是为了理论分析的简便,都有必要对小波变换进行离散化处理。将式(3.28)中的参数。、人都取离散值，设固定尺度步长为劭1，平移步长=0,取a=/”，b=nb.a-,nf则可将连续小波离散化:Wm,3=a2at-nbmineZ(2.38)二进小波变换介于连续小波和离散小波变换之间

24、，它只对尺度参量进行二进制离散，位移仍取连续变更，这使得二进小波变换仍具有连续小波变换的时移不变性，在奇异性检测、图像处理方面非常有用。二进小波表示为：m-)=户叭冒)(2.39)设F(f)1.2(R),其二进小波变换为：DWf2,n)=J%)建*)力(2.40)2、多尺度分析理论假如我们把尺度理解为照相机镜头的话，当尺度由大到小变更时，就相当于将照相机镜头由远及近地接近目标。在大尺度空间里，对应远镜头下视察目标，只能看到目标大致的概貌。在小尺度空间里，对应近镜头下视察目标，可观测到目标的微小部分。因此，随着尺度由大到小的变更，在各尺度上可以由粗及精的视察目标，这就是多尺度分析的思想。其数学上

25、的定义如下。设忆片是空间中的一个闭子空间列，假如满意如下条件，则忆h被称为一个多尺度分析：(1)一样单调性：U%UKU%U匕U匕2u；(2)渐近完全性：nvz.=,uVz.=1.2(/?);(3)伸缩规则性：)Vzu(2)%,Z;(4)平移不变性：f)%=f(/-)%Z;(5)正交基存在性：存在函数。(z)1.2(R),使依r-)1.z构成匕的正交基，即%=span(-n),(t-n)(t-11i)dx=mn(3.41)wR由条件(3)和(5)可知，勿)=2一20(2Z-QMz为子空间匕的正交基。可见，多尺度分析匕;wZ是同一函数。通过伸缩平移后产生的函数系列所张成的空间，函数。称为尺度函数，

26、各个闭子空间称为尺度空间。小波空间Wj定义为尺度空间匕在匕T中的补空间，即：匕T=V.WjfWj1V.(2.42)由多尺度分析的单调性和小波空间的定义可知：WjlWl9jl1.jJ三Z(2.43)进一步结合靠近性可知：Wj=1.2(r)(2.44)Hj可见，吗,.z构成了Z?(R)的一系列正交子空间。设/Q)e”,结合多尺度分析的伸缩特性以及式(3-18)可以导出：/)叫=/(2一。)吗(2.45)设函数以。为基本小波，且弘u,ZZ构成WO的一组正交基，由式(2.45)可知VZ,%3)=2一2必2一-&),履2为空间%的正交基，进一步分析，可知匕)=2一2以2一一Z),/ZZ构成2(?)的正交

27、基。由上分析可知，对于随意函数/(f)V,可以将其分解为属于小波空间卬网的细微环节部分和属于尺度空间Vy+1的大尺度近似部分；然后可将属于匕内的近似部分再次分解。这样不断接着，就得到了不同尺度上的细微环节部分和近似部分。此即多尺度分析的框架。尺度函数(Kt)和小波函数(t)满意二尺度方程：Q)=y2jhk)(2t-k)A-1,bz、其他Dk(i,j)=,*()，矿A-1,A-1.(2.51)邛/J),其他Dktj)=%K,j),ifA-mK,D%(i,j),其他一式中OAT(#1，2,3；T=A,B,Q为输入图像A,3和融合图像尸的子带信号，屋W(E=V,H,D；T=A,8)为输入图像A,8的

28、各方向对比度。2.5小结本节对适用于可见光长波红外、微光-长波红外等成像传感器组合形式图像融合系统实现中的若干技术进行的全面的探讨。在对三类像素级图像融合的多种算法进行了比较具体的分析探讨后，可以得到如下结论：1）假彩色算法效果的自然性仍旧是有待解决的问题。采纳这类算法，对视察员的阅历是较大考验。尽管此类算法简洁，易于硬件实现和实时化，但目前阶段没有把这种方法作为一种独立的处理方式应用在具体设计中。我们正在进行的神经动力学探讨，希望找到更为合适的假彩色处理算法使得融合结果达到更加自然的效果。2）运算简洁的灰度调制较对比度调制具有更好的视觉效果。但在对比度调制手段的启发下，利用对比度金字塔，我们

29、提出了多尺度对比度调制的算法，将对比度调制在图像的不同频带上进行处理，收到较好效果，并消退了一般对比度调制自适应性差的缺点，并带有肯定的对比度增加的好处。3）基于金字塔结构的多辨别图像处理技术以其独特性质在图象融合领域占据了重要地位。试验分析表明：金字塔算法的高度自适应性、有效性和较强的硬件可实现性使得这类处理具有广袤的应用前景。从灰度融合结果的可视性看，基于多辨别处理的金字塔技术（包括小波金字塔）具有最好的处理视觉效果；从运算量看，基于简洁灰度调制和假彩色的融合方法最佳。在综合考虑到项目应用的普适性、实现的难易程度和将来的可扩展升级性等因素基础上，选择1.aplacian金字塔算法作为双通道图像融合处理机的核心算法，不失为一个较佳选择。