第5章医学图像的复原.ppt

,第5章 图像的复原,第5章 图像的复原,内容：图像复原的概念退化模型复原方法去除图像的运动模糊图像的几何畸变校正,图像的复原与退化,图像复原：对退化的图像进行处理，力求还原图像的本来面目。复原的过程是沿着质量降质（退化）的逆过程来重现原始图像。图像退化：图像在形成、记录、处理和传输过程中，由于成像系统、记录设备、传输介质和处理方法的不完善，从而导致的图像质量下降。,进化与退化,基本思路：,高质量图像,退化了的图像,复原的图像,图像退化,图像复原,研究退化模型,实 例,复原受正弦噪声干扰的图像(a)原图像(b)被正弦噪声干扰的图像(c)滤波效果图,(a),(b),(c),维纳滤波器应用(a)由运动模糊严重影响的图像(b)用维纳滤波器恢复出的图像,(a),(b),图像退化典型表现：图像模糊、失真、有噪声图像退化的原因：（1）放大镜凸透变形；（2）摄影时照相机镜头的移动。复原方法：根据不同的退化模型，处理技巧和估计准则，导出各种不同的恢复方法。,退化模型示意图,退化过程 T f g恢复过程 T-1 g f,退化模型,n是MN 维噪声向量，则退化模型,图像复原方法,图像复原方法：退化函数估计：H的估计，噪声（n）的估计。图像去噪：可以使用空间域或频率域滤波器实现逆滤波维纳滤波,退化参数的确定,退化参数：h(x,y),n(x,y)图像恢复：对原始图像作出尽可能好的估计。已知退化图像，要作这种估计，须知道退化参数的有关知识。,点扩展函数的确定,（一）运用先验知识:光学系统散焦 照相机与景物相对运动 根据导致模糊的物理过程（先验知识）来确定h(x,y)或H(u,v)。,（1）光学散焦,d是散焦点扩展函数的直径,J1()是第一类贝塞尔函数。,（2）照相机与景物相对运动 设T为快门时间，x0(t)，y0(t)是位移的x分量和y分量,点扩展函数的确定,（二）运用后验判断的方法 从退化图像本身来估计h(x,y)。（1）若有把握断定原始景物某部位有一个清晰的点，于是那个点再退回图像的模糊图像就是h(x,y)。（2）原景物含有明显的直线，从这些线条的退化图像得出h(x,y)。,点扩展函数的确定,（3）有明显的界限 可以证明：界线的退化图像的导数平行与该界线的线源的退化图像。,噪声的确定,要知道n(x,y)的统计性质，以及n(x,y)与f(x,y)之间的相关性质。一般假设图像上的噪声是一类白噪声。白噪声：图像平面上不同点的噪声是不相关的，其谱密度为常数。实用上，只要噪声带宽远大于图像带宽，就可把它当作白噪声。虽不精确，确是一个很方便的模型。,常见噪声：高斯均匀对数正态瑞利指数厄兰,噪声的确定,例：下图为原始图像和其直方图,因为不同原因产生的噪音的分布是不同，可以通过分析图片中噪音的分布得到产生这些噪音的参数，然后进行逆运算进行图像复原。eg:维纳滤波要知道噪声的谱密度 约束最小平方滤波要知道噪声的方差,图像复原的滤波方法,逆滤波维纳滤波,逆滤波,假定退化图像遵从以下模型,在不考虑噪声的情况下,写成,逆滤波,该恢复方法取名为逆滤波。,逆滤波,有噪声情况:G(u,v)=F(u,v)H(u,v)+N(u,v)仍采用逆滤波器P(u,v)=1/H(u,v)作恢复滤波器。,逆滤波,维纳滤波,维纳滤波,可推出,维纳滤波,维纳滤波例子,模糊的噪声图像,使用常数比率的维纳滤波的结果,维纳滤波例子,原图像,运动模糊图像,复原后的图像,补充：图像的几何变换,图像的几何变换,图像的几何变换包括了图像的形状变换和图像的位置变换。图像的形状变换是指图像的放大、缩小与错切。图像的位置变换是指图像的平移、镜像与旋转。图像的仿射变换描述。,图像的几何变换不改变像素的值，只改变像素的位置。,图像的形状变换,图像的形状变换主要是指图像的缩小、放大与错切。图像的形状变换通常在目标物识别中使用。,图像的形状变换应用 目标物识别,如图所示,要判别图中的某个果子是苹果还是李子,要将该图像进行放大或者是缩小,才能够进行正确的比较与识别。,图像的缩小,分为按比例缩小和不按比例缩小两种。图像缩小之后，因为承载的信息量小了，所以画布可相应缩小。,(a)按比例缩小(b)不按比例缩小,图像缩小 实现思路,图像缩小实际上就是对原有的多个数据进行挑选或处理，获得期望缩小尺寸的数据，并且尽量保持原有的特征不丢失。最简单的方法就是等间隔地选取数据。,图像缩小 实现方法,设原图像大小为M*N，缩小为k1M*k2N，（k11，k21）。算法步骤如下：1）设原图为F(i,j)，i=1,2,M,j=1,2,N.压缩后图像是G(x,y),x=1,2,k1M,y=1,2,k2N.2）G(x,y)=F(c1*x,c2*y)其中，c1=1/k1 c2=1/k2,图像缩小 例题,K1=0.6,k2=0.75,i=1,6,j=1,6.x=1,6*06=1,4,y=1,6*0.75=1,5.x=1/0.6,2/0.6,3/0.6,4/0.6=1.67,3.33,5,6.67=i2,i3,i5,i6,y=1/0.75,2/0.75,3/0.75,4/0.75,5/0.75=j1,j3,j4,j5,j6.,图像放大,图像放大从字面上看，是图像缩小的逆操作，但是，从信息处理的角度来看，则难易程度完全不一样。图像缩小是从多个信息中选出所需要的信息，而图像放大则是需要对多出的空位填入适当的值，是信息的估计。,图像放大 实现思路,最简单的思想是，如果需要将原图像放大为k倍，则将原图像中的每个像素值，填在新图像中对应的k*k大小的子块中。,显然，当k为整数时，可以采用这种简单的方法。,图像放大 实现方法,设原图像大小为M*N,放大为k1M*k2N，（k11，k21）。算法步骤如下：1）设旧图像是F(i,j)，i=1,2,M,j=1,2,N.新图像是G(x,y),x=1,2,k1M,y=1,2,k2N.2）G(x,y)=F(c1*i,c2*j)c1=1/k1 c2=1/k2,K1=1.5,k2=1.2,图像放大 实现方法,i=1,2,j=1,3.x=1,3,y=1,4.x=1/1.5,2/1.5,3/1.5=i1,i1,i2,y=1/1.2,2/1.2,3/1.2,4/1.2=j1,j2,j3,j3.,思考一个问题：如果放大倍数太大，按照前面的方法处理会出现马赛克效应。如果这个问题交给你，有没有办法解决？或者想办法至少使之有所改善？,图像放大 思考问题,图像错切 基本概念,图像的错切变换实际上是平面景物在投影平面上的非垂直投影效果。因为绝大多数图像都是三维物体在二维平面上的投影得到的，所以需要研究图像的错切现象。,图像错切 数学模型,错切的数学模型如下：,图像错切 示例,可以看到，错切之后原图像的像素排列方向发生改变。该坐标变化的特点是，x方向与y方向独立变化。,图像的位置变换,所谓图像的位置变换是指图像的大小和形状不发生变化，只是将图像进行平移、镜像和旋转。图像的位置变换主要是用于目标识别中的目标配准。,图像的平移,图像的平移非常简单，所用到的是中学学过的直角坐标系的平移变换公式：,注意：x方向与y方向是矩阵的行列方向。,即：g(x,y)=f(x,y),图像的平移 示例,注意：平移后的景物与原图像相同，但“画布”一定是扩大了。否则就会丢失信息。,x=1,2,3;y=1,2,3x=2,3,4;y=3,4,5,图像的镜像,所谓的镜像，通俗地讲，是指在镜子中所成的像。其特点是左右颠倒或者是上下颠倒。镜像分为水平镜像和垂直镜像。,图像的水平镜像,水平镜像计算公式如下（图像大小为M*N）,因为表示图像的矩阵坐标不能为负，因此需要在进行镜像计算之后，再进行坐标的平移。,（坐标平移）,图像的水平镜像,示例：,图像的垂直镜像,垂直镜像计算公式如下（图像大小为M*N）,因为表示图像的矩阵坐标不能为负，因此需要在进行镜像计算之后，再进行坐标的平移。,（坐标平移）,图像的垂直镜像,示例：,图像的旋转,图像的旋转计算公式如下：,这个计算公式计算出的值为小数，而坐标值为正整数。这个计算公式计算的结果值所在范围与原来的值所在的范围不同。,因此需要前期处理：扩大画布，取整处理，平移处理。,图像旋转的前期处理 画布的扩大,图像旋转之前，为了避免信息的丢失，画布的扩大是最重要的。画布扩大的原则是：以最小的面积承载全部的画面信息。,图像旋转的前期处理 画布的扩大,画布扩大的简单方法是：根据公式计算出x和y的最大、最小值，即xmin、xmax和ymin，ymax。画布大小为：xmax xmin、ymax ymin。,图像旋转的前期处理 画布的扩大,旋转后图像的画布大小为：,例,平移量为x=2;y=0。,图像旋转 按照确定画布时的平移量取整,结论：按照图像旋转计算公式获得的结果与想象中的差异很大。,对原图的(1,1)像素，x=1,y=1,取整后，该点在新图的(2,1)上。,对原图的(1,2)像素，x=1,y=2,取整后，该点在新图的(2,2)上。,必须进行后处理操作。,图像旋转后处理 旋转后的隐含问题分析,图像旋转之后，出现了两个问题：1）像素的排列不是完全按照原有的相邻关系。这是因为相邻像素之间只能有8个方向（相邻为45度），如下图所示。2）会出现许多的空洞点。,示例,图像旋转后处理 解决问题的思路,出现问题的核心是像素之间的连接是不连续的。相邻像素的角度是无法改变的，所以只能通过增加分辨率的方法来从整体上解决这个问题。采用某种填补方法来填充空洞。,图像旋转的后处理 插值,最简单的方法是行插值（列插值）方法。,1）找出当前行的最小和最大的非背景点的坐标，记作：(i,k1)、(i,k2)。,如右图有：(1,3)、(1,3);(2,1)、(2,4);(3,2)、(3,4)；(4,2)、(4,3)。,图像旋转的后处理 插值,2）在(k1,k2)范围内进行插值，插值的方法是：空点的像素值等于前一点的像素值。3）同样的操作重复到所有行。,图像旋转的后处理 插值效果分析,经过插值处理之后，图像效果就变得自然。思考一个问题：边界的锯齿如何处理？,图像的仿射变换,图像仿射变换提出的意义是采用通用的数学影射变换公式，来表示前面给出的几何变换。回顾前面讲过的几何变换，除了图像的平移，其他的变换均为线性变换，比较容易处理。为了适应平移,提出了齐次坐标的概念。,平移公式：,图像的仿射变换 齐次坐标,原坐标为(x,y)，定义齐次坐标为：（wx,wy,w）实质是通过增加一个坐标量来解决问题。,平移：,图像的仿射变换 通式,有了齐次坐标，就可以定义仿射变换 如下：,仿射变换公式中，取齐次坐标的w=1。,用矩阵形式表示为：,图像的仿射变换 图像几何变换表示,图像的平移：,图像的旋转：,图像的仿射变换 图像几何变换表示,图像的水平镜像：,图像的垂直镜像：,图像的仿射变换 图像几何变换表示,图像的垂直错切：,图像的水平错切：,不同几何变换实际上对应着不同的变换矩阵。,图像的成倍放大效果示例,图像大比例放大时的马赛克效应,放大10倍,图像旋转的效果示例,图像旋转中的插值效果示例,图像的错切效果,图像配准示例,与原图比较，有位置，角度偏差,水平镜像示例,垂直镜像示例,几何畸变校正,在图像的获取或显示过程中往往会产生几何失真。这主要是由于摄像管摄像机及阴极射线管显示器的扫描偏转系统有一定的非线性，因此会造成如图5.4所示的枕形失真或桶形失真。图(a)为原始图像，图(b)和图(c)为失真图像。,基本的方法:先建立几何校正的数学模型；其次利用已知条件确定模型参数；最后根据模型对图像进行几何校正。通常分两步：图像空间坐标的变换；确定校正空间各像素的灰度值（灰度内插）。,空间坐标变换,实际工作中常以一幅图像为基准，去校正几何失真图像。通常基准图像f(x,y)是利用没畸变或畸变较小的摄像系统获得，而把有较大的几何畸变系统所摄入图像用g(x,y)表示，其畸变形式是多样的。,任意几何失真都可由非失真坐标系(x,y)变换到失真坐标系的方程来定义。方程的一般形式为：,设f(x,y)是无失真的原始图像，而g(x,y)是f(x,y)畸变的结果，这一失真的过程是已知的，并且用函数h1和h2定义。于是有：,几何校正,1已知h1(x,y)和h2(x,y)条件下的几何校正 若我们具备先验知识h1(x,y)、h2(x,y)，则希望将几何畸变图像g(x,y)恢复为基准几何坐标的图像f(x,y)。几何校正方法可分为直接法和间接法两种。直接法：先由 推出，然后依次计算每个像素的校正坐标值，保持各像素灰度值不变，这样生成一幅校正图像，但其像素分布是不规则的，会出现像素挤压、疏密不均等现象，不能满足要求。因此最后还需对不规则图像通过灰度内插生成规则的栅格图像。,图像处理常用插值方法,最邻近插值法设i+u,j+v(i,j为正整数，u,v为大于零小于1的小数，下同)为待求像素坐标，则待求像素灰度的值 f(i+u,j+v)如图所示.如果(i+u,j+v)落在哪个区，则将此区的灰度值赋给待求像素,图像处理常用插值方法,最邻近插值法的问题(nearst neighbour)最邻近元法计算量较小，但可能会造成插值生成的图像灰度上的不连续，在灰度变化的地方可能出现明显的锯齿状。,图像处理常用插值方法,双线性插值法(Bilinear)双线性内插法是利用待求象素四个邻象素的灰度在两个方向上作线性内插，如图所示。,图像处理常用插值方法,对于(i,j+v)有：同理，对于(i+1,j+v)有:对于(i,j+v)和(i+1,j+v)有关于u的线性关系，得,图像处理常用插值方法,图像处理常用插值方法,三次插值法（Bicubic）利用三次多项式S(x)求逼近理论上最佳插值函数sin(x)/x,其数学表达式为：待求像素的值为：三次曲线插值方法计算量较大，但插值后的图像效果最好。,图像处理常用插值方法,其中：,图像处理常用插值方法,几何校正,间接法：设恢复的图像像素在基准坐标系统为等距网格的交叉点，从网格交叉点的坐标（x,y）出发算出在已知畸变图像上的坐标(x,y)，即 虽然点（x,y）坐标为整数，但(x,y)一般不为整数，不会位于畸变图像像素中心，因而不能直接确定该点的灰度值，而只能由其在畸变图像的周围像素灰度内插求出，作为对应像素（x,y）的灰度值，据此获得校正图像。由于间接法内插灰度容易，所以一般采用间接法进行几何纠正。,几何校正,式中N为多项式的次数，aij和bij为各项系数，aij,bij为待定数。,2h1(x,y)和h2(x,y)未知条件下的几何校正 在这种情况下，通常用基准图像和几何畸变图像上多对同名像素的坐标来确定h1(x,y)和h2(x,y)。假定基准图像像素的空间坐标（x,y）和被校正图像对应像素的空间坐标(x，y)之间的关系用二元多项式来表示。,可从基准图像上找出三个点（r1,s1）,(r2,s2),(r3,s3)，它们在畸变图像上对应的三个点坐标为(x1,y1),(x2,y2),(x3,y3)。把坐标分别代入上式，并写成矩阵形式,在这种情况下，通常用基准图像和几何畸变图像上多对同名像素的坐标来确定h1(x,y)和h2(x,y)。当N=1时，可用线性变换表示：,几何校正,几何校正,则可解联立方程或矩阵求逆，得到ai、bi系数，这样h1(x,y)和h2(x,y)确定了，则可用已知h1(x,y)和h2(x,y)的间接法校正几何失真的图像。,图 像 配 准,小结,本节课学习了：图像退化与数学模型 图像复原技术逆滤波复原维纳滤波器噪声模型运动模糊图像的复原几何畸变校正下节课学习图像的分割与特征分析,谢谢聆听!,