1656.人脸图像特征匹配的研究与实现毕业论文.doc

《1656.人脸图像特征匹配的研究与实现毕业论文.doc》由会员分享，可在线阅读，更多相关《1656.人脸图像特征匹配的研究与实现毕业论文.doc（25页珍藏版）》请在课桌文档上搜索。

1、毕业设计题 目 人脸图像特征匹配的研究与实现 学 院 信息科学与工程学院专 业 计算机科学与技术姓 名 学 号 指导教师 助理指导教师 目 录摘 要3ABSTRACT41 引言51.1系统的目的、意义51.2 国内外研究现状、水平及存在的问题52 系统相关理论简介62.1 人脸检测方法概述62.1.1 基于几何特征的识别方法62.1.2 奇异值分解的方法62.1.3 隐马尔科夫模型62.1.4 神经网络方法62.1.5 模板匹配方法72.1.6 特征脸方法72.1.7 弹性图匹配方法72.2 特征匹配方法概述72.2.1 幅度排序相关算法72.2.2 FFT相关算法82.2.3 分层搜索的序贯

2、判别算法82.3 模板匹配算法概述83 系统总体设计103.1 模块设计思想103.2 人脸检测模块103.2.1 图像数据读取与预处理103.2.2 颜色空间转换113.2.3 基于肤色信息的彩色图像分割方法113.3 人脸表征和特征提取模块123.3.1 人脸区域检测123.3.2 眼睛的检测和定位123.3.3 人嘴的检测和定位123.4 人脸识别模块人脸及其主要特征的标定133.5 人脸特征匹配模块人脸模板匹配和投影法134 系统详细设计144.1 图像数据读取与预处理154.2 人脸区域检测164.3 眼睛的检测和定位184.4 人嘴的检测和定位194.5 人脸及其主要特征的标定20

3、4.6人脸模板匹配和投影法205 结论和下一步工作22致 谢23参考文献24附 录25摘 要人脸图像特征匹配是根据人脸检测的结果且在源图像中寻找相应的模式。目前，很多的算法曾经应用于人脸图像特征匹配。人脸是受到多种因素影响的复杂模式，找到一种有效的方法提取人脸的共性特征来描述人脸模式，是人脸特征匹配的关键。在这篇论文中，使用了一种基于模板匹配的人脸图像特征匹配方法。人脸图像特征匹配的任务是在两个不同的背景下根据特征匹配的方法检测出图像中的人脸，并提取出人脸面部图像信息。比如，人脸的眼睛、嘴巴等等。本系统首先利用肤色模型定位一幅真彩色图像的人脸区域，然后利用适当的先验知识来匹配并定位出人脸的眼睛

4、和嘴，最后，通过模板匹配和投影法来匹配显示出人脸模板在源图像当中的位置。模板匹配是指用一个较小的图像，即模板与源图像进行比较，以确定在源图像中是否存在与模板相同或相似的区域，若该区域存在，还可确定其位置并提取该区域。实验结果表明，这种方法比傅立叶分析相关算法、投影方法有许多的优点。关键词：特征匹配，人脸检测，模板匹配，投影Abstract Face Image Feature Matching(FIFM) is based on Face Detection(FD) and the results of the source image for the corresponding model.

5、 At present, many have applied the algorithm face image feature matching. Face is affected by many factors of complex patterns, find an effective method for extracting the face of common characteristics to describe facial patterns, facial features is the key to match. In this paper, using a template

6、 matching based on the facial image feature matching methods. face image feature matching task in two different contexts in accordance with the method of matching images detected the human face, and extract facial image information. For example, face the eyes, mouth and so on. The system model of th

7、e first to use color positioning a true color image of the face region. Then use the appropriate prior knowledge to match the definition and face the eyes and mouth, finally, by template matching and Projection to match showed facial template in which the source image location. template matching ref

8、ers to a smaller images, templates and source images, to determine the source image and the existence of the same or similar template region, if the region, can determine its location and extraction of the region.Experimental results show that this method than the FFT relevant algorithms, projection

9、 method has many advantages. Keywords: Feature Matching, Face Detection, Template Matching, Projection1 引言1.1系统的目的、意义对同一人脸的不同角度观察，在人脸的三维重构、安全检测、人脸识别等方面都有重要应用，而这一研究主要依靠人脸图像的特征匹配。人脸图像特征匹配的任务是在两个不同的角度下根据特征匹配的方法检测出图像中的人脸，并提取出人脸面部图像信息。比如，人脸的眼睛、嘴巴等等。本系统首先利用肤色模型定位一幅真彩色图像的人脸区域，然后利用适当的先验知识来匹配并定位出人脸的眼睛和嘴。最后，根

10、据模板图像（比如，眼睛、鼻子和嘴唇模板）匹配出在人脸图像当中的位置。1.2 国内外研究现状、水平及存在的问题基于BMP格式的人脸图像特征匹配技术是当前人工智能和模式识别的研究热点，是一门崭新的生物识别技术,也是数字图像处理的应用领域之一。早期研究较多的静态人脸识别方法有基于几何特征的人脸识别方法和基于相关匹配的人脸识别方法。目前人脸识别研究的对象基本上都是针对二维灰度图像，除次之外，还有深度人脸图像识别和红外人脸图像识别方法。对于多CCD摄像机系统，可以得到多视点人脸图像，从而可以获得人脸的三维模型，含有三维信息的特征能有效解决人脸在光照、伪装和年龄变化等情况下的识别问题。基于三维建模的人脸识

11、别方法和根据人工智能、模式识别和数字图像处理方面等技术相结合的多幅图像之间的特征匹配是今后人脸识别的一大发展趋势。在过去几年里，许多人脸图像特征匹配方法迅速发展。自从1990年，基于模板匹配的方法表现相当优秀，并且成为人脸图像特征匹配领域最出色的方法之一。目前，许多研究表明，模板匹配在特征匹配中的表现是优秀的。因此，学习一门模板匹配的特征匹配受到很大的吸引。幅度排序相关算法、傅立叶分析相关算法、分层搜素的序贯判别算法是最著名的匹配算法。但这些算法有一些局限性，并且不适合于人脸图像特征匹配。在本篇论文中，使用了一种人脸图像特征匹配方法称为模板匹配。模板匹配是指用一个较小的图像，即模板与源图像进行

12、比较，以确定在源图像中是否存在与模板相同或相似的区域，若该区域存在，还可确定其位置并提取该区域。2 系统相关理论简介2.1 人脸检测方法概述早期研究较多的静态人脸识别方法有基于几何特征的人脸识别方法和基于相关匹配的人脸识别方法。下面介绍几种方法：2.1.1 基于几何特征的识别方法采用的几何特征是人脸器官的形状和几何关系为基础的特征矢量，其分量通常包括人脸指定两点间的欧式距离、曲率、角度等。优点是符合肉眼识别人脸的机理，易于理解；存储量小；对光照变化不太敏感。缺点是：特征不稳定，特别是面相受到遮挡时；鲁棒性较差；忽略了局部细微特征，造成部分信息丢失。2.1.2 奇异值分解的方法该方法与离散变换的

13、思想比较接近但不是从统计角度出发，它将图像矩阵的奇异值作为模式的特征矢量。奇异值分解方法具有如下优点：人脸图像的奇异值具有良好的稳定性，当图像上有小的扰动时，奇异值变化不大；奇异值表示了图像的代数特征，是一种本质的内在特征，在某种程度上，奇异值分解特征同时拥有代数与几何两方面的不变性，即对图像灰度值的比例变化、平移、旋转和伸缩不变性。2.1.3 隐马尔科夫模型该模型是用于描述信号统计特性的一组统计模型。隐马尔科夫模型有三个主要问题：评估、估计及解码。这里关心的是前两个问题。评估用于解决识别问题，一般采取比较有效的“向前向后”法；估计用来产生用于识别的各个单元的隐马尔科夫模型，采取BaumWel

14、ch方法。2.1.4 神经网络方法在人脸识别应用中有很长的历史。典型的方法包括：Kohonen的自联想映射神经网络；Cottrell等人的级联神经网络；Intratar等人的无监督/监督混和神经网络；Lawrance和Giles等人的自组织特征映射神经网络结合卷积神经网络；Lin和Kung的基于概率决策的神经网络；时滞神经网络；多模态的神经网络等。2.1.5 模板匹配方法大多用归一化互相关，直接计算两幅图像之间的匹配程度。要求两幅图像上的目标要有相同的尺度、取向和光照条件，所以预处理要做尺度归一化和灰度归一化的工作。人脸模板可以用一个简单的椭圆模板表示，也可以用一组独立的小模板表示，如眼睛模板

15、、嘴巴模板、鼻子模板、眉毛模板和下巴模板等。但获得模板必须利用各个特征的轮廓，而传统的基于边缘提取的方法很难获得较高的连续边缘，即使得到连续边缘也很难从中自动提取所需的特征量。2.1.6 特征脸方法该方法是从主成分分析导出的一种人脸识别和描述技术。主成分分析实质上是KL展开的网络递推实现。实验表明，特征脸方法受光照、角度和人脸尺寸等因素的影响较大。近年来，据此发展了多种对特征脸的改进方法，应用中较为成功的是Fisher脸方法，又称为线性判别分析方法。其它基于特征脸的人脸识别方法还包括：独立成分分析法、双子空间法、相形歧义分析方法、TPCA方法等。与这些方法相比，Fisher脸方法更为业内人士所

16、接受。2.1.7 弹性图匹配方法该方法是一种基于动态链接结构的方法。它将人脸用格状的稀疏图表示，图中的节点用图像位置的Gabor小波分解得到的特征向量标记，图的边用连接节点的距离向量标记。弹性图匹配方法对光照、位移、旋转及尺度变化都不敏感，但是计算量大，存储量大。后来改进的聚束图匹配方法和弹性图动态链接模型的方法，也没有克服识别率和识别速度的矛盾。2.2 特征匹配方法概述对同一景物的两幅或者多幅图像在空间对准，或者根据已知模式在另一幅图像中寻找相应的模式，这就叫做特征匹配。如果利用不同时间对同一地面拍摄的两幅图像经套准后找出其中那些特征有了变化的像素点，就可以用来分析图中那些部分发生了变化。常

17、用的方法有：2.2.1 幅度排序相关算法这种算法有两个步骤组成，第一步把要处理的图像中的各个灰度值按照幅度大小排序列的形式，然后在对它进行二进制（或三进制）编码，最后根据二进制排序的诸列，把源图像变换成二进制阵列的一个有序集合，这一过程称之为幅度排序的预处理。第二步，依次将这些二进制阵列与基准图像进行由粗到细的相关，直到确定出匹配点为止。2.2.2 FFT相关算法由傅立叶分析中的相关定理可知，两个函数在定义域中的卷积等于它们在频域中的乘积，而相关则是卷积的一种特定形式。因此，存在着另一种计算相关函数的方法，但是这样做在时间上并没有多少可取之处，但由于快速傅立叶变换技术比直接法计算速度提高了一个

18、数量级，因此用FFT进行频域相关计算也是一种可行的方法。2.2.3 分层搜索的序贯判别算法这种分层搜索算法是直接基于人们先粗后细寻找事物的惯例而引出的。例如，在世界地图上找北京的位置时，可以先找出中国这个广阔的地域，称之为粗相关，然后在这个地域内，再仔细确定北京的位置，这叫做细相关。所以由这种思想形成的分层搜索算法具有相当高的处理速度。它有两个步骤组成。第一步，预处理。对被匹配的图像进行分层预处理，方法是将图2*2维的邻区逐个进行平均处理。从而得到一个分辨率较低和维数较小的图像，依次类推。加上源图像后便可构成一组分辨力由高到低而维数由大到小地图像序列。这种方法叫分层预处理。用同样的方法对匹配图

19、像进行预处理。第二步，先粗后细的相关过程。先用分辨率最低维数最小的源图像和匹配图像进行相关匹配找到粗略匹配位置，然后用上一级的源图像和匹配图像在先前确定的匹配位置附近进行二次相关匹配，再次确定一个匹配位置，然后再用再上一级的源图像和匹配图像，直到进行到原来的源图像和匹配图像为止。2.3 模板匹配算法概述模板匹配是指用一个较小的图像，即模板与源图像进行比较，以确定在源图像中是否存在与模板相同或相似的区域，若该区域存在，还可确定其位置并提取该区域。模板匹配常用的一种测度为模板与源图像对应区域的误差平方和。设f(x,y)为M*N的源图像，t(j,k)为J*K(J=M,K5则进行亮度补偿，计算待检测图

20、像中各点的R、G、B分量的平均值mR，mG，mB，方差sR，sG，sB。对待检测图像中的每一点A，令RA，GA，BA分别表示点A补偿前的R、G、B值，RAC，GAC，BAC分别表示补偿后的R、G、B值，则其颜色补偿可表示为公式(1)(3)：RAC= RA+(mR-mR)*( sR/sR) (1)GAC= GA+(mG-mG)*( sG/sG) (2)BAC= BA+(mB-mB)*( sB/sB) (3)这里进行的亮度补偿是全局性的，考虑到实验室背景下光照条件的变化一般是比较均匀，因此这种全局性的亮度补偿时可以达到较好的补偿效果。图像进行光线补偿处理前后的结果如图4-3所示：图4-3 光线补偿

21、处理前后的图像在光线较暗的情况下，经过光线补偿后的图像跟正常光照条件下的图像效果一致。4.2 人脸区域检测人脸区域检测主要由肤色建模、区域膨胀、腐蚀、去掉非脸区域、再次膨胀、再次腐蚀、获取人脸区域几部分处理构成，这些处理过程要按照先后顺序依次进行。肤色的建模在类CFaceDetectionDoc中的FaceModeling()函数中实现。肤色建模完成的主要处理为将图像转换到YCrCb颜色模型，并对其进行色彩的非线性变换，根据先验的肤色特征（本系统采用的基准的Cr、Cb的值分别为158.442和122.453）提取肤色区域，并将其区域置为白色，其余区域置为黑色。再次膨胀的方法是拿一点的原点和人脸

22、上的点及周围的点一个一个的对比，如果一点上有一个点落在人脸的范围内，则该点就为黑，否则为白。再次腐蚀的方法是拿一点的原点和人脸上的点一个一个的对比，如果一点上所有的点都在人脸的范围内，则该点保留，否则将该点去掉。人脸区域检测处理流程图如图4-4所示：预处理后的图像数据人脸颜色建模人脸粗区域膨胀和腐蚀处理去掉非人脸区域再次膨胀和腐蚀处理定位等人脸区域定位图4-4 人脸区域检测处理流程图最终人脸区域的检测与标定结果如图4-5所示： (a)再次膨胀的结果 (b)再次腐蚀的结果 (c) 最终人脸区域标定结果图4-5 最终人脸区域的检测与标定结果再次膨胀的结果包括人脸的所有范围，且比人脸包含的点要多，就

23、像人脸膨胀了一圈似的。再次腐蚀的结果仍在原来人脸的范围内，且比人脸包含的点要少，就像人脸被腐蚀了一层。4.3 眼睛的检测和定位眼睛的检测和定位主要由眼睛的匹配、去掉非眼睛区域、膨胀眼睛区域、定位人眼中心点几部分处理组成，这些处理过程要按照先后顺序依次进行。眼睛的色度匹配在类CFaceDetectionDoc中的EyeMapC()函数中实现。关于眼睛的色度匹配，根据先验知识，参考的Cr、Cb的值分别为150和100，通过设定门限选取门限内的像素点为目标区域。眼睛的亮度匹配在类CFaceDetectionDoc中的EyeMapL()函数中实现。关于眼睛的亮度匹配，根据先验知识，参考的Cr、Cb的值

24、分别为110和130。眼睛的检测和定位处理流程图如图4-6所示：预处理后的图像数据眼睛的色度和亮度匹配眼睛的双重匹配去掉非眼睛区域等膨胀眼睛区域定位人眼中心点图4-6 眼睛的检测和定位处理流程图最终眼睛中心的标定结果如图4-7所示：(a)色度匹配的结果 (b)亮度匹配的结果 (c) 最终眼睛中心的标定结果图4-7 最终眼睛中心的标定结果 在正面角度和正常的光照条件下基本能准确的定位眼睛的中心。4.4 人嘴的检测和定位人嘴的检测和定位主要由嘴巴的匹配、腐蚀出嘴巴区域、去离散点、定位嘴巴中心点几部分处理组成，这些处理过程要按照先后顺序依次进行。嘴巴的匹配在类CFaceDetectionDoc中的F

25、unctionMouseMap()函数中实现。嘴巴的匹配，根据先验知识，参考的Cr、Cb的值分别为157和100。人嘴的检测与定位处理图如图4-8所示：预处理后的图像数据嘴巴的定位先做人脸区域检测腐蚀出嘴巴区域去离散点定位嘴巴中心点 图4-8 人嘴的检测与定位处理图最终人嘴中心的定位结果如图4-9所示：(a)嘴巴匹配的结果 (b)腐蚀嘴巴的结果 (c) 最终人嘴中心的标定结果图4-9 最终人嘴中心的定位结果 由于人嘴和手的红色分量、蓝色分量和亮度值基本一致，导致了只通过肤色的信息很难直接识别出来，还需要通过和人脸一块才能准确地定位人嘴的位置。4.5 人脸及其主要特征的标定经过前面的处理，已经提

26、取了人脸的区域，定位了人眼的中心和嘴巴的中心，接着就可以在原始图像上对检测结果进行标注。在类CFaceDetectionDoc中的EllipseFace()函数中实现。结果将人脸区域用矩形框标出，并将双眼的中心和嘴巴的中心用三角连接。最终勾绘结果如图4-10所示：图4-10 最终勾绘结果 首先，必须完成前面每项的工作才能进行这一项操作，这项操作基本能满足系统所需的要求。4.6人脸模板匹配和投影法模板匹配中匹配测度R采用归一化互相关法，模板匹配算法通过在文件“function.h”中编写函数TemplateMatch()实现。其主要步骤如下：首先，将要显示的目标区像素初始化为灰白色。其次，找到图

27、像中最大的相似性的坐标位置。最后，将模板图像的内容复制到要显示的区域。投影法在文件“function.h”中编写函数Project()实现。其主要步骤如下：首先,如果图像不是二值图像，则强行转换为二值图像。其次，进行水平方向和垂直方向投影。最后，复制区域生长后的图像，并释放内存。 最终模板匹配结果如图4-11所示：(a)模板匹配源图像 (b)模板匹配模板图像 (c)最终模板匹配结果图4-11 最终模板匹配结果最终投影法结果如图4-12所示：(a)投影匹配源图像 (b)水平方向投影结果 (c)垂直方向投影结果图4-12 最终投影法结果经过模板匹配显示模板图像在源图像当中的位置。投影法则显示在横轴和纵轴上的投影。图像的大小一般为4的整数倍，以便能正确的显示操作的结果。5 结论和下一步工作设计得到了正确的结果，经过本次毕业设计，是我真正有机会对大学期间所学的知识进行了系统的总结，从系统的总体设计到最后的编程实现，都是在老师的指导下，一点一点独立完成，由于题目的关系，设计中涉及到了多方面的知识，比如，特征匹配、人脸检测、模板匹配、投影方法、傅立叶分析相关算法等许许多多实际的问题，经过不断的分析和一次次的调试，最终实现了系统的基本目标。本篇论文在人脸图像特征匹配领域使用了一种特征匹配方法叫