基于边界Fisher分析的人脸表情识别算法研究分析计算机科学与技术专业.docx

目录摘要1前言3第一章绪论41.1 研究背景及意义41.2 人脸表情识别方法概述41.2.1 基于几何特征的识别算法51.2.2 基于外貌特征的识别算法61.3 本文主要工作71.4 本文组织结构7第二章相关知识回顾92.1 线性判别分析92.2 局部FiSher判别分析92.3 边界Fisher分析102.4 本章小结12第三章稀疏边界Fisher分析算法133.1 算法的目标函数133.2 计算复杂度约减143.3 投影矩阵的稀疏化143.4 数据分类163.5 仿真实验163.6 本章小结17第四章基于稀疏边界FiSher分析的人脸表情识别184.1 人脸表情数据集184.2 实验结果分析204.2.1 JAFFE数据集上的实验204.2.2 在CK+数据集上的实验234.2.3 在GEMEP-FERA数据集上的实验24244.2.4 统计检验4.3 本章小结25第五章总结与展望5.1 本文总结5.2 后续工作展望参考文献26262728错误!未定义书签。错误!未定义书签。本科学习期间的研究成果致谢人脸表情识别已经成为计算机视觉和模式识别等领域的热点课题之一。人脸表情识别的主要工作是首先使用一组被标记的面部表情训练图像来建立模型，然后使用该模型来识别未知人脸图像中的表情。简单地说，人脸表情识别问题大致分为两个步骤：特征提取和识别分类。使用有效的面部图像特征提取方法来描述表情特征是构建自动面部表情识别系统的主要任务。子空间学习方法是一种经典的特征提取方法，该类方法能够从存在大量冗余信息的高维数据中提取有效的判别信息。本文从降维算法的有效性出发，研究适用于人脸表情特征的子空间学习算法。本文研究了常用的经典子空间学习方法，并提出了用于人脸表情识别的稀疏边界Fisher分析(SParSeMarginalFisherAnalysis,SMFA)算法。该算法在边界Fisher分析算法的基础上引入稀疏性，从而能获得一个稀疏的投影矩阵。类似于边界FiSher分析算法，SMFA计算类内离散度矩阵和类间离散度矩阵，用来分别描述相同类之间的几何结构和不同类之间的局部判别结构。与边界FiSher分析不同的是，为求得投影矩阵，SMFA要去除总离散度矩阵包含的零空间。由于投影矩阵的稀疏性能够减少后续投影过程中的计算量，同时也能够减少投影矩阵的存储空间且能够提高模型的泛化性能，本文使用线性Bregman迭代算法来求得稀疏投影矩阵。在JAFFE、CK+和GEMEP-FERA表情数据集上的大量实验证明了本文所提出方法的有效性。关键词：人脸表情识别；特征提取；边界FiSher分析；稀疏学习；线性Bregman迭代AbstractFacialexpressionrecognitionhasbecomeoneofthehottopicsinthefieldsofcomputervisionandpatternrecognition.Themainjoboffacialexpressionrecognitionistomarkuntaggedtestimageswithasetofmarkedfacialexpressiontrainingimages.Simplyput,thetaskoffacialexpressionrecognitioncanberoughlydividedintotwosteps:featureextractionandrecognitionclassification.Usingeffectiveandefficientfacialimagedescriptionmethodstoextractexpressionfeaturesisthemaintaskofconstructingautomaticfacialexpressionrecognitionsystems.Subspacelearningisonekindofclassicalmethodsfordimensionreduction.Subspacelearningmethodscanextracteffectivediscriminantinformationfromhigh-dimensionaldatawithalargeamountofredundantinformation.Thisthesisfocusesontheeffectivenessofdimensionreductionalgorithmandstudiessubspacelearningalgorithmsforfacialexpressionrecognition.Thisthesisconsiderscommonlyusedclassicalsubspacelearningmethods,andproposessparsemarginalFisheranalysis(SparseMarginalFisherAnalysis,SMFA)algorithmforfacialexpressionrecognition.SMFAintroducessparsityintoMFAandcanobtainthesparseobjectionmatrix.SimilartomarginalFisheranalysis,SMFAdefinesintra-classadjacencymatricesandinter-classadjacencygraphs,whichareusedtodescribethegeometricstructureofdatainthesameclassandthelocaldiscriminantstructureofdataamongdifferentclasses,respectively.Andinordertoimprovethegeneralizationperformanceoftheobtainedmodel,thelinearBregmaniterationalgorithmisutilizedtoobtainthesparseobjectionmatrix,whichisdifferentfrommarginalFisheranalysis.ExperimentalresultsonJAFFE,CK+,andGEMEP-FERAexpressiondatasetsdemonstratetheeffectivenessoftheproposedmethod.Keywords:FacialExpressionRecognition;FeatureExtraction;MarginalFisherAnalysis;SparseLearning;LinearBregmanIteration由于面部表情识别在心理学、谎言检测、人机交互、电子娱乐和精神病理学分析等各个领域具有广泛的应用场景，它已成为模式识别及情感计算领域一个非常活跃和关键的研究课题。经过几十年的研究发展，人脸表情识别领域的研究已经初具规模，目前大量的识别方法已经被提出并得到了广泛的应用。已有的人脸表情识别算法大致可以分为两类:基于几何特征的学习方法和基于外貌特征的学习方法两类。大量的研究表明，基于几何特征的方法因其识别准确度依赖于面部部位的精准定位1,8,其识别效果要劣于基于外貌特征的学习方法子空间学习方法在基于外貌特征的识别方案中应用广泛，该类算法能够从存在大量冗余的高维数据中提取有效且维度较低的判别信息。人脸表情识别方案中常用的子空间学习方法有线性判别分析、局部线性判别分析、边界FiSher分析等。本文以基于人脸表情图像的识别方法为主要研究对象，分析对比了大量已有的人脸表情识别算法，尤其是基于人脸表情图像的识别方案中常用的子空间学习方法。本文向边界FiSher分析算法引入稀疏性，并提出了一种新的稀疏子空间学习方法，即稀疏边界Fisher分析算法。在JAFFE、CK+、GEMEP-FERA表情数据集上进行了实验，分析对比实验结果，验证了本文提出的稀疏边界FiSher分析算法的有效性。第一章绪论本章首先简述了人脸表情识别技术的研究背景及意义，其次对已有的人脸表情识别方法进行简单的分类概述，然后对本文的主要工作内容以及创新点进行阐述，最后介绍了本文的组织结构。1.1 研究背景及意义随着计算机技术的进步，人工智能和模式识别得到了长足的发展，在互联网等产业应用的推动下，生物识别成为研究的一个热点。生物识别包括人脸识别、虹膜识别、指纹识别、语音识别、签名识别、步态识别、表情识别等多个领域，这些技术已经广泛应用于社会生活的方方面面，在使用科技促进便捷人们生活的过程中发挥着越来越重要的作用。面部表情识别(FaeialEXPreSSionReCOgnitiOn,FER)作为生物识别的一种，在心理学、谎言检测、人机交互(HUman-COmPUterImeraCtiOn,HCI)和精神病理学分析等各个领域有着广泛的应用场景，已经成为人工智能领域一个非常活跃和关键的研究课题1,21。表情是人类表达各种情感(如欢喜、悲伤、愤怒等)的主要方法，它和自然语言一起传递信息，具有重要的研究价值。人脸表情是一种复杂的肌肉运动，每种表情都是人面部44块肌肉共同运动的组合，想要使用一个确切有效的数学模型来描述表情具有一定的困难性和复杂性。人脸表情识别的主要工作是使用一组被标记的面部表情训练图像建立模型，使用该模型识别未知人脸图像中的表情。使用有效的面部图像特征提取方法来描述表情特征是构建自动面部表情识别系统的主要任务。本文聚焦于表情识别中的特征提取方法,主要研究子空间学习方法在表情特征提取中的应用。1.2 人脸表情识别方法概述在表情图像的特征提取方面，图像特征的描述方法可以大致分为两大类1,其中一种是基于几何特征的学习方法，另一种是基于外貌特征的学习方法。基于几何的方法通过描述面部几何结构来完成识别任务，面部几何结构即一系列显著的基准点组成面部部位的形状，如眼睛和嘴巴的边缘。使用基于几何的方法进行特征提取存在一个不能忽视的问题，即这些方法的识别性能主要取决于面部部位的准确检测，而这在构建自动表情识别系统的过程中是非常不稳定和不可靠的1O最近对FER的研究表明，基于外貌特征的方法比基于几何特征的方法更强大，可以达到更高的识别精度6,7。基于外貌特征的表情识别方法通过人脸面部纹理进行识别，在该类方法中，大多数的研究集中在子空间学习算法邻域10,13,14,18。下面对基于几何特征的识别方法和基于外貌特征的识别方法分别进行介绍。1.2.1 基于几何特征的识别算法基于几何特征的识别方法使用一组面部基准点来表示面部部位的形状和位置。因为人类的面部表情主要集中在嘴部、眼部、眉部、鼻部等部位，基于几何特征的识别方法需要用基准点来描述出这些部位的边缘以达到表示表情的目的。这些标记出来的基准点被用来提取特征矩阵，用来表示面部几何形状。活动外观模型(ACliVeAppearanceModel,AAM)和Ekman的面部动作编码系统(FaCiaIACtiOnCOdingSyStem,FACS)3,5是两种最典型的基于几何特征的学习方法。AAM建立了一种对目标对象变化程度的参数化描述，这种方法首先从给定的训练集中提取对象的模型，再对模型通过某种规则进行组合形成新的对象。这种机制能在新图像中搜索定位既定目标，并用较少的参数对新对象进行描述。FACS基于44个面部动作单位(ACtionUnit,AU)4,面部动作可以粗略地解释为人类面部肌肉运动的最小可见单位。这44个基本动作单元可以用来描述几乎所有人脸面部活动，也就是说，所有的人脸活动都可以用单个或者一组动作单元来表示。为了得到针对表情形状的运动单元，Ekman等人又提出了FACS的变体表情面部编码系统(EmOtionFACS,EFACS)口，通过将FACS编码转化成EFACS编码，可以更方便地针对特定的表情(如愤怒、喜悦等)进行动作编码40,42。近几年，表情识别研究以表情图像视频序列作为研究对象，利用表情帧之间变化的时序信息帮助进行识别。Robert等人提出了状态可变的潜条件随机场模型43用于表情识别。该算法基于FACS提供的动作编码，以不同帧图像的动作编码训练条件随机场模型。AbbaSnejad等人提出了稀疏高斯条件随机场44,在高斯条件随机场的基础上，使用交替方向乘子算法(AltematingDirectionMethodOfMultipliers,ADMM)算法来解决目标函数问题。122基于外貌特征的识别算法在基于外貌特征的表情识别方法中，目前大多数的研究集中在子空间学习算法领域13,14。由于面部图像常常被表示为高维向量，而高维数据中的某些测量变量是冗余的，它们对于理解潜在的特征相关信息是无用的，因此降维便成为面部表情识别中至关重要的任务21。为了便于原始数据的可视化和解释，降维算法将原始高维特征空间中的数据投影到一个保存有用信息的低维表情图像子空间中。常用的方法包括主成分分析法(PrincipalComponentAnalysis,PCA)11,12,22>局部保留投影算法(LocalityPreservingProjection,LPP)16,17和线性判别分析算法(LinearDiscriminantAnalysis,LDA)19,20,230PCA和LDA都是在面部表情识别中广泛应用的两种降维方法。PCA是一种无监督的方法，通过寻求具有最大方差的原始变量的几个正交线性组合来完成降维任务。Zou等人提出的稀疏主成分分析(SParSePrincipalComponentAnalysis,SPCA)30是PCA算法的一个变体，使用LaSSO来生成稀疏主成分。与PCA相比，LDA是一种有监督的方法。该方法尝试最大化不同类间距与相同类间距之间的比率。LDA的核心思想很简单，即同一类的样本应该集中在一起，而不同类的样本在低维表示中应该尽可能地远离。LDA在FER中的应用受限于以下两个原因。一个是样本空间的维数在理论上比训练集中的样本数量大得多，即所谓的小样本量(SmanSCaIeSamPle,SSS)问题24,这增加了实现鲁棒和快速识别的困难。另一个是LDA进行特征提取的关键在于同类别间距和不同类别间距之间的鉴别能力，这使得只有在每个类的数据大致为高斯分布时解才是最优的25。为了克服LDA的局限性，有许多LDA方法的变体被提出，如空间LDA26,LDA/GSVD27和LDA/QR28,除此以外，Qiao等提出了稀疏线性判别分析(SParSeLinearDiscriminantAnalysis,SLDA)29算法来提取医学和生物分析数据中的特征。王等人提出稀疏局部Fisher判别分析(SParSeLocalFiSherDiSCriminamAnaIySiS,SLFDA)21识别面部表情，通过从局部Fisher判别分析(LocalFisherDiscriminantAnalysis,LFDA)的解决方案中找到？1最小化问题的最优解来获得稀疏方案，从而获得更好的识别效果。Yan等人提出的边界FiSher分析(MarginaIFiSherAnaIySiS,MFA)25,通过使用图嵌入框架作为提取特征的平台，以此来提取特征。在MFA中，设计了两种图来表示相同类别样本之间的紧凑性和不同类别样本之间的分离性。该方法可用投影方向的数量比LDA大得多，克服了LDA可用投影方向的数量少于类别数量的限制。除此之外，对于MFA中的数据分布不需要先验假设，这使得它在现实应用场景中比LDA更可靠。1.3 本文主要工作稀疏学习已被证明是通过从高维数据获得高度可解释性的模型，从而有效实现降维任务的有力工具。另外，由于稀疏投影矩阵减少了计算量，可以更加有效地存储,这使得稀疏学习方法在构建自动识别系统时更加强大和实用。本文尝试将稀疏化引入到MFA中，并提出稀疏MFA算法（SParSeMarginaIFiSherAnalySiS,SMFA）。类似于MFA,SMFA定义了类内邻接图和类间邻接图，分别描述相同类之间的几何结构和不同类之间的局部判别结构。SMFA算法的稀疏解可以通过使用线性Bregman迭代求解得到。最后在JAFFA、CK+>GEMEP-FERA面部数据库上进行了仿真实验，基于不同的面部图像子集分析对比了实验结果，实验结果表明，SMFA可以有效提取图像的本质特征，具有比MFA更好的判别能力。本文完成的主要工作及创新点有：（1）对现有人脸表情识别方法进行分类介绍，分析对比现有方法的优缺点。（2）介绍了人脸表情识别方案中常用的子空间学习方法，阐述各方法的具体过程,并分析其优缺点。（3）提出了一种新的稀疏化MFA方法，使用线性Bregman迭代来稀疏化MFA,得到投影矩阵，并分析介绍其具体流程。（4）在JAFFE、CK+和GEMEP-FERA人脸表情数据库上的大量实验验证了稀疏边界Fisher分析算法的有效性，并对实验结果进行了详细的分析对比。1.4 本文组织结构本文一共分为五章，各章内容安排如下：第一章为绪论，介绍了人脸表情识别的研究背景及意义、经典的人脸表情识别方法、本文的主要工作以及本文的组织结构。第二章回顾了人脸表情识别中常用的特征提取算法，详细分析了这些方法。第三章提出了基于稀疏边界Fisher分析的人脸表情识别算法，并详细地介绍了算法的原理。第四章是实验与分析。本文在JAFFE、CK+和GEMEP-FERA面部数据库上进行了仿真实验，比较了各降维算法的优缺点，验证了基于稀疏边界分析的人脸表情识别方法的有效性。第五章总结全文，并提出未来工作的展望。第二章相关知识回顾人脸表情识别问题大致分为两个步骤：特征提取和识别分类。本章主要介绍和本文提出方法相关的特征提取算法，包括线性判别分析算法、局部FiSher判别分析算法和边界FiSher分析算法。2.1线性判别分析线性判别分析算法的目标是根据Fisher准则寻找到有判别能力的特征，具体的方法是在最小化类内距离的同时最大化类间距离。假设我们有一个由几个样本组成的集合：(孙)隹1，其中项脓°，1,2,c,%是样本Xi的标签，n是样本的总数，。是样本的维度，C是样本所属类别的个数。类内离散度矩阵SW和类间离散度矩阵必分别定义如下：SW=i=xjexl(Xj-(Xj-miy(2.1)Sb=f=ni(mi-m)(mi-m)(2.2)其中Wii是第i类的样本均值，m是所有数据的均值，Xi是第i类的样本集合，是属于第i类样本的个数。线性判别分析通过最大化如下的Fisher准则函数来寻求最佳投影矩阵：I/VfvCvopt=argm,XE3)上述的优化函数等价于如下的广义特征值问题：Sbvi=iSwvi(2.4)其中；Ii是对矩阵SWTSb进行特征分解后得到的特征值，%是对应的特征向量，取前d个最大的特征值对应的特征向量组成投影矩阵V=vlfv2,vdo2.2 局部Fisher判别分析假设我们有一个由几个样本组成的集合：(九%)之1，其中冗i财，1,2c,%是样本Xi的标签，ri是样本的总数，。是样本的维度，C是样本所属类别的个数。在局部FiSher判别分析中，局部类内离散度矩阵SW和局部类间离散度矩阵S丛分别定义如下：Siw=il=W货®巧)(项一巧)丁(2.5)SIb=il=Wl(xi-xjXxi-XjY(2.6)其中和Wg是九×几的权重矩阵:w" 0,如果出巧属于第k类 其他Ati (ln-lnk) ,其他,如果阳,U属于第k类(2.7)(2.8)其中人是属于第k类的样本的个数，4,是一个建立在局部启发上的样本勺和巧的近似值，Aij=exp(-阳-巧/小力),其中/=H爸-项叫I是样本项的局部衡量,X悭)是修的士近邻样本。局部FiSher判别分析的目标函数定义如下：=argmaxtr(VShV)tr(VSlwV)(2.9)其中tr()是一个求矩阵迹的函数。通过拉格朗日乘数法，公式(2.9)可以被转换成一个广义特征值问题：Slbq=ASlWl¼i=lf2,.fd(2.10)其中A是对矩阵ShVTSlb进行特征分解后得到的特征值，七是对应的特征向量，取前d个最大的特征值对应的特征向量组成投影矩阵V=vlfv2f.fvd.2.3 边界Fisher分析由于LDA中的类间分散度不能有效地表示不同类别数据的可分离性，所以MFA设计了一个新的标准，分别表示类内紧凑性和类间分离性12叫假设我们有一个由几个样本组成的集合：(巷,%)匕P其中项脓°,%1,2,.,c,%是样本爸的标签,n是样本的总数，O是每个样本的维度，C是样本所属类别的个数。MFA定义了类内邻接图和类间邻接图，分别描述相同类之间的几何结构和不同类之间的局部判别结构。类内邻接图定义如下：(2.11)类间邻接_(1,如果xl成(Xj)OrXj(xl)ij"(0,其他其中j成(巧)表示在Xj的k近邻中，并且xi和巧在相同的类中。图定义如下：(1.12)Fo=JL如果勺W阪(勺)。丁Xj阪(爸)ij(0,其他其中勺7(巧)表示勺在Xj的k近邻中，并且阳和Xj在不同的类中。MFA定义了类内离散度矩阵和类间离散度矩阵来利用相同类中的局部相似信息和不同类中的边界判别信息，有效地保留了信息的集合结构。MFA中的类内离散度矩阵定义如下：(p)=WIipi-PHIl2Ptj=2PXLwXP(2.13)其中XK0XN是样本矩阵，拉普拉斯矩阵LW=DW一产W,DW是一个对角阵并且琮=Ej喟。对应的，MFA的类间离散度矩阵定义如下：(P)=0IlPxi-PxiIl2喀=2PXLbXP(2.14)其中拉普拉斯矩阵4=Db-FDb是一个对角阵并且DM=羽喀。MFA算法的思想是让相同类中的样本在投影子空间中尽量靠近，并且不同类中的样本在投影子空间中尽量远离。因此，MFA算法的目标函数可以定义为：(2.15)能够被转化成如下的广义特征值函数:XLbXpi = iXLwXpi(2.16)其中A是求解(2.16)得到的广义正特征值，Pi是对应的特征向量。假设A>>r>0,p1,p2f.fpr是对应的特征向量,那么矩阵P=p,p2,.,prn就是MFA算法求得的投影矩阵，其中m是预定义的特征值个数目mVr。2.4本章小结本章详细介绍了人脸表情识别方案中常用的降维方法，是本文的基础工作。首先介绍了线性判别分析算法的原理，然后介绍了线性判别分析算法的变体，局部线性判别分析算法和基于边界Fisher分析的降维算法。第三章稀疏边界FiSher分析算法大量研究表明稀疏学习是可以降低计算量并且有效实现降维任务的有力工具，本文在MFA的基础上提出了一种新的稀疏子空间学习方法，即稀疏MFA算法(SParSeMarginalFisherAnaIysis,SMFA)O本章将详细阐述SMFA算法的原理。3.1 算法的目标函数根据公式(2.15),MFA提取的判别特征依赖于类内离散度矩阵XLWXT和类间离散度矩阵XLbX7。类内离散度矩阵和类间离散度矩阵都可能包含总体离散度矩阵St=XaW+Lb)二，的零空间45。21,39中的研究表明总体离散度矩阵St中的零空间不能有助于提升判别能力，并且是可以去除的。因此，本文在提出的识别方案中沿用了这样的思想，去除总体离散度矩阵St中的零空间以得到新的投影矩阵。假设样本训练集为(4)匕,其中Xi咿,yi1,2,c,%是样本Xi的标签，n是样本数，D样本的维度，c不同的类别数。定义子空间的大小为m,投影矩阵PRd×wio假设矩阵St能够按如下公式分解：(3.1)St=AAAr其中=diag(1,2/1)，Aj>O,i=1,2,.,r,丁=rank(SJ,A=1,2,ar脓。Xr是由矩阵配的r个最大的正特征值对应的特征向量组成的矩阵。通过矩阵4我们可以去除矩阵XLWXT和XLbXT中包含的矩阵St中的零空间。因此，SMFA算法的目标函数为：(3.2)pT(4X几Tl)P111PPt(AtXLwXtA)P其中X肽ox"是由训练样本组成的矩阵，及11FM是类间拉普拉斯矩阵，几脓nxn是类内拉普拉斯矩阵，4脓DXr是由分解St=XaW+4*7*得到的非零特征值对应的特征向量组成的矩阵。令瓦=AXLbXAS=AtXLwXtA,矩阵P能够通过解决下面的广义特征值问题得到：(3.3)bPi=入再Pi其中A是对矩阵(五;)耳进行特征分解后得到的特征值，Pi是对应的特征向量，取前m个最大的特征值对应的特征向量组成投影矩阵P=plfp2,pm3.2 计算复杂度约减由于样本的维度通常非常大，这使得了直接计算0X。矩阵St的特征值有一定的难度15。出于减少计算量的考虑，我们需要优化计算矩阵4的效率。我们通过公式(2.11)和(2.12)来分别得到类内邻接图和类间邻接图。定义全局邻接图Ft=Fb+F叱拉普拉斯矩阵工£=加-尸，加是对角矩阵并且加矩阵的元素由DQFfj得到。15中的谱图理论表明矩阵a是对称的并且是正定的，该矩阵能够用如下的公式进行分解：Lt=QtAtQ/(3.4)其中Qt是一个正交矩阵并且人是G的特征值矩阵。因此矩阵另可以被改写为：St=XLtXT=XQttQtX=HtHtT(3.5)我们可以通过如下公式来计算”Ht=XQNh(3.6)假设矩阵Ht的奇异值分解结果为：Ht=AtM(3.7)其中4是Ht的左奇异向量矩阵,4是Ht的奇异值矩阵,M是矩阵Ht的右奇异向量矩阵。通过对矩阵Ht进行奇异值分解，因为矩阵乩DVnn的大小显著小于矩阵另，我们能够得到一个更高效的方法来获得特征向量矩阵4。3.3 投影矩阵的稀疏化下面对投影矩阵P进行稀疏化，我们能够通过解决如下最优化问题来得到稀疏化的投影矩阵:吁IlVIl1t.AV=P(3.8)其中IlPIIl=2=%表示心范数。公式(3.8)能够被转变成如下的基追踪问题：K*=minIlV1:AV=P(3.9)kkm我们使用线性Bregman迭代35来解决这个基追踪问题，该算法被认为是解决(3.7)的最优算法之一31,32,33,34,36,37,38。线性Bregman迭代算法在本识别方案中被拓展来解决最优化问题公式(3.8),该迭代定义如下：(Bk+1=Bk-A(ArVk-Py)Vk+1=(Bk+1)其中3°=P=O,f>0和>0是两个自定义的参数，&(B)=&(%)/公式(3.11)展示了计算&(B)的方法。通过公式(3.10)的计算，我们能够得到稀疏投影矩阵Fk+1o算法3.1展示了SMFA算法的步骤。0Bijsgn(%)(%r)/fBij(3.11)算法3.1稀疏边界FiSher分析Input:由训练集中图像组成的矩阵X=%,%2,11，标签矩阵丫=(71，为，%，其中%是样本期的标签，n是样本的个数，和是线性Bregman迭代算法的参数，阈值式。0)。Output:SMFA算法的投影矩阵V*1 .根据公式(2.11)(2.12)计算类内邻接图1和类间邻接图Fb2 .根据公式(3.6)对矩阵力进行奇异值分解3 .计算及=AXLbXA,冗>AtXLwXtA4 .由解决广义特征值问题(3.2)得到矩阵P5 .定义B°=V°=0,V=AP9重复下面的计算直到收敛：(1)通过公式(3.8)计算外+1(2)如果HArVk+1-Pf<£,停止迭代6 .V4=Vk+i3.4 数据分类假设矩阵T是将X投影到子空间后得到的投影结果，X可以由下列公式计算得到:X=V*T(3.10)我们使用欧氏距离来度量投影之后的测试样本与各训练样本之间的距离。假设x,=xflf.fxrm是X'中的一个投影之后的样本，给定测试样本N=z,t则我们可以通过如下公式计算两个样本之间的欧氏距离：或匕0=1(%;-zfiy(3.i)最后，我们使用最小距离准则对炉进行分类，如果：r=argrnind(zxjc)(3.12)则，属于第r类。3.5 仿真实验为了评估SMFA学习到的子空间投影效果，我们分别生成包含两类和三类高斯分布点的两个人工数据集。数据集中的每个类包含100个数据点，这I(X)个数据点的分布由随机高斯点生成算法得到。我们使用六种算法，包括局部保持投影算法(LPP)、LFDA算法、SLFDA算法、LDA算法，MFA算法和SMFA算法分别对上述两个人工数据集进行学习，得到投影矩阵。利用投影矩阵，我们将二维数据点投影到一维子空间中。在人工数据集1中，我们生成两个不同类别的高斯分布点组，表示两类数据点，两类数据点的类内距相同，中心点分别在63,3)和(3,3)。图3.1(a)展示了六种算法对两类高斯分布数据进行降维的效果。从图3.1(a)中可以看到，所有六种算法都可以将两类数据点有效地投影到一维子空间中，获得良好的类间分离性。在人工数据集2中，我们生成三个不同类别的高斯分布点组，三类数据点的类内距相同，中心点分别在(-4,-5),(0,0)和(4,5)。以进一步评估各算法的类别判别效果。图3.1(b)展示了六种算法对三类高斯分布数据进行降维的效果。显然，SMFA具有最佳的类别判别性，MFA和LDA其次。(a)人工数据集1(b)人工数据集2图3.1六种算法在两个人工数据集上的降维效果为了更明确地说明算法的有效性，我们使用六种算法分别在两个不同的人工数据集上重复五次实验，分别计算投影后数据点的类间散度与类内散度之间的比率，取平均结果。比率越大，则类别区分和判别性能越好。平均比率和标准偏差如表3.1所示，其中“无”是指投影之前两个数据集上比率的情况。由表3.1中的结果可知，SMFA在上述算法中拥有最佳的判别力。表3.1人工数据集上类间离散度和类内离散度的平均比率人工数据集I人工数据集2无2.7902±0.05033.2414±0.1176LDA4.6757±0.23025.0307±0.2016LFDA4.3866±0.16324.7884±0.1811LPP4.4747±0.14774.7758±0.2146SLFDA4.3930±0.21984.0905±0.2595MFA4.7191±0.26355.0462±0.2530SMFA4.7476±0.25455.1348±0.24153.6 本章小结本章首先详细介绍了稀疏边界FiSher分析算法的目标函数，然后讨论了稀疏边界FiSher算法的复杂度约减并提出了一种简化运算方法，其次介绍了投影矩阵的稀疏化,接着介绍了算法的分类过程，最后采用人工数据集验证了SMFA在六种比较方法中拥有最好的类别判别性能。第四章基于稀疏边界FiSher分析的人脸表情识别第二章和第三章详细地介绍了本实验所要对比的三种人脸表情识别方法，即线性判别分析算法、边界FiSher分析算法和稀疏边界FiSher分析算法。本章主要分析上述的这三种算法及局部保持投影算法、LFDA算法、SLFDA算法在JAFFE>CK+和Gemep-Fera三个数据集上的时间消耗及识别准确率，分析讨论在不同的情况下六种方法的优缺点。4.1 人脸表情数据集JAFFE数据库由10名日本女性的213张面部表情图像组成，每人有一个中性表情和六个基本面部表情，即愤怒、厌恶、恐惧、高兴、悲伤和惊喜。在所有213张图像中，每个基本的面部表情或中性表情分别含有29到32张图像。JAFFE数据库中的初始图像大小为256X256。在实验中，我们采用手动校准的方法，裁剪并将图像大小调整为32X32。图4.1展示了一些JAFFE数据库中经过裁剪和调整的图像，从左到右各列的表情依次为高兴（第一列）、悲伤（第二列）、惊讶（第三列）、愤怒（第四列）、厌恶（第五列）、恐惧（第六列）和中性脸（第七列）。图4.1JAFFE表情数据集上裁剪和调整后的七类表情样例图扩展的Cohn-Kanade数据库（CK+）包含来自123名受试者的593个面部表情图像序列。每个图像序列包含一种表情,所有图像序列共含有以下七个基本表情:愤怒、蔑视、厌恶、恐惧、高兴、悲伤和惊讶。每个序列的图像的初始大小为640X490或640×480o在本实验中，我们通过在CK+数据库中取一些序列的最后一个或两个图像的方法最终选择314张图像。这314张图像包括了44张愤怒表情图像，18张蔑视表情图像，57张厌恶表情图像，17张恐惧表情图像，69张高兴表情图像，27张悲伤表情图像和82张惊讶表情图像。我们手动裁剪所有的314张图像并将其大小调整为32×32o图4.2展示了部分经过处理的样本图像，从左到右各列的表情依次为生气（第一列）、蔑视（第二列）、厌恶（第三列）、恐惧（第四列）、高兴（第五列）、悲伤（第六列）和惊讶（第七列）。从图4.2中我们可以看到，CK+数据库中面部图像的亮度有很大的不同。图4.2Cohn-Kanade表情数据集上切割后的七类表情样例图Gemep-Fera数据库是20i年表情识别挑战数据库gemep数据库的子集）。该数据集分为训练集和测试集两部分，其中训练集包括7个表情图像序列，测试集包括6个表情图像序列。每个序列显示以下五种面部表情之一：愤怒，恐惧，高兴，安慰和悲伤。我们从训练集和测试集的每个序列中提取静态帧，共生成了300张图像。这300张图像包括了67张恐惧图像，57张悲伤图像，48张安慰图像，71张高兴图像和57张愤怒图像。我们裁剪表情图像并将其大小调整为32×32o图4.3Gemep-FERA表情数据集上切割后的七类表情样例图图4.3展示了处理后的图像样本，从左到右各列的表情依次为愤怒（第一列）、恐惧（第二列）、高兴（第三列）、安慰（第四列）和悲伤（第五列）。从图4.3中我们可以看到，GEMEP-FERA数据集中的表情有明显不同的图像亮度、面部动作的强度和头部的姿势，这使得识别任务更具挑战性。4.2 实验结果分析4.2.1 JAFFE数据集上的实验1 .参数敏感性分析为了探究稀疏边界分析算法中的参数f和对算法性能的影响，令参数和4分别在0.01到1之间变化。我们从JAFFE数据集的每个类别中随机选取20张图像来进行训练，其他的图像作为测试图像。为了减少偶然性误差，我们对每组参数值实验设置重复执行20次，取平均值作为实验结果。当稀疏边界分析算法中的参数和分别在给定范围之间变化时，图4.5分别描述