基于切换滤波方法的墙面触控系统设计和实现通信工程管理专业.docx

摘要1Abstract2第一章绪论4111"九肯-<¾>不口1"九意»41.2 国内外现状51.3 主要研究内容61.4 章节安排7第二章基于KineCt的墙面触控系统设计方案82.1 设计方案概述82.2 jjI名召»92.3 系统的搭建与界面标定H2.4 图像噪声分析17第三章基于切换规则的深度图像切换滤波算法183.1 切换系统介绍183.2 基于贝叶斯估计的切换规则原理1933口了-213.4 改进的自适应中值滤波子系统243.5 切换滤波算法实验结果分析26第四章墙面触控系统基于VemUZ平台的实际应用效果334.1 基于KineCt骨骼追踪的动态目标追踪334.2 三维编辑软件VentUZ平台介绍364.3 基于VentUZ平台的轨迹操作分析374.4 基于Ventuz平台的汽车模型案例39第五章总结与展望425.1 本文总结425.2 展望43参考文献4446致谢基于切换滤波方法的墙面触控系统设计摘要现今信息技术的蓬勃发展带来了全新的网络信息时代，现有的传播媒介已发生了巨大的变化，从传统的通过视觉传播信息的电视机、计算机等到现在的提供人体与媒介实时互动的人机互动技术。现如今大量的教育汇报、商业广告、游戏娱乐中应用了大屏幕人机互动模式,使人们能够身临其境的操作，最大程度上激发人们的互动兴趣。但是，由于大屏幕人机交互技术属于新兴领域，目前投入使用的各类大屏幕人机交互设备仍存在着诸多不足。例如，基于大型激光传感器检测目标的人机互动系统虽然拥有着较高的精确度，但是硬件设备本身成本已足够高昂，对于应用场合也有较大的限制难以得到大范围的使用；而基于小型Kinect深度传感器的人机交互系统，凭借其体型小巧且成本低廉，能够应用于各类场景等特点，已成为如今发展大屏幕人机互动系统的重要媒介，然而由于Kinect硬件本身采集图像分辨率不高且图像中常常存有大量噪声，从而导致系统难以得到高分辨率的精准的图像。针对上述问题以及如何对界面进行快速有效的创建的问题提出解决方案，在对国内外互动投影的发展现状的分析后，基于梯形校正法设计了基于Kinect传感器的墙面触控互动系统，该系统能够在任意墙面上达到实时精准的人机互动操作效果。在图像预处理阶段将工程中的切换系统引入数字图像滤波提出基于切换系统的贝叶斯估计切换滤波方法，在目标追踪阶段采用半身骨骼追踪法排除干扰项，最后基于VemUZ三维编辑软件平台进行实际案例操作演示，验证了本文提出的基于切换系统的改进算法在实际应用中的可行性。关键词：大屏幕人机互动系统；KineCt传感器；切换滤波；VentuzResearchofwalltouchsystembasedonswitchingfiltermethodAbstractTheflourishingdevelopmentofinformationtechnologyhasbroughtaboutaneweraofnetworkinformation.Theexistingmediahasundergonetremendouschanges.Fromthetraditionaltelevision,computer,etc.,thattransmitvisualinformation,tothecurrenttechnologythatprovidesreal-timeinteractionbetweenthehumanbodyandthemedia.Nowadays,large-screenhuman-computerinteractionmodeshavebeenappliedinalargenumberofeducationalreports,commercialadvertisements,andgamesandentertainment,enablingpeopletoperformimmersiveoperationsandmaximizingtheirinteractiveinterest.However,duetothelarge-screenhuman-computerinteractiontechnologybeinganemergingfield,varioustypesoflarge-screenhuman-computerinteractivedevicescurrentlyinusestillhavemanyshortcomings.Forexample,althoughthehuman-computerinteractionsystembasedonthelarge-scalelasersensorhasahighdegreeofaccuracy,thecostofthehardwaredeviceitselfishighenough,andthereexistsalimitationontheapplicationoccasionsoitisdifficulttoobtainawiderangeofuse.Thehuman-computerinteractionsystembasedonthesmallKinectdepthsensor,withitssmallsizeandlowcost,canbeappliedtothecharacteristicsofvariousscenes,andhasbecomeanimportantmediumforthedevelopmentoflarge-screeninteractivehuman-computersystems.However,becausetheresolutionoftheimagescollectedbytheKinectisnothighandthereareoftenalotofnoiseintheimages,itisdifficultforthesystemtogethighresolutionandaccurateimages.Inordertosolvetheaboveproblemsandtosolvetheproblemofquickandeffectivecreationoftheinterface,afteranalyzingthedevelopmentstatusofdomesticandforeigninteractiveprojections,awalltouchinteractionsystembasedonKinectsensorwasdesignedbasedonthetrapezoidalcorrectionmethod.Thissystemcanachievereal-timeandaccuratehuman-computerinteractiononanywall.Itcanachieveaccurateandreal-timehuman-computerinteractiveoperationwhichcaneffectonanywallsurface.Intheimagepreprocessingstage,theswitchingsystemwhichisusuallyusedinengineeringisintroducedintothedigitalimagefiltering,andaswitchingsystembasedonBayesianestimationfilterisproposed.Inthetargettrackingphase,thehalf-bodyskeletaltrackingmethodwasusedtoeliminatetheinterferenceitems.Finally,basedontheVentuzthree-dimensionaleditingsoftwareplatformtodemonstratetheactualcaseoperationtoverifythefeasibilityoftheimprovedalgorithminpracticalapplications.Keywords：Large-screenhuman-computerinteractionsystem;Kinectsensor;Switchingfilter;Ventuz第一章绪论1.1 研究背景和研究意义现今信息技术的蓬勃发展带来了全新的网络信息时代，现有的传播媒介已发生了巨大的变化，从传统的通过视觉传播信息的电视机、计算机等到现在的提供人体与媒介实时互动的人机互动技术川。当受众数量增加，使用者不可能仍使用一个鼠标或键盘来控制屏幕操作，因此更多的非接触式人机互动被投放至学校、商场、博物馆等通过大屏幕展示所需内容的场所，使得受众能够如临其境地自然操作，促进了传播信息的接受度、参与者的积极度。目前的人机交互多由语音识别和基于计算机的视觉检测技术实现操控。但使用语音识别时容易被环境噪音等影响，导致识别效率低下、交互反馈较差，尤其是受众数量大的情况下，多人语音识别效果不甚理想。基于计算机视觉开发的图像采集设备能够实时跟踪受众的操作资质，通过一系列的目标分割、动作捕获、实时跟踪等操作，辨别有效操作点，于操作面上反馈匹配触发的事件完成人机互动操作。由于视觉技术使用简易并提供多种交互方式，对于环境内其余干扰项能够较好的去除，因此如今的大屏幕人机交互系统多采取基于视觉技术的交互模式。当前的动作捕获研究集中于基于RGB图像对人体图像的灰度特征、运动特征的处理来跟踪检测目标，但由于RGB图像不存在对目标三维空间的信息反馈，难以对复杂环境中的目标检测，目标的跟踪鲁棒性较差，应用范围受到较大限制。因此，现有的研究方向开始更多的集中在利用深度图像对目标进行检测和跟踪，通过KineCt传感器采集目标环境中的深度信息，避免了目标附近的干扰项的影响，将目标从复杂背景中分离出来，提高了检测的准确性与跟踪的鲁棒性。为了克服RGB图像以及深度图像中对人体检测的局限性，本文采用成本低廉的Kineet传感器获取深度图像，并基于KineCt采集的深度图像采用了常被使用在工程领域的切换系统以提高对图像滤波的准确性，完善对操作者的动作跟踪，实现复杂环境下的自然的墙面人机交互。深度图像被广泛应用于无人驾驶导航、大屏幕人机交互等领域。当前获取深度图像主要为两种方法，第一种是通过计算机视觉技术计算二维图形特征与三维空间的几何对应关系，但是这种方法存在严格的限制条件，对于图像的校正也提出了相当高的要求，因此在实际应用中很难得到大范围的使用。第二种方法是通过TOF（Timeofflight,飞行时间）或光编码技术捕捉三维场景的深度，由于能实时获取深度图像，这种方法受到了越来越多的关注。1.2 国内外现状随着人机互动多媒体技术的近十年的发展，互动投影成为人们对与更高水准交互式体验的产物，结合了虚拟仿真技术和人机交互技术的互动投影为人们营造了直观逼真的环境氛围，创造出一个具有真实感的自然环境。美国GeStUreTek网公司是在互动投影领域已有了几十年的历史，在运动检测方面也处于世界级领先地位。该公司的VGC（多视频手势控制）技术让操作者直接控制多媒体，通过对获取到的人体运动信息进行处理，从而触发沉浸式的3D虚拟互动世界。同时，GeStUreTek公司也创造了多种多样的的体感操控设备，GeStUrePoint的高清播放机的开发更是使得操作者无需使用任意辅助设备就能通过自身身体控制，更大程度上的营造了一个具有真实体验感的虚拟环境。而相对于国外的先进技术发展，目前国内对于互动投影技术的研究仍处于落后阶段，更多的是对于国外引进产品的研窕，这种缺少创造性的研究极大程度上削弱了国内类似产品的竞争力，因此对于互动投影的进一步研究迫在眉睫。图像滤波处理在整个图像分析阶段中属于图像的预处理阶段，属于对数字图像恢复的技术范畴。深度图像与彩色图像是对三维空间场景的不同观察方式，两者之间存在很强关联性。传统的目标识别研究大多基于对RGB图像的检测，并在过去的数十年中取得长足的进步。但基于RGB图像的目标识别仍然是一项复杂的工作且并不具备非常理想的识别效果。由于人体的个体差异性、动作习惯、衣着个性等都有显著的差异，对于最终的识别结果均会带来难以预估的影响。针对采用深度图像识别目标的深度传感器一经上市就有效地提升了机器视觉感知三维世界的信息受理能力。由于对工作场所的光照环境要求不是很高，并且是基于对检测范围的物理距离远近的探测，相比RGB图像，深度图像的产生使得目标物能够更加精准简易地从工作环境中被识别提取出来。尽管深度图像的出现为目标提取提供了新的方向，当前的滤波算法仍大部分面向彩色图像，适用于深度图像的较少，很多研究者都将针对一般图像的滤波算法直接应用于对深度图像进行滤波，如高斯滤波、中值滤波、均值滤波和小波算法【叫等。而双边滤波算法自提出以来，由于其够有效的进行去噪并能够兼具良好的平滑效果和无需迭代的特性，在图像处理领域获得了广泛运用。通常，针对深度图像的增强方法可概括为以下2大类：基于全局优化的插值方法和基于双边的插值方法。在双边滤波基础上提出的联合双边滤波器是Petschningg等”可于2004年提出的一种改进算法，以加入另一幅导向图的方法减少空洞，得到效果更好的权值。椒盐噪声通常使用中值滤波进行去噪处理并能得到效果良好的去噪后图像,在文献1中两个用于减少图像中椒盐噪声的滤波器，即自适应边缘保持滤波器和自适应开关双边滤波器被提出。运动跟踪的研究起源于上个世纪六七十年的西方国家，Dalal等人提出了基于HOG(Histogramoforientedgradient)梯度直方图特征的算法，解决了静态图像中行人监测的问题。文献I在人体跟踪方面，提出了基于改进的MeanShift算法的目标跟踪方法，通过判别跟踪区域是前景区域或背景区域以设置权重系数，同时将跟踪区域精确到检测范围内的目标人体，再结合Kalman滤波器对人体下一步的运动方向进行预测，能够有效降低由于背景区域干扰带来的的计算量达到更好的跟踪效果。我国科学部门对目标跟踪技术给予了充分重视，在召开了三届智能视觉监控会议后，大幅度提升了利用人体追踪技术对日常监控的广泛利用程度。目标检测技术也被应用于日常很多公共场合的监管或生活监控，例如银行、机场、火车站等对安全系数要求较高的公共场所就能看到该技术的使用。1.3 主要研究内容本文提出一种低成本、便捷、精准的新型互动投影系统基于切换系统的KineCt墙面触控互动投影系统，并对其从滤波、跟踪、实际应用等方面进行介绍优化。针对KineCt采集的深度图像存在噪声导致图像粗糙的问题，提出将切换系统应用于图像滤波的研究方向，通过子系统去除普遍存在的高斯噪声、椒盐噪声，加入基于骨骼定位的动态手势追踪方法，优化实际墙面触控应用中存在的追踪目标不当等问题。将提出的切换系统投放到实际应用场合。结合VemUZ界面给出实际效果图，通过对轨迹的追踪测试，验证实际应用场合的系统稳定性。主要内容可概括如下：(1)搭建一个基于KineCt传感器的互动控制系统，阐述其基本原理，并利用投影技术和动态捕捉方法来创建智能交互区域。(2)在深度图像预处理阶段，针对常用的滤波算法复杂度高、耗时长，影响互动投影系统的实时性等问题，提出一种基于切换系统的切换滤波算法以优化去噪图像。(3)在目标跟踪阶段，针对可能出现的背景干扰项提出采用KineCt的骨骼追踪法,以保证仅将人体目标判断为有效操作点，避免了可能存在的背景干扰项。(4)结合VentUZ三维编辑软件与基于KineCt的墙面触控投影系统通信的相关技术，通过对目标轨迹的跟踪测试验证系统的优化性能，最后以汽车部件展示为例，介绍墙面互动投影系统的实际应用，并展示其互动内容及其互动效果。1.4 章节安排全文共分为五个章节，其中各章节主要内容安排如下：第一章，绪论。该章节首先阐述了当前大屏幕人机互动技术的发展情况，并指出其不足。其次介绍了大屏幕人机互动技术相关的互动投影技术，数字图像滤波技术以及人体目标追踪相关的国内外研究现状。第二章，基于KineCt的墙面触控系统设计方案。该章首先介绍了基于KineCt的墙面触控系统的主要构成，分别介绍了硬件部分和软件部分的相关部件。然后介绍了系统的整体搭建和互动投影面的标定过程。最后介绍了KineCt传感器的深度摄像头所拍摄到的深度图像中有哪些需要经过滤波去除的噪声点，去除噪声的方法在第三章中详细阐述。第三章，基于切换规则的深度图像切换滤波算法。该章节首先对本文采用的切换系统进行了简单介绍，为了达到去出多种噪声的目的将工程中的切换系统引入数字图像滤波中。其次对切换系统中的切换规则进行详细阐述并给出算法流程，并对切换系统中采用的两个子系统，分别为联合双边滤波子系统和改进的自适应中值滤波子系统作介绍。最后通过客观评价法验证系统的性能，实验安排如下：通过对比原始含噪图像、单一去噪算法滤波后图像以及本文中的切换滤波滤波后的图像，给出不同算法下的峰噪比与运行时间对比以验证算法的优劣，能够看出滤波后图像中存在的噪声能够基本去除。第四章，墙面触控系统基于Ventuz平台的实际应用效果。该章首先是对针对动态目标跟踪使用的Kinect中的骨骼追踪进行了原理介绍。然后介绍了Ventuz软件平台的使用。其次，基于VentUZ平台通过对单点简易操作、单点复杂操作和多点操作的轨迹操作分析给出实际应用示例，验证基于切换系统的墙面触控系统的性能的鲁棒性。并基于Ventuz平台，操作汽车模型实际案例，通过对汽车“分”操作的演示，以及汽车车体颜色选择的演示，验证切换系统在实际应用中的准确性与实时性。第五章，总结与展望。该章对本文的主要工作和研究进行总结，并对下一步的相关工作研究进行展望。第二章基于Kinect的墙面触控系统设计方案本章节将介绍基于KineCt的墙面触控系统设计方案，针对系统的搭建和具体实际使用方法进行介绍，并提出系统存在的需去除的噪声问题。2.1 设计方案概述本系统在捕获用户姿势信息方面使用KineCt传感器，通过数据线将信息传至控制平台，经过软件运行并识别后上传至应用层，将识别出的姿势信息匹配至相应的触发事件于互动平面上显示，以此完成操作更简便、使用更卫生的墙面触控。系统的硬件部分主要由控制主机、KineCt体感传感器、投影设备等硬件组成。具体的系统构成如图2.1所示:图2.1墙面触控系统结构图硬件部分主要由控制主机、KineCt传感器以及投影设备构成。通过对操作者动作姿势的实时监测，反馈相应的触发事件。(1)控制主机：通过对KineCt传感器传递反馈的信号作软件处理，将所得实时结果输出到屏幕上。(2) KineCt传感器：通过RGB(彩色)摄像头、红外摄像头和红外线发射器的配合探知操作者的位置深度等信息，经简单处理后传输给控制主机。KinectforXbox360以每秒30帧的速度获取RGB图像和深度图像的数据流，所得图像分辨率均为640×480o(3)投影设备：输出经控制主机处理过的图像信号，显示精准的时时操作结果。软件模块分为控制软件和显示软件两部分，基于OPenCV函数库通过ViSUalC+6.0编程，达到将数据采集、图像滤波、屏幕显示、算法仿真与实时控制集合一体的目的。(1)控制软件：由数据采集、图像滤波和数据通信三大模块组成。数据采集模块负责接收来自KineCt传感器采集并传输得到的原始数据，数据滤波模块负责去除原始数据中存在的噪声、空洞，数据通信汇总所得数据后传输至互动操控软件。(2)显示软件：根据用用户所需编辑合乎要求的的互动内容，并将互动结果投影至互动界面上。对于系统软件环境配备，要求操作系统支持WindoWS7以上版本，性能良好的KineCt设备处理器程序。KineCt传感器的控制分析程序用C/C+实现，最终通过VentUZ软件实现展示。本文采用的KineCtVI如图2所示，可使用USB2.0接口进行数据连接，并支持大部分的电脑以及笔记本的使用。2.2 硬件选型与介绍为了获取图像中的深度信息，常用单目相机、双目相机和深度相机来捕捉深度信息。其中，单目相机拍摄的图像是将三维空间投影至二维平面，在恢复三维结构以获取深度数据的过程中必须更换视角，即需要在实时获取数据时不断挪动相机，无法满足在不移动相机时获取深度数据的要求。而双目相机具有能够很好的排除光照影响的性能，但在昏暗的环境中不能表现很好的鲁棒性，时间复杂度高占用相当高的性能，无法满足系统的实时反馈要求。而本文选择的基于结构光技术的KineCt能够完成较短时间内的实时反馈，能够在固定相机的条件下满足中高精度的场合的操作应用，但获取的深度图像中仍然存在一系列噪声，因而需要对获取的深度图像进行去噪处理，具体的去噪算法将在第三章中详细介绍。KineCt主要包括彩色摄像头，深度传感器和多阵列麦克风等部件，KineCt传感器设备如图2.2所示。主要部件及功能如下：图2.2KineCt传感器(I)红外线发射器：通过主动将近红外光谱投射到粗糙物体表面，光谱将会发生扭曲，由红外摄像头读取随机的反射斑点。(2)红外成像摄像头：分析红外光谱，创建可视范围内的人体、物体的深度图像，分辨率均为640x480,每秒30帧。(3)彩色摄像头：用于拍摄视角范围内的彩色视频图像，分辨率均为640x480,视角为垂直方向43。，水平方向57。，每秒30帧。(4)麦克风阵列：由四个麦克风组成，能够接收声音信号，用于检获声音指令，处理背景噪声。(5)仰角控制马达：座内装有驱动一组塑料齿轮的马达和空间感知器，具有机械转动功能，调节范围±28从而帮助KineCt获得最佳的有效观察位置。(6)逻辑电路：该部分由三块电路板构成，两块装有核心芯片PrimeSenSePSl080用于图像处理和语音处理，第三块电路板配有加速度传感器以判断设备的倾斜度。KineCt传感器本质上属于输入设备的范畴。它给用户提供包括深度数据流、彩色视频流、原始音频数据等的三大类原始数据信息。KineCt的红外线发射器采用光编码技术，主动将近红外光谱投射到预设场景中，通过另一个红外成像器所捕获到的红外光谱的变形，从而来确定深度信息。它所应用的深度测量技术为一种结构光(LightCoding)技术，也就是用光源打到需要测量的场景并对其进行编码，但与结构光不同的是它的光源成为“激光散斑”，它是由激光从粗糙表面反射，或者从具有散射功能的物质如毛玻璃等的内部穿射后，形成具有高度的随机性散射或透射时随机形成的斑点，并且会随着距离的不同而变换形状。这些斑点随着不同的距离变换形状，因此只要在检测空间中加入此类结构光，整个空间就会被标记，且空间中任意两处的散斑形状都是独一无二的。在对存在于检测空间内的目标进行距离检测之前需要将整个空间的散斑图像记录下来，所以需要对待测空间做一次光源标定。标定的方法是隔开一定特定的段距离取一个参考平面，把参考平面上的散斑图像记录下来。通过对整个待测空间进行标记，当把一个物体放进这个空间，通过对物体上面的散斑形状的观察，就能够得出该物体在待测空间中的实际位置情况。在深度图像中，规定纯白代表无穷远，纯黑代表距离无穷近，灰色区域代表距离区间内的物体到传感器的实际物理距离，通过对应距离函数公式计算，生成由颜色深浅代表不同距离的深度图像。通过传感器的每秒30帧图像，完成对周围环境的实时监测。下图2.3为使用KineCt获取的RGB图像和深度图像：图2.3KineCt采集的RGB图像和深度图像2.3 系统的搭建与界面标定本文的墙面触控系统通过借助投影仪在任意墙面或幕布投影构成互动界面，如图2.4 所示。图2.4系统操作环境KineCt的固定范围为待互动屏幕正上方l-3m范围，距离墙面5cm至6cm。投影仪置于互动面正前方，通过调整投影仪距互动面的距离来调节投影面大小。操作者站在互动区域内通过手部的点击、挥动、旋转等对互动界面进行操作。传感器连接在控制主机上，打开互动控制软件，出现控制界面如图2.5所示，勾选Monitoring以及左下角Available,根据实际操作情况确定界面的Maximumdepth和MinimUmdePth(投影底部和顶部深度)，左右画面中间的滚轮可上下调节，确定互动投影操作面距离墙面的距离，在出现的绿线以内靠近墙面的范围皆为有效操作范围。点击START按键，出现监视画面。界面左侧显示的是传感器捕捉到的画面，右侧是跟踪定位的显示面，互动投影面为倒梯形。投影界面标定注意事项：(2) (1)确认投影界面设置在控制界面范围内；(3) 1.efttopcorer、Righttopcorner>Leftbottomcomer>Rightbottomcomer是互动投影面定位校准按键，校准后点记录保存；(4) 1.eftKinectsRightKineCt表示系统可以同用一台或两台KineCt。图2.5控制平台初始界面操作者只有在互动投影范围内操作才能被系统捕捉，而KineCt检测的范围与投影设备投影的互动面有所偏差，因此在实际操作之前需要对投影面进行校准。图中所示蓝线为投影画面畸变产生的误差线，为消去与KineCt传感器检测的存在的偏差使其与系统框定范围一致，本系统采用梯形校正法，原理图如图2.6所示。Qa4，必）N（X6,%）C（X3，%）图2.6梯形校正原理图对图2.6中所示大梯形ABCD作微分处理，将其分为N块，示例中N=4,即切分为4部分小梯形。点Xay)为为校正前操作点坐标，点Xo(XO,%)为校正后的实际操作点位置。首先,对大梯形ABCD四角定位,确定四角A(X,%),B(x2,y1),C(x3,y2),D(x4,y2)坐标。（2）由N=4,N为变量，可由此确定小梯形各横向的中点0,P,Q的），值。%=乂+；（%-凹）（2-1）%=%+2*；（%-乂）（2-2）%=%一扣2-乂）（23）（3）其次，再次定位，根据已知的O,P,Q三点的y值，即为，然，为，通过编辑软件在同一y值上对存在畸变的互动界面的左右边缘进行检测,确认M尸,G,/六个端点坐标。从而得到4个已知端点的梯形。（4）针对小梯形ABEE；：若KM="=<0,且KAE="=>0,则判断梯形A3EE为倒梯形。xx2%0-X所以界面设置条件需同时满足以下条件：(2-4)K"<Kxs=0l<°(2-5)X-X2y<y<y1(2-6)若KM=>o,且k.e=<0,则判断梯形A3在为正梯形。xUx2玉0一%所以界面设置条件需同时满足以下条件：KXA=BL>0或KXA=BL<（2-7）x-x.X-X.(2-8)KXB=匕&>Kbf或K8=0L<0X-X2X-X2(2-9)(5)设点X(x,y)为未校准界面上的操作点位置，所在线段与AO交于点R(%,y),(2-10)y-yi%6=b1+MKAE(2-11)设点Xay)所在线段与BC交于点T(%7,y)，k _ y-yx - TR -RffF为7 x2(2-12)(6)设点X(X,y)在线段Rr上相对位置是:y-ylKBF(2-13)ratio = xl x6(2-14)其中，表示比例。(7)点Xa)，)被映射在梯形的短横线上，求出最终的实际操作位置XO(Xt),%)：若梯形A3正E为倒梯形，点X在线段EF上：Y ,(X-X16)(X11-Xio) l y o 一,io%7 一%6(2-15)若梯形AB人石为正梯形，点X在线段AB上:1.f)(Zf)+%(2-17)xx()=y(2-18)针对其余三个小梯形石"G,GM,A8,重复步骤(4)-(7)即可，在此省略不重复赘述。接下来对梯形投影面进行位置校准，如图2.7(a)-(d)所示，操作者站在屏幕前,手动点击投影投面的一个角(以左上角和右上角为例)，软件右侧界面会出现相应互动点的位置，另需一名操作者用鼠标点击选择该位置，然后再点击“记录”按键。依次进行四个角的定位，完成投影面校准，如图2.7(e)所示。最终操作效果如图2.7(f)所示。(a)左上角位置校准前(b)左上角位置校准后(C)右上角位置校准前(d)右上角位置校准后(e)四角位置校准后(f)实际操作点图2.7实际校正操作图2.4 图像噪声分析基于摄像机拍摄得到的图像受离散的脉冲、椒盐噪声和高斯噪声等的影响，图像的质量得不到保证并使得原图像的细节信息被覆盖，对后续的图像分析和应用带来不便，导致无法得到理想的应用结果，因此在处理图像之前需要对图像进行去噪预处理。理想的图像去噪应满足以下三方面。首先，去除图像中尽可能多的噪声点；其次,原图像中的重要细节信息应当被尽可能多的保留；最后，在去除噪声的同时不加入额外的噪声干扰。通常，现有噪声征可分为:(1)高斯噪声。由于工作范围内存在的不良照明和传感器的高温影响，在实际使用中，很难达到完全去除热噪声等的工作条件，因此抵抗高斯噪声也是滤波的重要的环节。(2)椒盐噪声可以认为是白噪声(盐噪声)和黑噪声(椒噪声)的叠加，在视觉上表现为黑白随机分布的噪点。通常在传感器的图像获取阶段、信号传输阶段和图像编码阶段产生，包括传感器的局限性和通信过程中的故障等。在数字化通信中，椒盐噪声是出错的主要诱因。(3)冲击噪声指的是噪声的亮度与其领域像素差异很大，若图像中存在冲击噪声则会对图像造成较大的破坏，一般情况下仅少量的冲击噪声就可对整个图像造成不可磨灭的影响。(4)量化噪声指的是非数字图像在量化为数字图像的过程中产生的噪声。除此以外，低成本的深度图像获取设备存在分辨率低、存在空洞等问题。本文提出的墙面触控系统主要存在深度图像中的空洞、以及图像传输中无法避免的椒盐噪声以及少量高斯噪声，若能完成对噪声的理想去噪，则能输出不影响后续姿势匹配的输入结果。针对无法同时去除多种噪声的情况，本系统提出引入工程中的切换系统进行数字图像滤波切换，以此提出可滤除多种噪声的可行方法。2.5 本章小结本章首先介绍了墙面触控系统的硬件部分和软件部分的主要构成，并介绍了其中应用到的相关部件。然后介绍了系统的整体应用环境的搭建和互动投影面的标定过程。最后介绍了Kinect传感器的深度摄像头所拍摄到的深度图像中有哪些需要经过滤波去除的噪声。第三章基于切换规则的深度图像切换滤波算法本章将详细介绍切换系统的工作原理，并介绍本文采用的滤波子系统，将切换系统引入对深度图像的滤波系统，通过使用在已设计并校正好的控制平台进行实际操作，比对实验结果并给出分析。3.1切换系统介绍切换系统口&在实际应用中有着广泛的应用，其可将复杂的难以控制的复杂系统转换成相对简单的切换系统，一般由系统的内外环境变化引起子系统的切换，例如用于电力系统的继电器开闭等。切换系统是以切换为主要特征的重要而典型的一种混杂系统。切换系统的稳定性不同于一般的线性系统或是非线性系统，由于系统状态是由切换信号改变而跳转至下一连续区间子系统，子系统相互之间是离散的关系，而各个滤波方法之间也存在离散的关系，为切换系统引入数字化滤波提供逻辑依据并确保其可行性。切换系统主要由有限个子系统配以特定的切换规则组成。切换系统的数学模型可表示如下：5不=狐)(Xa),MQ)(3-D其中，b为微分算子，当切换系统为连续时间系统时，Bx(f)=dXQ)M3当切换系统为离散时间系统时，x(r)=x(r+l)oX表示系统状态,是控制输入,(t)是未知的外部扰动信号，在本系统中主要表现为空洞现象、椒盐噪声和高斯噪声。切换信号CTa)是一个分段常值函数。通常，切换系统根据切换信号的不同可分为两类：根据时间切换的切换系统以及根据系统状态切换的切换系统。其中：(1)根据时间切换的切换系统：仅仅依据时间的变化及过去的参数值的函数，表示为:其中，夕(，QQ)为切换系统的状态转移矩阵。切换信号依赖于系统时间的变换，与系统的状态、输出无关。(2)根据系统状态切换的切换系统：切换信号不再直接依赖于时间的函数，可表示为：(t)=(t),x(t),u(t),(t),ft(3-3)其中，若切换信号只依赖系统的状态，则有，=(3-4)称其为纯状态反馈切换信号。若切换信号仅依赖系统的输出，则有，W)=*Q),Vf(3-5)称其为纯输出反馈切换信号。由于切换信号依赖于系统的状态和输出，所以同一切换信号在不同系统下也有可能表现出不同的性能。此外，切换系统也分为自主切换和受控切换两类。两者的主要区别在于自主切换不受人为影响，而受控切换由人为控制切换。本文将切换系统用于图像的滤波，由切换规则确定各子系统之间的切换条件，以得到边缘平滑清晰的图像。针对深度图像普遍存在的椒盐噪声和高斯噪声，分别采用文献网和文献1提出的联合双边滤波和改进的自适应中值滤波。将滤波系统作为整个系统的子系统，配以恰当的切换规则，构成切换滤波系统，系统构成如图3.1所示：图3.1切换滤波系统结构3.2 基于贝叶斯估计的切换规则原理切换系统的子系统多由连续微分方程或离散微分方程构成，切换规则多为离散的依赖于状态或事件触发的分段函数，切换规则用于协调各个子系统并使子系统之间的切换能顺畅进行。在切换过程中，由系统内的切换规则来确定每一时刻切换系统切换到哪一个子系统，并且保证每一个时刻只有一个子系统起作用，即在每一时刻系统仅存在一条控制规律。N个子系统在切换规则。的作用下，形成的切换序列如下：Z=K>Jo),(M),也£N(3-6)式中，与代表系统的初始状态，。代表系统的初始时刻。在%*时段，激活系统的第弓个子系统，由第ij个子系统产生系统的轨线，按照6x(/)展开。在给定的时间内，假设任意切换发生在时刻丫,小电。假设系统的状态在切换的瞬间不跳跃恒稳，并且在区间0月上进行有限次的切换，并定义有第I,个子系统的最小间隔时间7；.=minT=4-由于连续切换的时间间隔不小于,在任意固定的切换律情况下，不可能发生有限的时间逃逸现象。针对输入为含多种噪声图像的情况，单一的滤波方法一般无法达到理想滤波状态，采取串联多个滤波的方式将会造成过长的操作时间无法保证系统的实时性反馈，或造成系统过于复杂有卡死可能性等问题。切换信号的作用可线性的表示为图3.2所示，假设仅有两个子系统起效，则在切换规则下切换信号表示为右连续函数。=l=2=l=2=l=2图3.2切换信号的线性表示切换信号通常分为四类：bQ)为有限时间内有限次切换的任意切换信号，(r)表现为可设计的能控信号，。一般为满足马尔科夫过程的随机切换信号，。