一、多媒体技术概述.ppt

《一、多媒体技术概述.ppt》由会员分享，可在线阅读，更多相关《一、多媒体技术概述.ppt（79页珍藏版）》请在课桌文档上搜索。

1、多媒体技术课程介绍,课程内容,第一章 多媒体技术概述第二章 音频信息的获取与处理第三章 视觉信息处理第四章 多媒体数据压缩与编码技术第五章 多媒体数据处理的技术标准,2,考核方式,本课程的考核方式为：平时+上机实验+课程考试，其中：1）平时成绩由考勤与作业、中期考试组成2）上机实验成绩，包括实验考勤和实验完成情况3）课程考试为闭卷考试,3,学习方法,理解原理：听课、看教材编程实践：阅读例程、编写程序查阅资料：看参考书、上网搜索归纳总结：知识点类比、知识结构,4,第1章 多媒体技术概述,本章重点：多媒体技术的概念及其特点多媒体技术的应用领域多媒体研究的主要内容与涉及的核心技术,5,本章概要：,1

2、.1 多媒体技术的相关概念1.2 多媒体技术的发展1.3 多媒体技术的应用领域1.4 多媒体研究的主要内容与核心技术1.5 本章小结,6,1.1 多媒体技术的相关概念,1.1.1 媒体1.1.2 多媒体1.1.3 多媒体技术的基本特征,7,1.1 多媒体技术的相关概念,可处理的信息软件技术硬件平台,8,1.1 多媒体技术的相关概念,你的生活中出现过哪些多媒体产品？照相机摄影机,9,1.1 多媒体技术的相关概念,你的生活中出现过哪些多媒体产品？手机,10,手指运动,1.1 多媒体技术的相关概念,你的生活中出现过哪些多媒体产品？动画片,11,1.1 多媒体技术的相关概念,你的生活中出现过哪些多媒体

3、产品？图文电视,12,网络连接失败,1.1 多媒体技术的相关概念,你的生活中出现过哪些多媒体产品？网页,13,自动弹出窗口,1.1 多媒体技术的相关概念,你的生活中出现过哪些多媒体产品？Google地图,14,地址更新,1.1 多媒体技术的相关概念,你的生活中出现过哪些多媒体产品？游戏,15,声音、视觉提示信息,1.1 多媒体技术的相关概念,你的生活中出现过哪些多媒体产品？播放器,16,“用户-视频”智能交互,1.1 多媒体技术的相关概念,你的生活中出现过哪些多媒体产品？虚拟现实,17,1.1 多媒体技术的相关概念,你的生活中出现过哪些多媒体产品？虚拟触觉,18,1.1 多媒体技术的相关概念,

4、任何系统理论的产生，都是为了满足人们的需求或需要。计算机科学技术与其所属的各个分支学科也是如此。人们利用计算机进行了各种各样的探索和尝试，逐渐发展起来图形处理技术、动画技术、视频捕捉技术与编辑回放技术、虚拟现实技术等。伴随着这些技术不断进步，诞生了计算机科学技术的一个非常具有活力的分支多媒体技术。,19,1.1 多媒体技术的相关概念,什么是多媒体技术？多种信息的生成、传输、呈现、存储可感知（感觉）的信息包括：听觉（音频）视觉（视频）触觉（虚拟现实）嗅觉、味觉（虚拟现实）,20,视频聊天,1.1.1 媒体,“媒体”即媒介、媒质，它是信息的载体，是一种传播和表达信息的方法和手段。国际电信联盟（IT

5、U）根据信息被人们感觉、表示以及实现存储或进行传输的载体不同，将媒体分为了如下六个大类：,21,1.1.1 媒体,1.感知媒体(Perception Medium)指人们的感觉器官所能感觉到的信息的自然种类，比如：人类的各种语言、音乐自然界的各种声音、图形、图像计算机系统内的数据、文本等均可属于感知媒体。,22,1.1.1 媒体,2.表达媒体(Representation Medium)是为了加工、处理和传输感知媒体而通过人工研究、构造出来的媒体，主要用以定义信息的特性。表达媒体以语音编码、图像编码和文本编码等形式来描述。,23,自然信息的抽象,更加简洁的数据表示,1.1.1 媒体,3.呈现媒

6、体(Presentation Medium)指感知媒体与电信号间相互转换用的那类媒体，即呈现信息或获取信息的物理设备。呈现媒体有显示器、扬声器、打印机等输出类设备以及键盘、鼠标器、扫描器、话筒和摄像机等输入类设备。,24,1.1.1 媒体,4.存储媒体(Storage Medium)指存储表达媒体数据(感知媒体数字化后的代码)的物理设备，如光盘磁盘磁带等。,25,1.1.1 媒体,5.传输媒体(Transmission Medium)指媒体传输用的一类物理载体，如同轴电缆光缆双绞线无线电链路等。,26,1.1.1 媒体,6.交换媒体(Exchange Medium)指在系统之间交换数据的方法，

7、它们可以是存储媒体、传输媒体或者两者的结合使用。,27,1.1.1 媒体,你能描述6种媒体之间的关系吗？,28,感知媒体,呈现媒体,表达媒体,存储媒体,传输媒体,交换媒体,感觉器官,研究、构造,物理设备,软件,1.1.1 媒体,这些不同层次的“媒体”为多媒体技术的诞生和发展提供了基本的空间和舞台。在以上六种媒体中，感觉媒体是在多媒体应用中呈现给用户的媒体元素，它主要包括：文本、图形、图像、视频、音频、动画等。,29,可操作、处理的信息,1.1.1 媒体,1.文本(Text)：包含字母、数字、字、词语等基本元素。,30,1.1.1 媒体,2.图形(Graph)：是多媒体中的静态可视元素之一，一般

8、是以采用算法语言或某些应用软件生成的矢量图(Vector Drawing)的形式来表达的。3.图像(Image)：也是多媒体的一种静态可视元素，其基本形式为位图(Bitmap)。,31,照相机成像,画图板,1.1.1 媒体,4.视频(Video)：多媒体技术中的一类重要媒体，属于动态可视元素。图像与视频是两个既有联系又有区别的概念。5.音频(Audio)：是指大约在15Hz20kHz频率范围的连续变化的波形。,32,动态图像序列,声波,1.1.1 媒体,6.动画(Animation)：是采用计算机动画软件创作并生成的一系列可供实时演播的连续画面，属于一种动态可视媒体元素。,33,动态图形序列,

9、1.1.1 媒体,你能描述6种感觉媒体之间的关系吗？,34,文本,图像,图形,视频,动画,音频,动态,动态,1.1.2 多媒体,在绝大多数场合，多媒体是指多媒体技术，即指能够同时获取、处理、编辑、存储和回放两种或者两种以上不同类型信息媒体的技术，这些信息媒体包括文字、声音、图形、图像、动画、视频等，它一般不是指多种媒体本身，而主要是指处理和应用的一整套技术手段。,35,举例：照片,1.1.2 多媒体,从技术角度来说，多媒体是计算机综合处理文本、图形、图像、音频、视频等多种媒体信息，使多种信息建立逻辑连接，集成为一个系统并具有交互性和实时性的崭新技术。它是一种迅速发展的综合性电子信息技术，已渗透

10、到相关领域的方方面面，给人们的工作、生活和娱乐带来了深刻的变革。,36,举例：ATM,1.1.3 多媒体技术的基本特征,1.多样性2.集成性3.交互性4.实时性5.非线性总之，多媒体有许多特点，但其最显著的特点是具有媒体的多样性、集成性和交互性。,37,1.1.3 多媒体技术的基本特征,请你设计一个熟悉的多媒体系统架构。比如：网站管理系统游戏引擎主要内容：处理的数据种类，数据之间的关系，处理技术，预期的结果，反馈，修正,38,1.2 多媒体技术的发展,多媒体技术的发展是社会需求的结果，是社会不断推动的结果，是计算机技术不断成熟和扩展的结果。在多媒体的整个发展进程中，有几个具有代表性的阶段：19

11、84年，美国Apple（苹果）公司开创了用计算机进行图像处理的先河，在世界上首次使用Bitmap（位图）概念对图像进行描述，从而实现了对图像进行简单的处理、存储和传送等。,39,苹果计算机 Macintosh,首次推出图形用户界面,1.2 多媒体技术的发展,1985年，美国Commodore公司将世界上首台多媒体计算机系统展现在世人面前，该计算机系统被命名为Amiga。并在随后的Comdex89展示会上，展示了该公司研制的多媒体计算机系统Amiga的完整系列产品。1986年3月，荷兰PHILIPS（飞利浦）公司和日本SONY（索尼）公司共同制定了CD-I（Compact Disc Intera

12、ctive）交互式激光光盘系统标准，使多媒体信息的存储规范化和标准化。,40,1.2 多媒体技术的发展,1987年3月，RCA公司制定了DVI（Digital Video Interactive）技术标准，该技术标准在交互式视频技术方面进行了规范化和标准化，使计算机能够利用激光光盘以DVI标准存储静止图像和活动图像，并能存储声音等多种信息模式。1990年11月，美国Microsoft（微软）公司和包括荷兰PHILIPS（飞利浦）公司在内的一些计算机技术公司成立“多媒体个人计算机市场协会（Multimedia PC Marketing Council）”。,41,1.2 多媒体技术的发展,199

13、1年，多媒体个人计算机市场协会提出MPC1标准。1993年5月，多媒体个人计算机市场协会公布了MPC2标准。1995年6月，多媒体个人计算机工作组公布了MPC3标准。,42,软硬件最低配置、升级规范,声音、图像、视频、动画的播放,视频压缩技术MEPG指标,1.2 多媒体技术的发展,目前，多媒体技术的发展趋势是逐渐把计算机技术、通信技术和大众传播技术融合在一起，建立更广泛意义上的多媒体平台，实现更深层次的技术支持和应用。,43,1.2 多媒体技术的发展,从多媒体应用方面看，有以下几个发展趋势：从单个PC用户环境转向多用户环境和个性化用户环境；从集中式、局部环境转向分布式、远程环境；从专用平台和系

14、统有关的解决方案转向开放性、可移植的解决方案；多媒体通信从单向通信转向双向通信；从被动的、简单的交互方式转向主动的高级的交互方式；从改造原有的应用转向建立新的应用。,44,1.3 多媒体技术的应用领域,1.3.1 娱乐1.3.2 教育与培训1.3.3 电子出版物1.3.4 咨询、信息服务与广告1.3.5 工业控制与科学研究1.3.6 医疗影像与远程诊断1.3.7 多媒体办公系统1.3.8 通信系统中的应用,45,1.3.1 娱乐,家庭信息中心视频点播系统高清晰电视与数字电视影视娱乐业,46,47,1.3.2 教育与培训,计算机辅助教学计算机辅助学习计算机化教学计算机化学习计算机辅助训练计算机管

15、理教学,48,49,1.3.3 电子出版物,软件游戏电影书籍杂志报纸,50,1.3.4 咨询、信息服务与广告,平面设计与广告业网络信息旅游业,51,1.3.5 工业控制与科学研究,工业控制科学计算可视化过程模拟领域,52,1.3.6 医疗影像与远程诊断,远程医疗保健医疗诊断系统,53,1.3.7 多媒体办公系统,办公信息管理电话会议、电视会议多媒体邮件,54,1.3.8 通信系统中的应用,可视电话视频会议远程文件传输浏览与检索多媒体信息资源多媒体邮件远程教学,55,1.4 多媒体研究的主要内容与核心技术,要把一台普通的计算机变成具有多媒体计算功能的计算机，要解决多种媒体的数字化、压缩、通信传输

16、、存储、同步回放等一系列的关键技术问题。综合起来讲，多媒体技术的核心问题应当是：多媒体信号数字化与计算机获取技术；多媒体数据压缩编码和解码技术；多媒体数据的实时处理和特技效果技术；多媒体数据的输出与回放技术。,56,1.4 多媒体研究的主要内容与核心技术,如何高效地解决如上问题，也是多媒体相关研究领域及本课程研究的核心问题。多媒体技术的研究涉及到：媒体数字化技术、数据压缩编解码技术、多媒体存储技术、硬件平台、软件平台、多媒体数据库、超文本和超媒体、虚拟现实、人机接口、多媒体通信技术以及分布式多媒体等众多领域。,57,1.4 多媒体研究的主要内容与核心技术,1.多媒体数据压缩编解码技术在多媒体计

17、算机系统中要表示、传输和处理大量的声音、图像甚至影像视频信息，其数据量之大是非常惊人的，加之信息品种多、实时性要求高，给数据的存储和传输以及加工处理均带来了巨大的压力。因此，在采用新技术增加CPU处理速度、存储容量和提高通信带宽的同时，还须研究高效的数据压缩编解码技术。,58,多媒体数据压缩编码和解码技术,过去计算机企图综合处理声、文、图，但是不可以,原因在于：,文件量过大,59,1.4 多媒体研究的主要内容与核心技术,以一幅彩色静态图像(RGB)为例：,设分辨率为512512每一种颜色用8bit表示即R用8bit 256级别表示 G用8bit 256级别表示 B用8bit 256级别表示则一

18、幅彩色静态图像的数据量为 512512 3 8 bit,60,PAL是通用于中国大陆与西欧大部分国家（除去法国）的彩色电视信号格式，以交错方式扫描，每秒钟出25幀画面，每幀画面含625条水平扫描线,50 Hz。,NTSC制式，美国、日本等国采用,每秒钟出30幀画面，每幀画面含525条水平扫描线,60Hz。SECAM通用于法国,中东,和多数东欧国家,25幀/秒,625线/幀,50Hz.,61,PAL,SECAM制式 25帧/秒NTSC制式 30帧/秒以 PAL制 25帧/秒为例，视频每秒钟的数据量 512512 3825=180Mbps,62,过去,计算机的总线为ISA(16位),ISA总线时钟

19、最大 8MHz,ISA总线的传输率最大为 16MB/s 变成 bit 为 16M8=128 Mbps 把 180Mbps 的视频流经过传输率为 16MB/s（128 Mbps）的 ISA 总线送到计算机的硬盘几乎是不可能的。180Mbps 的视频流 ISA 总线（128 Mbps）,63,陆地卫星（Land sat3）的例子，其水平、垂直分辩率分别为2340和3240，四波段采样精度7位，它的一幅图像的数据量为2340324074=212Mbit，按每天30幅计，每天数据为21230=6.36Gbit，每年的数据量高达2300Gbit。单纯扩大存储容量，增加通信干线的传输率是不现实的，数据压缩

20、是行之有效的方法。,64,现在 VCD 的标准 MPEG-1 的固定传输率为 1.5Mbps 通过 MPEG-1 可以把这个视频流传输到计算机并存储。如何压缩数据？,帧内压缩帧间压缩,65,帧内压缩,图Bitmap存储器颜色相同的块帧内压缩,66,习题,1.多媒体数据压缩编解码技术帧内压缩,67,i行，j列的图像分成88的块每块的均值作为新图像的一个点写程序完成这个过程,帧间压缩,不变化部分：只传送一次变化部分：传送一个运动矢量,68,1.4 多媒体研究的主要内容与核心技术,2.多媒体数据存储技术随着多媒体与计算机技术的发展，多媒体数据量越来越大，对存储设备的要求越来越高。因此，高效快速的存储

21、设备是多媒体技术得以应用的基本部件之一。,69,1.4 多媒体研究的主要内容与核心技术,3.多媒体数据库技术多媒体数据库是一个由若干多媒体对象所构成的集合，这些数据对象按一定的方式被组织在一起，可为其他的应用所共享。多媒体数据库管理系统则负责完成对多媒体数据库的各种操作和管理功能，包括对数据库的定义、操纵和控制等这样一些传统数据库功能。此外，还必须解决一些新的问题，如海量数据的存储功能、信息提取功能等。,70,1.4 多媒体研究的主要内容与核心技术,4.超文本和超媒体技术超文本和超媒体技术是一种模拟人脑的联想记忆方式，把一些信息块按照需要用一定的逻辑顺序链接成非线性网状结构的信息管理技术。超文

22、本技术以节点作为基本单位，这种节点要比字符高出一个层次。由链把节点链接成网状结构，即非线性文本结构。这种已组织成网的信息网络即是超文本。,71,1.4 多媒体研究的主要内容与核心技术,5.智能多媒体技术智能多媒体是一种更加拟人化的高级智能计算技术。多媒体技术的进一步发展迫切需要引入人工智能，要利用多媒体技术解决计算机视觉和听觉方面的问题，必须引入知识，这必然要引入人工智能的概念、方法和技术。,72,1.4 多媒体研究的主要内容与核心技术,6.多媒体信息检索技术多媒体信息检索是根据用户的要求，对图形、图像、文本、声音、动画和视频等多媒体信息进行检索，以得到用户所需的信息。多媒体信息检索系统有着广

23、阔的应用前景，它将广泛地应用于电子会议、远程教学、远程医疗、电子图书馆、艺术收藏和博物馆管理、地理信息系统、遥感和地球资源管理、计算机支持协同工作等领域。,73,1.4 多媒体研究的主要内容与核心技术,7.虚拟现实技术(VR)虚拟现实技术，也称“虚拟环境”或“临境”技术，就是采用计算机多媒体技术生成一个逼真的、具有临场感觉的环境，是一种全新的人机交互系统。它可广泛地应用于模拟训练、科学可视化、军事演习、航天仿真、娱乐、设计与规划、教育与培训、商业等领域，是目前和今后若干年中十分活跃的技术。,74,1.4 多媒体研究的主要内容与核心技术,8.人机交互技术(HCI)人和计算机之间的交互是目前研究最

24、多的问题之一。计算机能处理和表现越来越多的信息，因此人和计算机之间的交互便显得日益重要。人与计算机之间的信息交流有四种不同的形式，即人-人(通过计算机)、人-机、机-人和机-机。,75,1.4 多媒体研究的主要内容与核心技术,9.多媒体网络与通信技术传统的电信业务如电话、传真等通信方式已不能适应社会的需要，迫切要求通信与多媒体技术相结合，为人们提供更加高效和快捷的沟通途径，如提供多媒体电子邮件、视频会议、远程交互式教学系统、视频点播等新型的服务。,76,1.4 多媒体研究的主要内容与核心技术,10.分布式多媒体技术分布式多媒体技术是：多媒体技术、网络通信技术、分布式处理技术、人机交互技术、人工智能技术和社会学等多种技术的集成。,77,1.5 本章小结,以往的信息技术基本上是以单媒体的方式进行的，如音乐、广播、电视等，这种方式难以满足人们对信息交流和处理的要求。多媒体方式则能和人们自然交流及处理信息。多媒体技术并非简单地将几个单媒体技术加在一起，而是多种技术的有机集成而形成的一个新的多媒体系统。多媒体技术已成为人们关注的热点之一，多媒体技术将引起信息社会一场划时代的大变革。,78,习题,帧间压缩：运动矢量如何计算？当前帧(i,j)块和前一参考帧的哪块匹配？写程序完成搜索匹配块的过程（搜索范围：距离(i,j)位置d个块）。,79,