第8网络多媒体技术.ppt

多媒体技术与应用,第8章 网络多媒体技术,多媒体计算机网络是在网络协议的控制下，通过网络通信设备和线路将分布在不同地理位置，且具有独立功能的多个多媒体计算机系统进行连接，并通过多媒体网络操作系统等网络软件实现资源共享的多机系统。流媒体（Streaming Media）简单说就是应用流技术在网络上传输的多媒体文件.所谓流媒体技术，就是把连续的影像和声音信息（视、音频文件）经过压缩处理后，放到网络服务器上进行分段传输，客户端计算机无须将整个视、音频文件下载到本地，便可以即时收听和收看的网络传输技术。,8.1 网络多媒体的应用,多媒体应用可分为单机和网络两大类，其中网络多媒体技术是多媒体技术和计算机网络通信技术的结合，把计算机的交互性、通信网络的分布性和多媒体信息的综合性融为一体，提供了全新的信息服务，在多个领域获得成功的应用。例如视频会议系统、视频音频点播系统、远程教育与远程医疗系统、协同工作系统、公共信息检索查询系统等。,8.1.1 视频会议,多媒体会议系统的基本特征是：通过计算机远程参加会议或交流，以可视化的、实时的、交互的形式实现了在不同地理位置上人们的多媒体资源共享和信息的相互交流，体现了超越空间的多点通信、群体的“面对面”的协同工作特点。视频会议系统主要由视频会议终端、控制管理软件、多点控制器、信道（网络）及控制管理软件等组成。,8.1.1 视频会议,视频会议系统终端的主要功能是：完成视频、音频、数据、信令等各种数字信号的采集、编辑、处理和显示，再将符合国际标准的压缩数字信号码经线路接口送到信道，或从信道上将标准压缩数字信号码经线路接口送到终端。此外，终端还要形成通信的各种控制信息，如同步控制和指示信号、远端摄像机的控制协议、定义帧结构和加密解密处理等。,8.1.1 视频会议,视频会议系统终端设备主要包括以下几部分：1）视频编解码器及附属设备。会议视频由视频输入设备如摄像机等将模拟视频信号输入编码器，经编码器数字化、压缩处理后，成为数据码流，经数字信道传送到接收端，接收后解码为模拟视频信号，由监视器显示出发送端的图像。终端设备的核心部件是视频编码器，按H.261标准压缩视频信号（像素352288，每秒30帧，逐行扫描方式）。2）音频编解码器及附属设备。音频输入设备有麦克风、调音设备和回声抑制器等，输出设备有扩音机、扬声器等。麦克风用于接收与会者的发言，扬声器用于播放远端会场的发言。调音设备用于调节本会场的麦克风、扬声器的音色和音量。回声抑制器用来消除串入话筒中的少量对方的语音信号，保证发送的只有本端会场的发言。,8.1.1 视频会议,3）多点控制单元（MCU）。由于目前各种网络本身的控制功能还不能满足会议系统所要求的多点对多点的控制，因此除了终端设备、通信线路外，还需要一种设备来控制各个通信会场之间的信息传输与切换，该设备叫多点控制单元MCU。4）多路复用/信号分离设备。本设备是把视频、音频、数据、信令等各种数字信号按照标准组合成数字码流，成为与用户/网络接口兼容的信号格式。,8.1.1 视频会议,5）信息处理设备与应用软件。信息处理设备包括电子白板、书写电话等。应用软件通常包括白板系统、应用程序共享系统等，与会人员可以通过这些设备和应用软件来讨论问题和实现数据共享等功能。6）系统控制部分。该部分包括端到端的通信规程。两终端要互通，双方要有一个约定、协商，大家按照统一的“步骤”或规程去进行，一经完成握手协议的要求，便建立起正常的通信。,8.1.1 视频会议,7）传输网络。会议系统的传输信道可采用光缆、电缆、微波和卫星等数字信道，或者其他类型的传输信道。会议系统标准还允许它在各种计算机网络中传输，如LAN、WAN、因特网等。8）安全保密系统。主要组成部分是加密模块和解密模块。加密模块是将会议终端用户数据加密后在网络上传输，解密模块接收加密数据进行解密得到用户数据。,8.1.2 视频点播,随着多媒体技术、通信技术以及硬件存储技术的发展，人们已不再满足以往单一、被动的信息获取方式，而是希望主动参与节目之中。视频点播（video on demand，VOD）正是这样一种交互式业务，引起有线电视界和通信界的高度重视。,8.1.2 视频点播,交互式VOD系统由前端处理系统、宽带交换网络、用户接入网、用户终端设备（机顶盒加电视机或计算机）等几个部分组成。VOD系统既可采用集中处理结构，也可采用集中管理、分布处理的方式；并可灵活地选用HFC、FTTB、FTTC、ADSL、VDSL等多种接入方式，用户机顶盒可根据需要采用与接入方式匹配的接口，通过电视机、PC机进行视频、音频、数据的显示和通信。,8.1.2 视频点播,在点播过程中，用户通过自己的VOD终端，向就近的VOD业务接入点发起第一次通信呼叫，要求使用VOD业务，经VOD业务上行通路（如计算机网、电信网、有线电视网等）向视频服务器发出请求；系统迅速做出反应，(对用户信息进行审核，判定用户身份)，并在用户的电视屏幕上显示点播单；用户根据点播单作出选择，要求播放某个节目，系统则根据审核结果，决定是否提供相应的服务。在较短的时间间隔内向指定的设备播放所要求的节目，并随时准备响应新的请求。,8.1.2 视频点播,视频点播系统由视频信息源、传送网络和用户终端三大部分组成。视频服务提供商提供视频信息源，将节目存储在视频服务器中。视频服务器随时根据用户的需求，将各种信息资源向用户提供丰富的视频服务。传送网络是连接视频服务提供商与远地用户住宅的通信系统，通过传输网络传送视频信号和回送用户的选择和命令。用户通过简便易用的用户终端（机顶盒）将压缩的视音频信号解码后输出至显示设备，即可欣赏自己需要的节目。,8.1.2 视频点播,1.视频信息源视频信息源由视频服务器、节目选择计算机和记账计算机等设备组成。用于存储视频资源并提供检索能力的设备称为视频服务器，它是VOD系统的中央控制和服务部分，是最关键的设备。视频服务器的高速数据传输能力保证了用户对大量的影片、视频节目、游戏、商务信息以及其他服务的近乎即时的访问。,8.1.2 视频点播,VOD视频服务器保存着大量经压缩的图像节目并能通过网络为用户提供所需的节目拷贝，也可以包含实时的MPEG编码器来接入实况转播。VOD视频服务器通过与用户之间直接的、实时双向交互来控制节目的播放，包括节目的选择、播放过程的开始与终止、播放速度的控制以及不同节目之间的动态切换等。,8.1.2 视频点播,2.传输网络传输网络用于传送用户的节目选择信息和分配视、音频服务媒体流。VOD系统对网络的吞吐量、延迟和延迟变化等性能指标均有较高的要求。由于音频信号压缩后的数据量相对较少，受网络性能的影响在听觉上比较明显；对于视频信号来说，偶尔的视频包丢弃是允许的，因为下一帧图像会马上补充过来，在视觉上不会造成很大的影响，在网络带宽受限的情况下，可以通过降低视频图像的分辨率和适当减少帧速率来尽量保证音频信息的传送质量。,8.1.2 视频点播,传输网络由干线传输系统和分配系统组成。干线传输系统可以有光纤、同轴电缆和无线传输方式等供选择；分配系统有光纤（FITL）、铜线（ADSL等）、混合光纤同轴电缆（HFC）和无线（LMDS）等实现方式。在中国大陆，电信企业的一般做法是采用ADSL/HDSL/VDSL技术，在PSTN（公用交换电话网）中传输节目；而广电部门一般采用HFC技术，在CATV（有线电视网）系统中播出节目。,8.1.2 视频点播,3.用户终端视频服务器提供经过压缩的视、音频数字信号，而用户使用的是模拟电视机，因此是无法接收的，这就要使用一种称为“机顶盒”的设备把压缩的视、音频数字信号解压缩并转换为模拟信号。目前用户设备主要有两种结构：第一种结构将网络终端（NT）从机顶盒分离开来，两者间多采用E1/V24接口，可提供2Mb/s下行连接和双向控制连接；第二种结构将NT集成进机顶盒，机顶盒的基本功能是对MPEG信号解码并与普通电视机接口，还有人机接口、条件接入（编码）、口令控制、智能卡和信用卡阅读器等其他功能，也可以使用PC作为用户终端。,8.2 多媒体通信协议及标准,1964年，人们首次提出了视频会议（video conferencing）的概念，从而改变了传统的电话通信方式。目前的可视电话系统主要分为两类:基于PC的可视电话系统、基于纯硬件的可视电话系统。可视电话通信协议也因通信网络技术和计算机的发展不断推出新的版本。从1984年提出的“数字基群传输会议电视”的H.120协议到1995年提出的“低比特率多媒体通信协议”的H.324协议，已经产生了许多针对不同传输媒体和算法的协议，如基于ISDN的H.320协议等。,8.2.1 RSVP协议,RSVP（resource reserve protocol）是因特网上的资源预订协议，是用来为因特网中的一次会话预留资源的。使用RSVP能在一定程度上为流媒体的传输提供QoS（quality of service，服务质量保证）。RSVP协议的目的是通过在参与支持业务（比如视频或音频会议）的每台机器上预留必要的资源来提供性能保证。注意，IP是一种无连接的协议，主要就是负责在主机间寻址并为数据包设定路由，在交换数据前它并不建立会话。因为它不保证正确传递，另一方面，数据在被收到时，IP不需要收到确认，所以它是不可靠的。IP协议并不为业务建立通路，然而RSVP的设计却是要为这些业务建立通路，同时保证这些通路的带宽。,8.2.1 RSVP协议,RSVP支持两种服务类型：受控载荷服务和保证服务。前者是在设定网络的载荷非常轻的情况下，所有的数据流都按照尽力的方式来处理且网络缓冲区为空，对于音频信号而言这种方法是正好合适的；后者不是这样，不仅请求带宽，而且也要求最大传输延迟，那么所得到的结果就是在网络的负荷增加的时候不会让QoS有非常明显的降低。,8.2.1 RSVP协议,如果从RSVP所支持的传输类型来区分QoS的服务。可以分成3种传输类型：最好性能、速率敏感和延迟敏感。一个RSVP会话通常由三部分构成：目的地址（Dest Address）、协议标识（Protocol ID）和目的端口（Dest Port）。,8.2.1 RSVP协议,所有RSVP消息由一个公共头和紧随其后的消息体组成，消息体中包含可变数目的对象。标志位目前尚未定义。消息类型设为：1表示路径，2预留，3路径错误，4预留错误，5路径拆除，6预留撤销，7预留证实。发送存活期表示本消息所在IP包可以存活的时间（跳跃数）。RSVP长度表示消息的总长度，以字节为单位，包括头和所有后面的可变长度对象部分。,8.2.2 RTP协议,RTP（real-time transport protocol，实时传输协议）是为支持实时业务而设计的，是在点对点通信和多点广播网络上实时传输流媒体数据的实时传输协议。实时业务指的是业务的发送和接收必须在很短的时间内完成。RTP为实时数据传输提供帧遗失检测、时序重构、数据安全等多种服务。RTP协议由RTP（数据协议）和RTCP（控制协议）两部分组成。,8.2.2 RTP协议,RTP也是一个封装协议，实时业务运行在RTP包的数据域，同时RTP包头包含了关于该实时业务的业务类型信息。RTP翻译器目的是使不同用户终端之间的互通成为可能。RTP翻译器的工作是接收业务，将这些业务翻译成另一种格式，这种格式与传输网络的带宽限制一致并且/或者与接收端的带宽限制一致。用户业务的RTP包表明用户传输的是同步业务。,8.2.2 RTP协议,图8-2中，V表示版本号。P（padding，填充）：如果消息中有附加的填充字节，填充标志打开。E（extension，扩展）：指示在RTP头之后的一个扩展头，目前未使用。CC（contributor count，贡献者计数）：消息中贡献源标识符的数目，最多允许有15个贡献源标识。M（marker，标记）：由应用规定其含义，典型地用于在数据流中（为不同意义的数据，如音频数据流中的静音帧和语音帧）建立划分边界。,8.2.2 RTP协议,PT（payload type，有效负载类型）：数据域中的业务类型（如G722音频、GSM等）。SN（sequence number，序列号）：一个表示数据分组顺序的数字，每发送一个RTP数据分组，序列号就增加1。通过使用RSVP建立预留通路之后，业务就可以使用RTP包在主机之间传送。接下来，实时传输控制协议（RTCP）将参与到业务服务中来，其作用是为主机之间提供交互下述信息的机制：它们正在提供的服务质量（如果它们是服务提供者）；和/或它们正在接收的服务质量（如果它们是服务客户端）。,8.2.2 RTP协议,RTCP协议对多媒体数据进行流量控制和拥塞控制，每个控制包中包含已发送数据包的数量、丢失数据包的数量等统计信息。在媒体会话过程中，RTCP会向所有的成员周期性地发送控制包，应用程序接收RTCP控制包，从中获得会话成员的相关信息和网络状况等信息。通过这些信息，服务器可以动态地改变传输速率，以保证最佳的服务质量。,8.2.3 H.323标准,H.323协议是ITU-T提出的在分组网络特别是在IP网上实现多媒体通信的标准，它充分利用了IP网廉价和计算机灵活的特点，为未来多媒体通信提供了一个性价比最优的平台。,8.2.3 H.323标准,H.323协议主要考虑了以下几个方面：互操作性，尤其是与N-ISDN和H.320的互通；控制对LAN的访问以避免发生阻塞；多点呼叫；可以从小型网络升级到中型网络。H.323组件的组成元素为终端、网关、网守、MC（multipoint controller）以及MCU（multipoint control unit）。这些组成部分通过信息流的传输进行通信。各组成部分的特点分别描述如下。,8.2.3 H.323标准,1.终端一个H.323终端工作在双向的实时多媒体通信的环境中，它既可以是一个个人计算机（PC）或者是一个独立的设备，也可以是一个运行H.323的多媒体程序。它支持音频通信或是可选择的视频或数据通信。由于一个H.323终端所提供的最基本服务是音频通信，因此H.323终端在IP可视电话服务中扮演了重要的角色。H.322的一个基本目标是和其他多媒体终端交互。H.323可以兼容无线网络上的H.324、B-ISDN上的H.310、ISDN上的H.320以及服务品质保障局域网中的H.322等终端。,8.2.3 H.323标准,一个具体的H.323设备的结构包括用户设备接口、视频编码/解码、音频编码/解码、电信装备、H.225.0层、系统控制功能以及到基于网络的包的接口。所有的H.323终端应该包括系统控制单元（MCU）、H.225.0层、网络接口以及音频编码单元。视频编码/解码单元和用户数据应用程序是可选的。,8.2.3 H.323标准,在H.323协议规范之外，还必须为H.225.0层提供以下所描述的服务：可靠的端到端（TCP）服务，用于建立H.245控制通道、数据通道以及呼入信令通道；不可靠的端到端（UDP）服务，用于建立音频通道以及RAS通道。这些服务是全双工的还是半双工的，单播的还是多播的，根据应用程序、终端负载能力以及网络的配置来决定。,8.2.3 H.323标准,2.网关（gateway）一个网关连接了两个不一样的网络。一个H.323网关提供了一个H.323网络和非H.323网络之间的连通性。例如，一个网关可以连接一个H.323终端和一个SCN网络（SCN网络包括所有的电话交换网，如公共电话交换网），并提供两者的通信。不同网络之间的连通是通过网关采用以下方法完成的：为呼叫的建立和拆除翻译协议；在不同网络之间转换媒体格式；在连通的网络之间传输信息。,8.2.3 H.323标准,3.MCU（多点控制单元）MCU（multipoint control unit）提供了3个或者更多终端会议的能力。参与会议的终端利用MCU建议连接。MCU管理会议资源，在终端之间协商以确定使用哪种编解码器，管理多媒体流。网守、网关和MCU是H.323协议的逻辑部分，但是它们也可以使用一个独立的硬件来实现。,8.2.4 网守,网守（gatekeeper，GK）是ITU-T制订的H.323建议中规定的一种网络实体，被认为是H.323网络的大脑，是H.323所有呼叫的汇聚点。网守维护电话号码和IP地址对应表，根据电话号码反馈给路由器一个IP地址，因此，网守实质上就是一个电话号码簿。虽然网守不是必需的，但是它提供了许多重要的服务，例如终端和网关的地址翻译服务、接入控制认证服务等，并具有路由选择、带宽管理、参与呼叫信令控制和其他的分组网维护管理功能。网守是对网络终端（如IP电话）网关等的呼叫和管理功能，用来管理IP电话网关，是VoIP网络系统的重要组成部分。,8.2.4 网守,1.RAS功能RAS部分的功能有用户认证、地址解析、带宽管理、路由管理、安全性管理、区域管理。1）区域管理：网守在结构上应能适应各种结构，既能支持单网守、单区域，也能支持多网守、多区域；在多区域情况下，各个区域即可以建立平等和直接的联系，也可通过上级网守联系。每个区域可配置多个网守，以用于备份和负荷分担。每个网关保存两个网守的地址，网关启动后定期向网守发RRQ登录，如果登录失败，则向另一网守登录。登录时网守保存网关的登录生存周期，超时后未重新收到网关的RRQ则认为网关故障，将其状态置为不可用。,8.2.4 网守,2）用户认证：网关用ARQ把用户卡号和密码发给网守，网守再把卡号和密码送给计费认证中心，如果计费认证中心认证通过，网守向网关发ACF，否则回ARJ。3）地址解析：网关在用户认证完成后，接受被叫号码，接收完被叫号码后把号码用ARQ送给网守，网守在路由表中查找目的网关的IP地址，如果目的网关不在本区域中，向上级网守或邻近网守请求在别的区域中查找。找到目的网关后在ACF中返回其IP地址，未找到返回ARJ。网守到网守的通信方式遵循H.225.0 Annex G的建议。,8.2.4 网守,4）带宽管理：由于每个网关接入到因特网的带宽有限，为了避免在话务高峰期造成网络拥塞，影响所有的呼叫，网守可设定进行带宽管理，网关在ARQ中填入所需的带宽，网守判断有无足够的带宽资源，如果资源不足，就拒绝呼叫。由于呼叫所需的带宽取决于语言编码的类别、是否采取静音、每个RTP包带几帧数据等，因此，在ARQ中的带宽应按最大需求申请，在通话开始时，再用BRQ修改所需带宽。,8.2.4 网守,5）路由管理：为了提高网络的可靠性和接通率，对话务流量进行分配，网守提供路由管理。6）安全性管理：由于因特网是一个开放的网络，容易遭到攻击，网守应提供基于H.235的安全机制，在相互通信的网关和网守之间、网守与网守之间设置密码，相互认证。为了与别的设备互通或别的原因，网守也可以不提供基于H.235的安全性机制或也可以针对IP地址进行认证，根据对方的IP地址来判断对方是否是合法用户。,8.2.4 网守,2.呼叫处理功能网守除了进行RAS功能外，还需要具有呼叫处理功能，利用H.225.0和H.245进行呼叫的建立，能力交换，呼叫维护和结束呼叫等处理。对于PC-to-Phone业务，PC需要对网守发起呼叫。再由网守向被叫网关发起呼叫，网守在进行呼叫处理的时候，其处理能力会下降很多。,8.2.4 网守,3.用户界面和参数设置用户界面和参数设置部分完成路由表、网关数据表、网关组数据表、本网守数据设定等数据的输入、修改、保存和调试信息、日志信息、告警信息的管理和用户权限管理。,8.2.4 网守,4.RADIUS Client程序计费认证中心中保存着所有卡号用户的信息，当网关向网守发送ARQ请求对用户进行认证时，GK通过Radius Client向计费认证中心发送用户验证请求，等待计费认证中心的验证结果。呼叫开始通话时，网守收到网关的通知后通过Radius Client向计费认证中心发送计费开始消息，通话结束后发送计费结束消息。,8.2.4 网守,5.网管及其他功能网守支持SNMP，通过运行SNMP代理，与网管中心建立联系。,8.3 流媒体技术,“流”概念的提出，彻底改变了因特网上媒体的处理方式。与以往必须等待全部文件下载完毕之后才能播放的方式不同，流媒体可以在文件下载的同时进行播放。因特网上传输的数据在被播放之后即被丢弃。用户可以在播放流媒体时，对它进行控制，当然这需要相应的Web服务器的支持。,8.3.1 流媒体的概念,所谓流媒体是指采用流式传输的方式在因特网上播放的媒体格式。和需要将整个视频文件全部下载之后才能观看的传统方式相比，流媒体技术是通过将视频文件经过特殊的压缩方式分成一个个的小数据包，由视频服务器向用户计算机连续、实时传送，用户不需要将整个视频文件完全下载之后才能观看，只需经过短暂的缓冲就可以观看这部分已经下载的视频文件，文件的剩余部分将继续下载。,8.3.1 流媒体的概念,流媒体技术先在使用者端的电脑上创造一个缓冲区，在播放前预先下载一段资料作为缓冲，当网络速度实际传输速度小于播放所耗用资料的速度时，播放程序就会取用这一小段缓冲区内的资料，避免播放的中断，也使得播放品质得以维持。,8.3.1 流媒体的概念,流媒体的另一个特点是，用户可以用它来实时广播，或者将它作为存档文件，以便在需要时再使用。这样的话，那些错过现场直播的人们，可以在以后有空的时候，通过流媒体来观看以前的直播。不管是要用流媒体来实时广播，还是要将它作为存档文件保存，流媒体文件的传输都受到带宽的限制，因为流媒体是实时的，所以数据的发送量受到用户接收数据能力的限制。,8.3.1 流媒体的概念,流媒体是实时的，在网页上点击链接，数秒钟后就可以看到或听到流媒体了。利用这个特性，可以进行实时广播。而文件下载则非实时，必须等到文件下载完毕才可以播放。对于流媒体，数据在播放后便被抛弃，因而可以做到合理的版权保护。此外，流媒体服务器端支持用户对流媒体的控制，用户可以控制媒体的播放。与用户的互动性是流媒体的另一优点。,8.3.1 流媒体的概念,流媒体格式文件经过了特殊的编码，能够实现在网络上边下载边播放。不同流媒体文件需要不同软件进行观看，有不少大型的多媒体播放软件集成了流媒体的播放技术。通常，编码由专门的压缩编码软件来完成，而使用者收听和收看网络影音文件则是一个解压缩的过程，这是由专门的播放器来完成的。,8.3.2 点播文件,流媒体放在服务器上后，任何人都可以去下载或播放它。事实上，多个用户可能同时播放同一个文件，而每个用户都可以对他们自己的文件进行控制。用户可以随心所欲地暂停、快放、倒带或重播文件。例如在远程教育中，人们可以在不同的地方上课。通过流媒体，学生可以利用不同的时间学习，还可以根据自己的节奏来调整学习进度。点播文件一个最大的优点就在于，文件是全天候使用的，在任何需要的时候可以被播放。,8.3.3 实时广播,实时广播要求事件的影像文件被实时编码，并将文件流直接发送到服务器上，服务器将获得的文件流直接向观众广播。实时广播需要的带宽要比点播大得多，因为所有人将在同一时间观看广播的影像。此外，实时广播还需要多个流服务器，以此来分担巨大的访问负载。,8.3.4 带 宽,带宽的随机性是流媒体系统必须处理的问题。即便从理论上保证用户的带宽是不变的，但事实上这根本不可能。带宽不停地在零和最大值之间波动。流媒体播放器利用缓冲器来解决这个问题。在文件被播放之前，计算机的内存将先存储该文件前几秒钟的内容。这使得媒体播放器可以在带宽变小时，仍有储备的数据播放。流媒体播放器按照固定的速率播放流。如果带宽变小了，新的数据不能到达，媒体播放器就读取缓冲器中的数据播放。如果缓冲器中的数据也播放完了，媒体播放器只能停下来，等着有新的数据补充到缓冲器中。在保证缓冲器中的数据总是满的情况下，流媒体播放器基本上能够避免由于因特网传输数据的随机性所造成的影响。,8.3.5 系统组成,基本的流媒体系统主要包括3个组件，即播放器、服务器和编码器。播放器。流媒体播放器是一种能够与流媒体服务器通信的软件，这种软件能够播放或丢弃收到的流媒体。流媒体播放器既可以像应用程序那样独立运行，也可以作为Web浏览器的插件。流媒体播放器通常都提供对流的交互式操作，比如播放、暂停、快放等。某些播放器还提供一些额外功能，比如录制、调整音频或视频，甚至提供文件系统记录你喜欢的流媒体文件。,8.3.5 系统组成,服务器。文件在编码之后，即被存放在流媒体服务器上。流媒体服务器处理来自客户端的请求。服务器在流媒体传输期间，同用户的播放器保持双向通信。这种通信是必须的，因为用户很有可能会暂停或快放一个文件。除了要响应播放器，流媒体服务器还必须及时处理新接收的实时广播数据，将其编码。事实上，流媒体服务器可能同时处理多个任务，一边要处理多个新接收的实时广播数据，一边要响应观众发出的请求，而且还要处理服务器硬盘上备份的数据流。许多流媒体服务器还提供各种额外功能，比如数字权限管理（DRM）、插播广告、分割或镜像其他服务器的流，还有组播。,8.3.5 系统组成,编码器。在观看或收听流媒体之前原始音频视频文件必须先转换为流媒体文件，以便在因特网上传播。这项工作由流媒体编码器来完成。编码过程包括两项工作：其一是在尽可能保证文件原有声音影像质量的情况下尽量降低文件的数据量；其二是按照容错格式将转换后的文件打包，这种处理方式能避免数据传输时发生丢失。流媒体协议和格式。协议主要有3种，即RealNetworks的RealMedia、Apple的QuickTime和Microsoft的Windows Media，流媒体文件格式主要有.mov、.asf、.3gp、.viv、.swf、.rt、.rp、.ra、.rm。,8.3.5 系统组成,RealNetworks公司的RealMedia包括RealAudio、RealVideo和Rea1Flash三类文件。其中，RealAudio用来传输接近CD音质的音频数据；Rea1Video用来传输不间断的视频数据；RealFlash 则是Rea1Networks公司与Macromedia公司联合推出的一种高压缩比的动画格式。Apple公司的QuikTime是Apple公司面向专业视频编辑、Web网站创建和CD-ROM内容制作领域开发的多媒体技术平台。QuickTime支持几乎所有主流的个人计算平台，是数字媒体领域事实上的工业标准，是创建3D动画、实时效果、虚拟现实、A/V和其他数字流媒体的重要基础。,8.3.5 系统组成,Microsoft公司的Windows Media的核心是ASF（advanced stream format）。ASF是一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布。其中，在网络上传输的内容就称为ASF Stream。ASF支持任意的压缩/解压缩编码方式，并可以使用任何一种底层网络传输协议，具有很大的灵活性。,8.4 流媒体服务器,QuickTime、RealSystem和Windows Media的流媒体服务器几乎具备一样的功能，它们之间最大的不同在于它们运行的平台以及它们发送的流媒体格式不同。QuickTime和RealSystem都使用RTSP协议来发送流媒体文件，而Microsoft则使用它自己的协议MMS。这3种流媒体服务器都支持它们自己的文件格式，而这些格式可以在相应的媒体播放器中播放。,8.4.1 Apple QuickTime和Darwin,QuickTime是由Apple最初于1991年发布并持续得到发展的一款强大的内置媒体播放器，可以以各种文件格式和高品质观看因特网视频、高清电影和个人媒体作品。QuickTime不仅仅是一个媒体播放器，而且是一个完整的多媒体架构，能够处理许多的数字视频、媒体段落、音效、文字、动画、音乐格式，以及交互式全景影像的数项类型。可以用来进行多种媒体的创建，生产，和分发，并为这一过程提供端到端的支持：包括媒体的实时捕捉，以编程的方式合成媒体，导入和导出现有的媒体，还有编辑和制作，压缩，分发，以及用户回放等多个环节。,8.4.1 Apple QuickTime和Darwin,QuickTime技术拥有三种主要的元件：1）媒体播放器。可在Apple网站上免费下载并安装在用户的电脑中。2）QuickTime格式，公开文件并且任何人都可以使用。3）软体开发工具，可用于Apple和Windows平台。这些工具允许人们开发他们自己的软件来操作QuickTime以及其他媒体档案。,8.4.1 Apple QuickTime和Darwin,1.QuickTime播放程序Apple在MacOS和Windows平台上推出免费的媒体播放软件，名字为“QuickTimePlayer”。有些公司使用QuickTime来作为他们的软件。例如Apple电脑拥有的iTunes音乐播放器使用QuickTime来作为他的播放技术。独立的QuickTime6（MPEG-4）播放器在很多操作系统都存在，FFmpeg程序库甚至支持Sorenson影像压缩格式。,8.4.1 Apple QuickTime和Darwin,2.QuickTime专业版QuickTime专业版是付费版的Apple QuickTime媒体播放器技术，它提供了MPEG-4（和7.0版的H.264）制作，以及其他未包含在免费播放器中的特色，像是输出各种不同视讯codec格式（像是动画、DV、mjpeg等等），图形格式（Tiff、Pict、Jpeg）以及声音（Wav、Aiff）。,8.4.1 Apple QuickTime和Darwin,1998年2月11日，国际标准组织（ISO）认可QuickTime档案格式作为MPEG-4标准的基础。这个行动的支持者表示QuickTime提供一个好的“生命周期”格式，很适合做摘录、编辑、存档、分发和播放（相对于以档案为串流资料方式的MPEG-1和MPEG-2而言，不适合作编辑之用）。在2002年开发者增加了MPEG-4的相容性到QuickTime6。设计者可以使用C语言或Java语言以及软体发展套件一起来开发Mac或是Windows平台上的多媒体应用程序。,8.4.1 Apple QuickTime和Darwin,3.Darwin流媒体服务器除了QuickTime流媒体服务器，Apple还提供了Darwin流媒体服务器，并可用于多种UNIX和Windows平台。Darwin是Apple公司于2000年所发布的一个开放源代码操作系统，它是Mac OS X和iOS操作环境的操作系统部分。,8.4.1 Apple QuickTime和Darwin,Darwin是一种类Unix操作系统，集成数种的技术，包含开放源代码的XNU核心，一种以微核心为基础的核心架构来实现Mach kernel。操作系统的服务和userland工具是以4.4BSD（柏克莱软件包的UNIX），特别是FreeBSD和NetBSD为基础。类似其他Unix-like操作系统，Darwin也有对称多处理器的优点，高性能的网络设施和支持多种集成的文件系统。,8.4.1 Apple QuickTime和Darwin,集成Mach到XNU核心的好处是可移植性，或者是在不同形式的系统使用软件的能力。举例来说，一个操作系统核心集成了Mach微核心，能够提供多种不同CPU架构的二进制格式到一个单一的文件（例如x86和PowerPC），这是因为它使用了Mach-O的二进制格式。Mach的缺点则是增加了操作系统核心的复杂度。在过去的微核心实现上，这种复杂度有时候会导致很难分离核心性能的问题。因此，采用Mach微核心会伴随风险，但它有潜在的好处是广泛的可携性。2003年7月，Apple在APSL的2.0版本下发布了Darwin，这是由自由软件基金会（FSF）批准的自由软件许可证。,8.4.2 RealNetWorks RealServer,RealNetworks是著名的RealPlayer播放器的制造商，总部设在美国华盛顿州的西雅图。除了RealPlayer，RealNetworks还有很多优秀产品，如HelixDNA、HelixMedia Delivery Platform、RealDownloader、安卓版Helix SDK 和安卓版RealPlayer等。2013年2月28日，RealNetworks中文官方网站全新上线。,8.4.2 RealNetWorks RealServer,RealNetworks 流媒体服务器端软件Real Server，可以用来在网上发布Real格式的音频、视频文件，以流格式（RTSP协议）进行网上传输播放，实现网上流视频的点播与直播，而不必担心RM文件被下载。RealNetworks的流媒体服务器软件不但可以支持RealNetworks公司自己的RealMedia格式的流媒体，还支持Apple公司的Movie格式，也支持微软的wmv格式。该软件9.0版起改名为RealNetworks Helix Universal Server。该软件根据功能的不同以及同时并发支持的连接数不同分为不同的版本。免费版功能较弱，支持25个连接。,8.4.2 RealNetWorks RealServer,使用Real Server能充分利用网络带宽，提高网络的并发流数，而且能大大提高对RM格式的支持，比如能解决RM文件拖动时缓冲过长的问题。2009年RealNetworks推出了RealPlayer SP。RealPlayer SP在RealPlayer的基础上增加了一些比较不错的新特性以及符合趋势潮流的功能，比如音乐商店、电子游戏商店、音频录制、视频提取与格式转换，能够方便地和主流网络对接，能够方便地浏览、保存和组织网络视频资源。这些都是免费功能，在收费版本中，还能获得 H.264格式转换、DVD播放与刻录等增值功能。,8.4.2 RealNetWorks RealServer,如今，Real Networks的产品已成为因特网上最具有影响的、最深入人心的媒体流解决方案。2012年1月，英特尔公司以1.2亿美元从RealPlayer视频播放软件开发商RealNetworks手中收入大量的专利技术，共有190项已获批专利，以及170项正在审批专利，其中还包括了后者开发的下一代流媒体视频高速压缩与解压缩技术。交易完成后，RealNetworks仍将可以在未来产品中使用公司已转让的专利技术，并将同时与英特尔公司紧密合作，继续开发下一代的视频播放软件及相关产品。,8.4.3 Windows Media Service,Windows Media Service（WMS）只能运行在基于Windows的服务器上。Microsoft规定了服务器的最低要求是Windows 95加DCom 95，但是建议使用NT 4.0加Service Pack 4或更新版本。Windows 2000 Server和Advanced Server附加了WMS。WMS使用自己的MMS协议支持高级流格式（advanced streaming format，ASF）文件。ASF文件可以有一些其他的文件扩展名，例如wma 和wmv等。虽然Windows Media Player可以播放很多音频和视频格式，但ASF格式是WMS支持的唯一的流格式。微软随Windows Server 2003捆绑发售的新的MMS，加入了对RTSP协议的支持。,8.4.3 Windows Media Service,Windows Media Service（WMS，Windows媒体服务）是微软用于在企业Intranet和因特网上发布数字媒体内容的平台，通过WMS，用户可以便捷的构架媒体服务器，实现流媒体视频以及音频的点播播放等功能。新一代多媒体内容发布平台WMS 2008可以在32位和64位的Web版、标准版、企业版和数据中心版的Windows Server 2008 R2中进行安装。WMS 2008的应用环境非常广泛，在企业内部应用环境中，可以实现点播方式视频培训，课程发布，广播等。在商业