多媒体技术视频编码基础.ppt
视频编码基础,2,主要内容,基本概念视频序列的常用格式块的运动估计与运动补偿视频序列的混合编码框架,3,基本概念,视频中存在的冗余性空间冗余性无损规则物体的物理相关性时间冗余性视频帧间的相关性信息熵冗余（编码冗余性）数据与携带的信息.编码器/解码器编码器解码器,4,基本概念,压缩算法无损压缩指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重构后的数据与原来的数据完全相同用于要求重构的信号与原始信号完全一致的场合。一个很常见的例子是磁盘文件的压缩。有损压缩重构后的数据与原来的数据有所不同，但不影响人对原始资料表达的信息造成误解。适用于重构信号不一定非要和原始信号完全相同的场合。,5,基本概念,数据压缩的性能指标压缩质量评价客观评价：均方误差、信噪比 Signal to Noise Ratio、峰值信噪比Peak Signal to Noise Ratio（图像）、分段信噪比（音频）等,6,基本概念,数据压缩的性能指标压缩质量评价峰值信噪比的局限性,PSNR值25.56时的效果,PSNR值29.87时的效果,7,基本概念,(d),8,基本概念,(d),(c)(d)相比，(d)更好,9,基本概念,10,基本概念,PSNR数值都是27.123，单从数值上，我们并不能判断哪一幅更好。,11,基本概念,数据压缩的性能指标压缩质量评价主观评价：(1)由人来评测图像质量，按(优良中差劣)等级打分(2)成对比较打分，国际上通用的测试方法:按照随机次序请评委观察比较原始图像和压缩编码的图像。其中A为原始图像，B为编码解码后的图像，以任意的A、B次序让评委打分评定。,12,基本概念,数据压缩的性能指标衡量压缩算法的三个主要性能指标压缩比压缩质量（失真）压缩与解压缩的速度不能兼得时，要综合考虑,13,视频序列的常用格式,彩色电视制式颜色空间典型的视频图像采样格式不同分辨率的视频序列,14,视频序列的常用格式,彩色电视制式 视频图像序列是对电视信号和摄像机输出信号的数字化而形成原始电视信号是 一种扫描方式的模拟信号，以PAL制式（倒相正交平衡调幅制）为例单遍扫描完成一个图像分量，按照奇偶场扫描，50场/秒，奇偶交叉产生一个图像帧，25帧/秒，625行(扫描线)/帧高宽比(aspect ratio)：4:3 颜色模型：YCbCr（是YUV模式的一个经过校正的版本）,15,视频序列的常用格式,颜色空间YUV,YIQ与YCrCb颜色空间,16,视频序列的常用格式,颜色空间图像子采样 如果对色差信号使用的采样频率比对亮度信号使用的采样频率低，这种采样就称为图像子采样(subsampling)。,17,视频序列的常用格式,颜色空间图像子采样,18,视频序列的常用格式,颜色空间例如,19,视频序列的常用格式,视频帧格式CIF：Common Intermediate FormatQCIF：Quarter CIFSQCIF：Sub-Quarter CIF video frame formats,Video frame formats,20,不同分辨率的视频序列,视频帧格式,不同分辨率的采样结果,21,运动估计与运动补偿,运动估计与运动补偿的必要性运动估计与运动补偿的概念基于块的运动估计与运动补偿基于区域的运动估计与运动补偿基于像素的运动估计与运动补偿运动向量的快速搜索算法,22,运动估计与运动补偿,运动估计与运动补偿的必要性,Still image from natural video scene,Spatial and temporal sampling of a video sequence,23,运动估计与运动补偿,运动估计与运动补偿的必要性,Interlaced video sequence,24,运动估计与运动补偿,运动估计与运动补偿的必要性,Top field,bottom field,25,运动估计与运动补偿,运动估计与运动补偿的必要性,residual frame=current frame-reference frame,26,运动估计与运动补偿的必要性,运动估计与运动补偿的必要性,像素的运动轨迹,27,运动估计与运动补偿,运动估计与运动补偿的概念运动补偿MC(motion compensation)在图像序列中，相邻帧间的主要变换是由物体的运动引起，检测物体运动参数，通过运动参数由前一帧预测当前帧，称为运动补偿 MC运动估计ME(motion estimation)运动补偿的主要任务是检测物体的运动参数，物体的运动参数的检测称为运动估计ME,28,运动估计与运动补偿,基于块的运动估计与运动补偿运动补偿MC(motion compensation),块匹配示意图,Reference frame current frame,29,运动估计与运动补偿,基于块的运动估计与运动补偿基于块运动补偿的步骤运动估计在参考帧搜索与当前帧中的当前块MN块最匹配的块，以获得运动向量MV(motion vector)运动补偿计算余量块=当前块-最匹配的块(形成residual frame)空间模型输入 residual frame 作为空间模型的输入,同时运动向量作为熵编码模型的输入,30,运动估计与运动补偿,基于块的运动估计与运动补偿基于块运动补偿的特点算法简单易行,适合于矩形帧处理,适于基于块的变换,例如 余弦变换DCT真实的物体可能没有清晰的边界,物体运动可能不是整数像素位置运动,运动复杂,如可变性物体运动,旋转等。,31,运动估计与运动补偿,基于块的运动估计与运动补偿宏块的概念一个宏块:4个Y 块 1个Cb块1个Cr块,32,运动估计与运动补偿,基于块的运动估计与运动补偿宏块的概念一个宏块:4个Y 块 1个Cb块1个Cr块,33,运动估计与运动补偿,基于块的运动估计与运动补偿自适应块运动补偿块越小，residual frame 的能量越小，运动补偿效果越好。最好的运动补偿块大小应是自适应的，即自适应（Adaptive）块运动补偿,平坦处块大,细节处块小。,34,运动估计与运动补偿,基于块的运动估计与运动补偿自适应块运动补偿,35,运动估计与运动补偿,基于块的运动估计与运动补偿自适应块运动补偿,36,运动估计与运动补偿,基于块的运动估计与运动补偿Sub-pixel 运动估计,reference region Reference region interpolated to half-pixel positions,37,运动估计与运动补偿,基于块的运动估计与运动补偿Sub-pixel 运动估计,Residual(4*4blocks,quater-pixels compensation)Residual(4*4blocks,half-pixels compensation),38,运动估计与运动补偿,基于块的运动估计与运动补偿Sub-pixel 运动估计,Residual(4*4blocks,quater-pixels compensation)Residual(4*4blocks,half-pixels compensation),39,运动估计与运动补偿,基于块的运动估计与运动补偿Sub-pixel 运动估计,40,运动估计与运动补偿,基于块的运动估计与运动补偿Sub-pixel 运动估计 用SAE（sum of absolute errors）度量剩余能量。在每一个序列中，都有改进。,41,运动估计与运动补偿,基于块的运动估计与运动补偿Sub-pixel 运动估计,42,运动估计与运动补偿,基于块的运动估计与运动补偿Sub-pixel 运动估计,43,运动估计与运动补偿,基于块的运动估计与运动补偿Sub-pixel 运动估计 44的Quarter-pixel运动补偿需要插值，与1616整数像素相比运动补偿算法复杂度高。两种情形 44 Quarter-pixel 用较多的字节编码向量，用较少的字节编码剩余。1616 Integer-pixel 用较多的字节编码剩余能量，用较少的字节编码向量。,44,运动估计与运动补偿,基于区域的运动估计与运动补偿,45,运动估计与运动补偿,基于区域的运动估计与运动补偿当前的块覆盖运动物体(椭圆)的一部分和非运动物体矩形的部分，这两个候选块均能作为最佳匹配块.对于任意形状区域的运动估计与运动补偿。,46,运动估计与运动补偿,基于像素的运动估计与运动补偿基于像素的运动估计是对每一个像素估计其运动向量在视频编码发展中曾经起到重要作用。实验研究表明:它的有效性不如块匹配,在实际中应用较少，没被标准采纳。,47,运动估计与运动补偿,基于像素的运动估计与运动补偿基于像素的运动估计是对每一个像素估计其运动向量在视频编码发展中曾经起到重要作用实验研究表明:它的有效性不如块匹配,在实际中应用较少，没有标准采纳该方法,48,运动估计与运动补偿,快速运动估计（Fast ME）算法运动估计的关键问题匹配准则搜索算法,49,运动估计与运动补偿,快速运动估计（Fast ME）算法常用的运动估计匹配准则均方误差平均绝对误差,50,运动估计与运动补偿,快速运动估计（Fast ME）算法常用的运动估计匹配准则,51,运动估计与运动补偿,快速运动估计（Fast ME）算法经典的快速运动估计（Fast ME）算法二维对数搜索算法三步搜索算法新三步搜索算法,52,运动估计与运动补偿,快速运动估计（Fast ME）算法二维对数搜索算法1981年Jain等人提出了二维对数搜索法。基本思想：从（0，0）位置开始搜索的。每一步试验菱形排列的五个搜索点。下一步，把中心点移到前一步找到的最佳匹配点处并重复菱形搜索。当最佳匹配点是中心点或是在最大搜索区域的边界上时，就减小搜索步长（菱形的半径）。否则步长保持不变。当步长减少到一个像素时，就达到了最后一步，并且在这最后一步检验九个搜索点。初始搜索步长一般设定为最大搜索区域的一半。,53,运动估计与运动补偿,快速运动估计（Fast ME）算法二维对数搜索算法,54,运动估计与运动补偿,快速运动估计（Fast ME）算法三步搜索算法1981年Koga等人提出了三步搜索法(TSS)。基本思想：这种搜索的步长从等于或者略大于最大搜索范围的一半开始。在每一步中，比较九个搜索点。它们包括搜索正方形的中心点和八个位于搜索区边界上的搜索点。每一步以后搜索步长减小一半，直至搜索步长为一个像素时结束。在每一个新的搜索步中，搜索中心点移到由前一步得到的最佳匹配点。,55,运动估计与运动补偿,快速运动估计（Fast ME）算法三步搜索算法,56,视频序列混合编码模型,快速运动估计（Fast ME）算法新三步搜索算法Li等人在1994年 提出新三步搜索法（NTSS），是对三步搜索法的改进。基本思想：在第一次搜索时，增加了一个内环，分三种情况：1.第一次搜索的最小点在外环上 2.第一次搜索的最小点在内环中心点，此时运动矢量为（0，0）3.第一次搜索的最小点在内环点，以最小点为核心 进行一次搜 索步长为1的全搜索,57,运动估计与运动补偿,快速运动估计（Fast ME）算法新三步搜索算法,58,运动估计与运动补偿,快速运动估计（Fast ME）算法新三步搜索算法,59,运动估计与运动补偿,快速运动估计（Fast ME）算法新三步搜索算法,60,视频序列的混合编码模型,THE HYBRID DPCM/DCT VIDEO CODEC MODEL,61,视频序列的混合编码模型,THE HYBRID DPCM/DCT VIDEO CODEC MODEL,62,视频序列的混合编码模型,THE HYBRID DPCM/DCT VIDEO CODEC MODEL,63,视频序列的混合编码模型,THE HYBRID DPCM/DCT VIDEO CODEC MODEL,64,视频序列的混合编码模型,THE HYBRID DPCM/DCT VIDEO CODEC MODEL,65,视频序列的混合编码模型,THE HYBRID DPCM/DCT VIDEO CODEC MODEL,66,视频序列的混合编码模型,THE HYBRID DPCM/DCT VIDEO CODEC MODEL,
