图像处理设备和方法技术

本发明专利技术公开了一种能够实现较高的编码效率的图像处理设备和方法。预测运动向量生成单元（76）使用所提供的附近区域的运动向量信息来生成多种类型的预测运动向量信息，并且向运动估计/补偿单元（75）提供预测运动向量信息和由码数分配单元（77）分配给预测运动向量信息的码数的每个集合。码数分配单元（77）向预测运动向量生成单元（76）和可逆编码单元（66）提供关于将哪个码数分配给哪个预测运动向量信息的码数分配信息。该技术能够应用于例如以H.264/AVC方法为基础进行编码的图像编码设备中。

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备和方法
本专利技术涉及一种图像处理设备和方法，具体地，涉及一种能够实现较高的编码效率的图像处理设备和方法。
技术介绍
近年来，已广泛地使用如下设备：这些设备利用作为图像信息的特征的冗余，通过采用将图像信息处置为数字信号的编码格式来使图像经历压缩编码，并且此时通过诸如离散余弦变换等的正交变换和运动补偿来压缩图像，以便执行极为高效的信息传送和存储。该编码方法的示例包括MPEG（运动图片专家组）等。特别地，MPEG2（ISO/IEC13818-2）被定义为通用图像编码格式，并且是涵盖隔行扫描图像和顺序扫描图像、以及标准分辨率图像和高清图像两者的标准。例如，现在范围广泛的用于专业用途以及用于消费者用途的应用已广泛采用MPEG2。通过采用MPEG2压缩格式，在例如具有720×480个像素的标准分辨率的隔行扫描图像的情况下，分配4至8Mbps的码量（位率）。通过采用MPEG2压缩格式，在例如具有1920×1088个像素的高分辨率的隔行扫描图像的情况下，分配18至22Mbps的码量（位率）。因此，可以实现高压缩率和出色的图像质量。MPEG2主要针对适于广播用途的高图像质量编码，但是未处置比MPEG1的码量低的码量（位率），即具有较高压缩率的编码格式。由于个人数字助理的普及，预见到对这种编码格式的需求将从现在开始增加，并且作为响应，已执行MPEG4编码格式的标准化。对于图像编码格式，其规范在1998年12月被确认为国际标准ISO/IEC14496-2。此外，近年来，被称为H.26L（ITU-TQ6/16VCEG）的标准的标准化已在进行，其目的在于用于电视会议用途的图像编码。对于H.26L，已知较之诸如MPEG2或MPEG4的传统的编码格式，尽管需要较大的计算量用于其编码和解码，但是实现了较高的编码效率。再者，当前，作为MPEG4活动的一部分，以该H.26L为基础利用H.26L不支持的功能以实现更高的编码效率的标准化已被执行，作为增强压缩视频编码的联合模型。作为标准化的进程，H.264和MPEG4Part10（高级视频编码，以下称为H.264/AVC）在2003年3月成为国际标准。此外，作为其扩展，在2005年2月完成了FRExt（保真度范围扩展）的标准化，其包括诸如RGB、4:2:2或4:4:4的操作所需的编码工具以及由MPEG-2规定的8×8DCT和量化矩阵。因此，获得了能够使用H.264/AVC来良好地表达电影中包括的影片噪声的编码格式，并且该编码格式将用于广泛的应用，诸如蓝光盘（注册商标）。然而，最近，对更高压缩编码的需要增加，以诸如压缩约4000×2000个像素的图像，这是高画质（Hi-Vision）图像的像素数目的四倍，或者诸如对在诸如互联网的具有有限的传送容量的环境中分送高画质图像的需求。因此，在ITU-T下的VCEG（=视频编码专家组）继续进行关于提高编码效率的研究。顺便提及，例如，对于MPEG2格式，通过线性内插处理执行具有1/2像素精度的运动预测/补偿处理。另一方面，对于H.264/AVC格式，使用6抽头FIR（有限脉冲响应滤波器）滤波器作为内插滤波器来执行具有1/4像素精度的运动预测/补偿处理。图1是用于描述根据H.264/AVC格式的具有1/4像素精度的运动预测/补偿处理的示图。对于H.264/AVC格式，使用6抽头FIR（有限脉冲响应滤波器）滤波器执行具有1/4像素精度的运动预测/补偿处理。对于图1中的示例，位置A指示整数精度像素的位置，并且位置b、c和d指示具有1/2像素精度的位置，并且位置e1、e2和e3指示具有1/4像素精度的位置。首先，在下文中通过下式（1）定义Clip()。[数学式1]注意，在输入图像具有8位精度的情况下，max_pix的值是255。使用6抽头FIR滤波器通过下式（2）生成位置b和d的像素值。[数学式2]F=A-2-5·A-1+20·A0+20·A1-5·A2+A3b,d=Clip1((F+16)>>5)…(2)通过在水平方向和竖直方向上应用6抽头FIR滤波器通过下式（3）生成位置c的像素值。[数学式3]F=b-2-5·b-1+20·b0+20·b1-5·b2+b3或者F=d-2-5·d-1+20·d0+20·d1-5·d2+d3c=Clip1((F+512)>>10)…(3)注意，在水平方向和竖直方向两者上执行积和处理之后，最后执行仅一次Clip处理。如下式（4）中所示通过线性内插生成位置e1至e3。[数学式4]e1=(A+b+1)>>1e2=(b+d+1)>>1e3=(b+c+1)>>1...(4)再者，对于MPEG2格式，在帧运动补偿模式的情况下，按16×16个像素的增量执行运动预测/补偿处理，并且在场运动补偿模式的情况下，按16×8个像素的增量针对每个第一场和第二场执行运动预测/补偿处理。另一方面，对于H.264/AVC格式的运动预测补偿，宏块尺寸是16×16个像素，但是可以利用可变的块尺寸来执行运动预测/补偿。图2是图示根据H.264/AVC格式的运动预测/补偿的块尺寸的示例的示图。在图2中在上层按左起的顺序示出了被分成16×16像素、16×8像素、8×16像素和8×8像素分区的16×16个像素构成的宏块。在图2中在下层按左起的顺序示出了被分成8×8像素、8×4像素、4×8像素和4×4像素子分区的8×8像素分区。就是说，对于H.264/AVC格式，一个宏块可以被分成16×16像素、16×8像素、8×16像素和8×8像素分区之一，每个分区具有独立的运动向量信息。再者，8×8像素分区可以被分成8×8像素、8×4像素、4×8像素和4×4像素子分区之一，每个子分区具有独立的运动向量信息。再者，对于H.264/AVC格式，还执行多个参考帧的运动预测/补偿处理。图3是用于描述根据H.264/AVC格式的多参考帧的预测/补偿处理的示图。对于H.264/AVC格式，规定了多参考帧（Multi-ReferenceFrame）的运动预测/补偿方法。对于图3中的示例，示出了从现在起待编码的当前帧Fn，以及编码帧Fn-5至Fn-1。在时间轴上，帧Fn-1是在当前帧Fn之紧邻的先前个帧的帧，帧Fn-2是在当前帧Fn之前两个帧的帧，并且帧Fn-3是在当前帧Fn之前三个帧的帧。相似地，帧Fn-4是在当前帧Fn之前四个帧的帧，并且帧Fn-5是在当前帧Fn之前五个帧的帧。通常，帧在时间轴上距当前帧Fn越近，则将加上的参考图片码数（ref_id）就越小。具体地，帧Fn-1具有最小的参考图片码数，并且随后，参考图片码数按Fn-2，...,Fn-5的顺序是小的。对于当前帧Fn，示出了块A1和块A2，通过假设块A1与在当前帧Fn之前两个帧的帧Fn-2的块A1'相关来搜索运动向量V1。相似地，通过假设块A2与在当前帧Fn之前四个帧的帧Fn-4的块A1'相关来搜索运动向量V2。如上文所述，对于H.264/AVC格式，可以通过存储器中存储的多个参考帧在一个帧（图片）中参考不同的参考帧。就是说，可以针对一个图片中的每个块提供独立参考帧信息（参考图片码数（ref_id）），使得例如块A1参考帧Fn-2，并且块A2参考帧Fn-本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.04.01 JP 2010-085236;2010.09.30 JP 2010-222291.一种图像处理设备，包括：预测运动向量生成单元，配置成使用作为在时间方向和空间方向上位于待处理的图像的当前区域外围的外围区域的运动向量的外围运动向量来生成所述当前区域的预测运动向量；以及码数分配单元，配置成依据其中针对所述预测运动向量生成单元生成的预测运动向量分配码数的方式能够在时间方向和空间方向上改变的可变模式，从值较小的码数开始依次向所述预测运动向量生成单元已生成的所述预测运动向量分配码数。2.根据权利要求1所述的图像处理设备，其中所述可变模式是其中码数在固定模式中改变的模式，在所述固定模式中分配所述码数的方式被固定到缺省设定；以及其中所述码数分配单元依据所述可变模式分配所述预测运动向量的码数。3.根据权利要求2所述的图像处理设备，其中所述可变模式是其中分配给时间预测运动向量的码数和分配给空间预测运动向量的码数改变的模式。4.根据权利要求2所述的图像处理设备，进一步包括：模式设定单元，配置成设定所述可变模式；其中所述码数分配单元依据所述模式设定单元设定的可变模式来分配所述码数。5.根据权利要求1所述的图像处理设备，进一步包括：标志生成单元，配置成生成指示已依据所述可变模式分配所述码数的识别数据；以及传送单元，配置成传送其中所述图像已被编码的编码流，以及通过所述标志生成单元生成的识别数据。6.根据权利要求5所述的图像处理设备，其中所述标志生成单元针对每个切片生成所述识别数据；以及其中，所述传送单元传送所述标志生成单元生成的识别数据作为所述编码流的切片报头。7.根据权利要求5所述的图像处理设备，其中所述标志生成单元针对每个图片或序列生成所述识别数据；以及其中，所述传送单...

【专利技术属性】
技术研发人员：佐藤数史，
申请(专利权)人：索尼公司，
类型：发明
国别省市：