用于视频质量测量的纹理掩蔽制造技术

具体的实现方式将图像分解为结构分量和纹理分量。计算结构分量的边缘强度图，并且计算纹理分量的纹理强度图。使用边缘强度和纹理强度计算纹理掩蔽加权。纹理强度越强或者边缘强度越弱，人类眼睛能够忍受的失真越多，因此纹理掩蔽加权就越小。然后，通过纹理掩蔽加权对局部失真进行加权以产生总体失真级别或总体质量度量。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】 本申请要求于2011年11月29日提交的国际专利申请第PCT/CN2011/083154号 的优先权，并通过引用将其全部内容并入本文。
本专利技术涉及视频质量测量，并且更具体地涉及响应于人类视觉系统的纹理掩蔽特 性来确定视频质量测量的方法和装置。
技术介绍
视频质量度量可被用于视频编码、网络调度以及多媒体服务推荐中。一般地，视频 内容越是有纹理，人类眼睛就可以忍受该视频内容中的越多的伪像。即，在人类眼睛观看视 频内容时，视觉伪像可能被视频内容本身掩蔽。人类眼睛的这种特性被称为纹理掩蔽特性。
技术实现思路
根据一般方面，存取具有至少一个图像区域的图像数据。将所述图像区域分解为 结构分量和纹理分量。确定所述图像区域中的结构分量的边缘强度，并且响应于所述图像 区域中的边缘强度确定纹理掩蔽加权。然后，响应于所述纹理掩蔽加权确定质量度量。 根据另外的一般方面，存取具有多个图像区域的图像数据。将所述图像数据分解 为结构分量和纹理分量。确定每个图像区域中的结构分量的边缘强度，并且响应于每个图 像区域中的边缘强度确定纹理掩蔽加权。响应于局部失真的加权组合确定质量度量，其中， 通过所述纹理掩蔽加权对所述局部失真进行加权。 在下面的附图和说明书中阐述一种或多种实现方式的细节。尽管以一种具体的方 式进行了说明，但是应当清楚的是实现方式可以被配置或体现为各种方式。例如，可以将实 现方式实施为方法，或者体现为诸如例如被配置为实施一组操作的装置或存储用于实施一 组操作的指令的装置这样的装置，或者体现为信号。其他方面和特征将根据结合附图和权 利要求一起考虑的下面的详细说明变得明显。【附图说明】 图IA是图示画面的图例，图IB是图示该画面的结构分量的图例，并且图IC是图 示该画面的纹理分量的图例。 图2是图示根据本原理的实施例的计算视频质量度量的例子的流程图。 图3A是图示根据本原理的实施例的边缘图的图例，图3B是图示根据本原理的实 施例的方差图的图例，并且图3C是图示根据本原理的实施例的被掩蔽的方差图的图例。 图4是图示可以与本原理的一种或多种实现方式一起使用的纹理掩蔽加权计算 装置的例子的框图。 图5是图示可以与本原理的一种或多种实现方式一起使用的视频质量测量装置 的例子的框图。 图6是图示可以与本原理的一种或多种实现方式一起使用的视频处理系统的例 子的框图。【具体实施方式】 视频质量度量可被用于视频编码、网络调度以及多媒体服务推荐中。取决于参考 视频的可用性，可以将视频质量度量分为全参考度量或者无参考度量。对于全参考质量度 量，参考和受损图像/视频之间的差可能是影响视觉质量的关键因素。对于无参考质量度 量，诸如量化参数（QP)或块出错率这样的配置参数可能是关键因素。 除了关键因素之外，人类视觉系统的纹理掩蔽特性也影响所感知的视觉质量。因 此，在设计视频质量度量时经常模拟纹理掩蔽特性。例如，可以将画面中的区域视为是可以 掩蔽视觉伪像的有纹理的区域，并且可以认为其对所感知的视频质量具有较少的影响。在 另一个例子中，可以将画面中的区域视为是无纹理的区域（例如，平滑的区域或者带有边 缘的区域），并且可以认为其对所感知的视频质量具有较多的影响。 为了利用纹理掩蔽特性，需要将画面中的区域标识为有纹理的区域或无纹理的区 域。如果区域包含复杂的和/或不规则的图案，则将其称为有纹理的区域。否则，将其称为 无纹理的区域，其中通常包含结构（例如，带有重要的视觉信息的大规模且规则的图案）， 例如边缘和轮廓。 为了标识一区域是有纹理的区域还是无纹理的区域，通常的方法是使用空间频率 和信号奇异性（singularity)。例如，某些现存的方法使用变换系数（例如，DCT系数）分 布将图像块分类为平滑的区域、有纹理的区域和边缘区域。然而，有纹理或无纹理的区域可 以既包含低空间频率子带和高空间频率子带，又包含不平滑的视觉信号。因此，使用空间频 率或信号奇异性来标识有纹理的区域可能是非常不准确的。另外的通常方法是使用局部信 号方差。然而，有纹理或无纹理的区域可能都具有很高的信号方差，因此无法通过方差进行 适当的区分。 在标识出有纹理的区域之后，另一个挑战性的问题是如何模拟纹理掩蔽特性，即， 如何根据区域是有纹理的还是无纹理的来调整视频质量度量。某些现存方法使用在视觉心 理学实验中观察到的敏感度常量（例如，沃森视觉掩蔽）对失真进行加权以得到质量度量。 然而，这样的视觉心理学实验是根据简化的观看条件通过伪像的视觉刺激来设计的，并且 可能不能够准确地模拟用于视觉质量估计的真实条件。 本原理涉及估计纹理掩蔽函数，从而可以改善全参考视觉质量度量和无参考视觉 质量度量这两者的准确性。 图2例示了使用纹理掩蔽函数来估计视频质量度量的示例性方法200。在步骤 210,例如通过双向（bilateral)滤波器、各向异性滤波器或者全方差调节将图像分解为结 构分量和纹理分量。对于结构分量，在步骤220实施边缘检测以得到边缘图。例如，可以 通过索贝尔（Sobel)滤波器或者坎尼（Canny)边缘检测器根据边缘检测来确定边缘强度。 可以对边缘强度进行二元化，即：确定是否存在边缘。对于纹理分量，在步骤225计算出例 如通过方差测量的纹理强度以得到纹理强度图。更一般地，可以通过像素值的局部统计矩 (statistic moment)或者自回归残差的局部统计矩来测量纹理强度。 然后，在步骤230基于边缘信息和纹理强度来估计纹理掩蔽加权。在下述的示例 性实施例中，将纹理掩蔽加权设置为O和1之间的值，其中，1表示"无变化"，并且因此表示 "无掩蔽"。然而，可以容易地将纹理掩蔽加权的值扩展到其他范围。可以在步骤240使用 纹理掩蔽加权函数将局部失真变换为总体质量度量。 下面，更详细地论述将图像分解（210)为结构分量和纹理分量的步骤、计算（230) 纹理掩蔽加权的步骤以及产生（240)视频质量度量的步骤。 将图像分解为结构分量和纟又理分量 使用双向滤波器作为例子，论述如何可以将图像分解为结构分量和纹理分量。在 使用其他方法进行分解时，可以容易地扩展所述原理。 为了分解图像I，可以利用双向滤波器来迭代地处理滑动窗口中的像素。假设图像 的大小为mXm并且滑动窗口的大小为（2n+l) X (2n+l)，按照如下实现针对像素 I (X，y)的 滤波处理： a)计算窗口中的每个相邻像素 I (i，j)的接近度参数： 彿,j·) = e-[(.">2+[<"作4 , 其中，〇 d控制接近度的影响。 b)计算窗口中的每个相邻像素 I (i，j)的相似度参数： H(i,j) = e-[l(r'yyi(Ljflla', 其中，影响相似度的影响。 c)计算每个相邻像素的滤波系数： 冲，./)=(來/·)"(/.，./),工"' d)通过对图像进行滤波来计当前第1页1 2 本文档来自技高网...

【技术保护点】
一种估计视频质量的方法，包含：存取具有至少一个图像区域的图像数据；将所述图像区域分解(210)为结构分量和纹理分量；确定(220)所述图像区域的结构分量的边缘强度；响应于所述边缘强度，确定(230)纹理掩蔽加权；以及响应于所述纹理掩蔽加权，确定(240)质量度量。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：张帆，谢凯，江文斐，陈志波，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国;FR