适应性感兴趣区域制造技术

本公开内容涉及适应性地确定和改善视频内容中的感兴趣区域的质量。区域检查部件检查图像的区域。检测部件确定区域中所包含的色度值。比较部件比较色度值与预定色度值的集合，并且基于比较确定帧中的感兴趣区域的集合。编码器以与图像的其余部分相比较高的或较好的质量对图像中的感兴趣区域编码。

【技术实现步骤摘要】
【国外来华专利技术】适应性感兴趣区域相关申请的交叉引用本公开内容要求于2012年2月10日提交的题为“ADAPTIVEREGIONOFINTEREST”的U.S.专利申请No.13/370,530的权益。其内容通过引用合并到本文中。
本公开内容总体上涉及一种促进适应性地确定和改善视频内容中的感兴趣区域的质量的系统和方法。
技术介绍
视频会议使得位于两个或多个位置处的人们能够经由视频和音频传输同时交互。过去，视频会议很大程度上限于商业用途。然而，伴随着带宽成本的降低而出现的因特网和无线通信网络的发展使得视频会议比以往任何时候都更加可用。存在大量服务，这些服务使用因特网或无线通信网络向用户提供低带宽视频会议。此外，包括相机的移动通信设备如智能电话和平板计算机的快速发展使得用户实际上能够在世界上随时随地地进行视频会议。通常，视频会议是一个需要发送和接收大量视频和音频信息的带宽密集型过程。低带宽视频会议部分通过对视频传输应用高压缩来缓解带宽需求。然而，严重压缩视频降低了所观察视频的整体质量。质量的降低通常很容易关于人面部是明显的。在低带宽视频会议中，人可能由于所采用的高压缩率而被呈现得不可识别。高带宽或高清视频会议可以提供高质量的观察视频。然而，这些技术可能需要不是很容易可用或可负担的特殊的通信架构。此外，普通的用于面部检测和/或增强的技术在计算上可能是昂贵的，并且可能不能很好地适用于视频会议。
技术实现思路
以下内容呈现本说明书的简化的
技术实现思路
，以提供对本说明书的一些方面的基本理解。这个
技术实现思路
不是本说明书的广泛的概述。并非意在标识出本说明书的关键的或者至关重要的元素，或者界定本说明书的具体的实施例的任何范围或者权利要求的任何范围。其唯一目的是以简化的形式呈现本说明书的一些概念，作为稍后呈现的更详细的描述的前序。根据主题创新的一方面，公开了一种用于适应性地确定和改善视频内容中的感兴趣区域的质量的系统和方法。确定图像的相应区域中所包含的色度值。将色度值和与人皮肤影调对应的色度值的集合进行比较，将具有与人皮肤影调对应的色度值的图像的区域包括在感兴趣区域的集合中。编码器以与图像的其余部分相比较高的或较好的质量对图像中所包括的感兴趣区域进行编码。在一种实施例中，区域检查部件检验帧的区域，检测部件确定帧的区域中所包含的色度值。比较部件将色度值与预定色度值的集合相比较，并且基于比较确定帧中的感兴趣区域的集合。以下描述和附图提出了本说明书的某些说明性方面。虽然这些方面指示可以使用本说明书的原理的各种方式，然而，其紧指示其中的一些方式。在结合附图考虑时，根据本说明书的以下详细描述，本说明书的其他优点和新颖特性将变得清楚。附图说明图1图示根据本公开内容中所描述的各方面的用于确定图像中的感兴趣区域的示例系统；图2图示根据本公开内容中所描述的各方面的用于确定图像中的感兴趣区域的示例系统；图3图示根据本公开内容中所描述的各方面的用于确定图像中的感兴趣区域的示例系统；图4图示根据本公开内容中所描述的各方面的用于确定图像中的感兴趣区域的示例系统；图5图示根据本公开内容中所描述的各方面的提供皮肤影调图的非限制性示例的系统；图6至图9是根据本公开内容中所描述的各方面的用于确定图像中的感兴趣区域的相应方法的示例流程图；图10是代表其中可以实现各实施例的示例性非限制性联网环境的框图；以及图11是代表其中可以实现各实施例的示例性非限制性计算系统或操作环境的框图。具体实施例概述现在参考附图描述创新，附图中，贯穿附图，相似的附图标记用于指代相似的元素。在以下描述中，出于解释的目的，提出了大量具体细节，以提供对此创新的透彻理解。然而，可以证明，可以在没有这些具体细节的情况下来实践创新。在其他实例中，以框图形式示出了公知的结构和设备，以方便描述创新。如“
技术介绍
”部分所指出的，传统的用于面部检测和/或增强的技术可能在计算上是昂贵的并且不适用于视频会议。创新的一个非限制性实现提供用于视频会议的高效的且精确的面部检测和/或增强。这个实现适应性地确定图像的与皮肤影调对应的区域，并且将关于这些区域的数据提供给编码器。编码器以与图像的其余部分相比较高的或较好的质量对这些区域编码。更具体地，根据一种实施例，区域检查部件检查帧的区域，并且检测部件确定帧的区域中所包含的色度值。比较部件比较色度值与预定色度值的集合，并且基于比较确定帧中的感兴趣区域的集合。帧中的感兴趣区域的适应性确定的非限制性示例现在转向图1，图示为根据本公开内容中所描述的各方面的用于适应性地确定图像中的感兴趣区域的示例系统100。通常，系统100可以包括存储计算机可执行部件的存储器以及执行存储器中所存储的计算机可执行部件的处理器，其示例可以参考图11找到。系统100包括适应性感兴趣区域部件102(ROI部件102)。ROI部件102获得、获取或接收帧的集合(例如，视频)中所包括的帧(例如，图像数据、照相数据等)。例如，在一种实现方式中，ROI部件102在第一时间接收视频104(或视频会议传输)中所包括的第一帧104A，而在第一时间之后以预定时间间隔(例如，预定帧速率)接收视频104中的其他帧。例如，ROI部件102可以在第一时间之后的第二时间接收第二帧104B，并且在第二时间之后的第三时间接收第三帧104C。ROI部件102确定视频104中所包括的相应帧中的感兴趣区域(ROI)，并且将关于感兴趣区域的数据(例如，位置、身份等)提供给编码器106。应当理解，创新的方面不受视频104中所包括的帧的数量的限制。例如，视频104可以包括X个帧，其中，X为整数。ROI部件102包括检测部件108和过滤器部件110。检测部件108检查、检验或者分析帧的区域(例如，宏块等)，并且确定帧中所包括的满足ROI准则的集合114(潜在的感兴趣区域或潜在的ROI)的区域的集合。ROI准则的集合114可以包括但不限于包括、存在或出现与待检测对象关联的预定色度值。例如，在一种实现方式中，检测部件108基于满足ROI准则的集合114对帧的区域绘图。过滤器部件110基于过滤准则的集合滤除潜在的ROI的集合中所包括的区域，并且基于经过滤的潜在的ROI的集合生成ROI数据的集合112。过滤准则的集合可以包括但不限于具有满足预定阈值的变化(variance)。例如，在一种实现方式中，过滤器部件110滤除潜在的ROI的集合中所包括的具有在预定阈值以下的变化的区域。ROI数据112指示帧中所包括的ROI和/或非感兴趣区域(RONI)。例如，在一种实现方式中，过滤器部件110生成图像地图(例如，ROI数据112或使用ROI数据112)，图像地图指示帧的相应区域是否包括ROI和/或RONI。应当理解，虽然ROI准则114被图示为保持在数据存储装置116中，然而并不限于这样的实现。例如，可以将ROI准则114保持在ROI部件102中，或者在ROI部件102可以在此处例如经由网络连接来访问ROI准则114的不同的位置处。编码器106至少部分地基于与视频104中所包括的至少一个帧关联的ROI数据112来转换、改变或编码视频104中所包括的帧。例如，在一种实现方式中，编码器106以与帧中的RONI相比较高的、较好的或较高级的质量对帧中的ROI编码。应当理解，虽然编本文档来自技高网...

【技术保护点】
一种系统，包括：存储器，存储计算机可执行部件；以及处理器，被配置成执行在所述存储器中存储的以下所述计算机可执行部件：区域检查部件，检验帧的区域；检测部件，确定在所述区域中包含的色度值；以及比较部件，比较所述色度值与预定色度值的集合，并且基于所述比较来确定在所述帧中的感兴趣区域的集合。

【技术特征摘要】
【国外来华专利技术】2012.02.10 US 13/370,5301.一种确定和改善视频内容中的感兴趣区域的方法，包括：响应于存储在非易失性计算机可读介质上的指令，由处理器通过对来自输入视频流的多个帧的当前输入帧编码，产生被编码的帧，其中对当前输入帧编码包括：从当前输入帧标识当前块；确定当前块的一个或多个色度值；确定当前块是否是皮肤影调块，其中当当前块的一个或多个色度值与色度图的皮肤影调区域内的一个或多个色度值匹配时，当当前块的聚合颜色值超过滤除阈值时，并且当多个相邻皮肤影调块的基数超过空间阈值时，当前块是皮肤影调块；基于当前块是否是皮肤影调块以及当前块是否在空间上与运动图中的运动块对应，确定在当前输入帧的感兴趣区域中是否包括当前块，其中所述运动图聚合来自视频中的多个帧的运动信息并指示视频的具有高的运动发生率的区；当当前输入帧的感兴趣区域和至少一个之前被编码的帧的感兴趣区域之间的差值超过更新阈值时，使用标识当前输入帧的感兴趣区域的感兴趣区域信息来对当前块编码，其中对当前块编码包括在输出比特流中包括标识当前输入帧的感兴趣区域的信息，当当前输入帧的感兴趣区域和至少一个之前被编码的帧的感兴趣区域之间的差值在更新阈值之内时，使用标识所述至少一个之前被编码的帧的感兴趣区域的感兴趣区域信息来对当前块编码，以及在输出比特流中包括被编码的块；以及传送或存储输出比特流。2.如权利要求1所述的方法，其中对当前输入帧编码包括基于多个训练帧标识皮肤影调色度图，其中输入视频序列不包括所述多个训练帧。3.如权利要求1所述的方法，其中对当前输入帧编码包括基于多个训练帧标识皮肤影调色度图，其中输入视频序列不包括所述多个训练帧，并且其中来自所述多个训练帧的训练帧包括训练皮肤影调像素使得皮肤影调色度图不包括训练皮肤影调像素的色度值的交点。4.如权利要求1所述的方法，其中当当前块的颜色变化大于最小颜色变化时，当前块的聚合颜色值超过滤除阈值。5.如权利要求1所述的方法，其中当当前块的绝对中位差大于最小绝对中位差时，当前块的聚合颜色值超过滤除阈值。6.如权利要求1所述的方法，其中对当前输入帧编码包括通过以下方式标识运动图：当来自所述多个帧的至少一个之前被编码的帧的空间对应块的运动矢量是非零运动矢量时，更新来自运动图的块的运动值。7.如权利要求1所述的方法，其中运动图是累积运动图，其基于来自所述多个帧的运动信息来指示当前输入帧的至少一个运动空间区域。8.如权利要求1所述的方法，其中基于当前块是否是皮肤影调块以及当前块是否在空间上与运动图中的运动块对应来确定在当前输入帧的感兴趣区域中是否包括当前块包括：确定当前块的感兴趣区域的评分；以及当感兴趣区域的评分超过感兴趣区域阈值时，在当前输入帧的感兴趣区域中包括当前块。9.如权利要求8所述的方法，其中确定感兴趣区域的评分包括：确定皮肤图块的评分；确定运动块的评分；以及将皮肤图块的评分与运动块的评分的和确定为感兴趣区域的评分。10.如权利要求9所述的方法，其中当当前块不是皮肤影调块时皮肤图块的评分是零，并且当当前块是皮肤影调块时皮肤图块的评分是皮肤图的权重。11.如权利要求9所述的方法，其中当当前块在空间上不与来自运动图的运动块对应时运动块的评分是零，并且当当前块在空间上与来自运动图的运动块对应时运动块的评分是运动的权重。12.如权利要求1所述的方法，其中对当前输入帧编码包括：基于当前输入帧的感兴趣区域的大小、所述至少一个之前被编码的帧的感兴趣区域的大小、与当前输入帧的感兴趣区域的大小有关的当前输入帧的感兴趣区域中的皮肤图块的比例、或者与所述至少一个之前被编码的帧的感兴趣区域的大小有关的所述至少一个之前被编码的帧的感兴趣区域中的皮肤图块的比例，确定当前输入帧的感兴趣区域和所述至少一个之前被编码的帧的感兴趣区域之间的差值。13.如权利要求1所述的方法，其中：色度图是从一组训练数据确定的具有代表第...

【专利技术属性】
技术研发人员：S·A·皮耶蒂拉，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国;US