使用深度信息协助基于运动补偿的视频编码制造技术

一种装置，所述装置包括多个端口和耦合到所述端口的处理器，所述处理器用于从所述端口的任意端口接收多个视频帧，其中所述视频帧包括对象和背景，且所述视频帧包括所述对象和所述背景的多个像素；从所述端口的任意端口接收多个深度帧，其中所述深度帧包括所述对象和所述背景，且所述深度帧包括相对于背景深度的对象深度的指示；以及使用相对于所述背景深度的所述对象深度的所述指示对所述视频帧进行编码。

【技术实现步骤摘要】
【国外来华专利技术】使用深度信息协助基于运动补偿的视频编码相关申请案的交叉参考本专利技术要求2013年4月17日由仙等人递交的专利技术名称为“使用深度信息协助基于运动补偿的视频编码(1)81118 061)1:111:0 ^88181: 101:1011001111)611881:1011-8886(1 71(160 00(1111?) ”的第13/864672号美国非临时申请案的在先优先权，其要求2012年4月19日由仙等人递交的专利技术名称为“用于基于运动补偿的视频编码的系统和方法&II(1 161:110(1 ^01- 101:1011 001111)611881:1011-8886(1 71(160 00(1111?) ”的第61/635690号美国临时申请案的在先优先权，这两个申请案都以引用的方式并入本文本中。关于由联邦政府赞助的研究或开发的声明不适用。参考缩微胶片附录不适用。
无
技术介绍
通常，视频涉及相对较快地连续显示一系列静态图像或帧，从而使观看者感知画面中的运动。每个帧可以包含多个像素，每个像素可以表示帧中的单个参考点。即使在视频段较短的情况下也需要对大量数据进行描述，当数据在带宽容量受限的网络中传送时，可能会造成困难。因此，通过设备上的视频压缩硬件或软件将视频压缩，该设备为视频源。压缩可以是视频流在网络中传送之前的编码过程的一部分，这减少了传送视频所需的数据量。编码可指将源数据转换为符号的过程。随后，通过设备上的视频解压硬件或软件将视频解压作为解码过程的一部分，该设备为视频接收器。解码可指将符号转换回源数据的过程。改进的压缩和解压技术可提高压缩率，从而在不会大幅降低视频质量的情况下减少传送视频所需的数据量。此外，改进的压缩和解压技术可提高视频质量。
技术实现思路
在一项实施例中，本专利技术包括一种装置，所述装置包括多个端口和耦合到所述端口的处理器，所述处理器用于从所述端口的任意端口接收多个视频帧，其中所述视频帧包括对象和背景，且所述视频帧包括所述对象和所述背景的多个彩色像素；从所述端口的任意端口接收多个深度帧，其中所述深度帧包括所述对象和所述背景，且所述深度帧包括相对于背景深度的对象深度的指示；以及使用相对于所述背景深度的所述对象深度的所述指示对所述视频帧进行编码。 在另一项实施例中，本专利技术包括一种系统，所述系统包括摄像头，用于获取多个视频帧，其中所述视频帧包括对象和背景，且所述视频帧包括所述对象和所述背景的多个彩色像素；深度设备，用于获取多个深度帧，其中所述深度帧包括所述对象和所述背景，且所述深度帧包括相对于背景深度的对象深度的指示；以及耦合到所述摄像头和所述深度设备的编码器，其中所述编码器用于使用相对于所述背景深度的所述对象深度的指示对所述视频帧进行编码。 在又一项实施例中，本专利技术包括一种方法，所述方法包括从所述端口的任意端口接收多个视频帧，其中所述视频帧包括对象和背景，且所述视频帧包括所述对象和所述背景的多个彩色像素；从所述端口的任意端口接收多个深度帧，其中所述深度帧包括所述对象和所述背景，且所述深度帧包括相对于背景深度的对象深度的指示；以及使用相对于所述背景深度的所述对象深度的所述指示对所述视频帧进行编码。 结合附图和权利要求书，可从以下的详细描述中更清楚地理解这些和其它特征。 【附图说明】 为了更完整地理解本专利技术，现在参考以下结合附图和详细描述进行的简要描述，其中相同参考标号表不相同部分。 图1为根据本专利技术实施例的通信系统的示意图。 图2为深度帧的示例。 图3为根据本专利技术实施例的图示视频编码方法的流程图。 图4为根据本专利技术实施例的网络设备的示意图。 【具体实施方式】 最初应理解，尽管下文提供一个或多个实施例的说明性实施方案，但可使用任意数目的当前已知或现有的技术来实施所公开的系统和/或方法。本专利技术决不应限于下文所说明的所述说明性实施方案、图式和技术，包含本文所说明并描述的示范性设计和实施方案，而是可以在所附权利要求书的范围以及其均等物的完整范围内修改。 视频编码可包括运动估计。在视频编码中，运动估计可指用于确定使一个视频帧与另一个视频帧相关的运动矢量的特定过程。运动估计可采用块匹配算法。在此算法中，编码器可将一个视频帧划分为多个宏块，宏块又可细分为更小的子宏块。原始宏块和细分的子宏块还可称为编码块。编码器可识别第一视频帧中的第一宏块。接着，编码器可通过按顺序扫描第二视频帧中的每个宏块识别第二视频帧中的第二宏块，第二视频帧最接近第一视频巾贞中的第一宏块。如果第二宏块沿着二维网格相对第一宏块移动，那么编码器在对来自两个视频帧的数据进行编码之后，即全面描述第一宏块并仅从描述移动距离的运动矢量方面描述第二宏块。否则，编码器可全面描述第一宏块和第二宏块。与后一种场景相比，采用运动矢量的前一种场景减少了描述两个视频宏块及两个视频帧所需的数据量。编码器可重复该过程并确定有限数目的视频帧的运动估计信息直到，例如视频会议完成。 运动估计可以是用于视频编码的计算资源消耗的重要来源。在一些情况下，运动估计可占计算资源消耗的60%至70%。因此，一些现有解决方案试图通过使用快速运动估计和模式决策技术等改进算法来减少运动估计的计算资源消耗。在以上两个视频帧和两个宏块的示例中，编码器可使用预定义的搜索模式和提前终止标准来搜索第二宏块。在使用这些技术的过程中，编码器可跳过在不太可能与第一宏块匹配的第二视频帧中搜索候选宏块。继续使用上文的两个视频帧和两个宏块的示例，编码器可首先查找第一宏块的空间和/或时间近邻，或编码器可查找与第一宏块共置的不同空间分辨率的块。其它现有解决方案可能要求强大的硬件，例如更强大的图形处理器(GPU)、数字信号处理器(DSP)和现场可编程门阵列(FPGA)等。但是，从计算资源消耗的角度而言，此类系统和架构是不可取的。 本文中所公开的是用于改进的编码技术的系统和方法。所公开的技术可应用于视频会议、远程呈现、视频监控和涉及图像或视频的其它应用。利用这种技术，可通过基于像素的摄像头和深度设备捕捉视频。随后，编码器可使用像素数据和深度数据分割对象，跟踪视频帧中的这些对象，构建这些对象的运动模型以及基于这些运动模型推演出运动矢量。在此背景下，分割可指将帧划分为像素集。例如，帧中的单独对象可划分自帧的其它部分。通过采用该技术，编码器可至少部分地减少原本所需的运动估计量。运动估计的缩减可导致计算资源消耗缩减，从而需要不太复杂的硬件并降低了硬件成本和功率消耗。计算资源消耗缩减还减少所需数据量，从而提高视频容量和视频质量。此外，所公开的技术可直接提高压缩效率。最终，所公开的技术可直接改善视频质量。 至少在以下两种情况下使用所公开的技术会出现计算资源消耗缩减。第一种，对于建模的对象而言，编码器可绕过运动估计以支持所公开的技术。使用所公开的技术为建模的对象推演运动矢量需要的计算资源消耗可能比运动估计所需的更少。第二种，编码器可使用推演出的运动矢量而不是绕过对建模的对象的运动估计，确定比先前技术更好(例如，更优化)的运动预测器以开始对建模的对象内的宏块进行运动估计。在这种情况下，编码器可通过避免搜索不太可能匹配的宏块来减少计算资源消耗。 至少在以下两本文档来自技高网...

【技术保护点】
一种装置，其特征在于，包括：多个端口；以及耦合到所述端口的处理器，用于：从所述端口的任意端口接收多个视频帧，其中所述视频帧包括对象和背景，且所述视频帧包括所述对象和所述背景的多个彩色像素；从所述端口的任意端口接收多个深度帧，其中所述深度帧包括所述对象和所述背景，且所述深度帧包括相对于背景深度的对象深度的指示；以及使用相对于所述背景深度的所述对象深度的指示对所述视频帧进行编码。

【技术特征摘要】
【国外来华专利技术】2012.04.19 US 61/635,690;2013.04.17 US 13/864,6721.一种装置，其特征在于，包括: 多个端口 ；以及 耦合到所述端口的处理器，用于: 从所述端口的任意端口接收多个视频帧，其中所述视频帧包括对象和背景，且所述视频帧包括所述对象和所述背景的多个彩色像素； 从所述端口的任意端口接收多个深度帧，其中所述深度帧包括所述对象和所述背景，且所述深度帧包括相对于背景深度的对象深度的指示；以及 使用相对于所述背景深度的所述对象深度的指示对所述视频帧进行编码。2.根据权利要求1所述的装置，其特征在于，编码所述视频帧包括: 从所述视频帧提取所述彩色像素； 从所述深度帧提取相对于背景深度的对象深度的所述指示； 使用相对于所述背景深度的所述对象深度的所述指示从所述背景分割出所述对象； 计算所述对象的运动；以及 对所述对象进行编码。3.根据权利要求2所述的装置，其特征在于，计算所述对象的所述运动包括: 确定所述对象不是刚性的；以及 为所述对象执行运动估计。4.根据权利要求2所述的装置，其特征在于，计算所述对象的所述运动包括: 确定所述对象是刚性的；以及 在所述帧上跟踪所述背景中的所述对象； 建模所述对象的所述运动；以及 推演所述对象的第一编码块的运动矢量。5.根据权利要求4所述的装置，其特征在于，所述运动矢量用于描述所述第一编码块的运动，但运动估计用于描述所述视频帧的第二编码块的运动。6.根据权利要求5所述的装置，其特征在于，所述建模基于平移、几何、仿射或透视模型。7.根据权利要求1所述的装置，其特征在于，相对于所述背景深度的所述对象深度的所述指示由色彩强度的差异表示。8.根据权利要求1所述的装置，其特征在于，相对于所述背景深度的所述对象深度的所述指示由所述对象和深度传感器的数值距离表示。9.根据权利要求1所述的装置，其特征在于，所述视频帧用于视频会议、远程呈现或视频监控。10.一种系统，其特征在于，包括: 摄像头，用于获取多个视频帧，其中所述视频帧包括对象和背景，且所述视频帧包括所述对象和所述背景的多个彩色像素； 深度设备，用于获取多个深度帧，其中所述深度帧包括所述对象和所述背景，且所述深度帧包括相对于背景深度的对象深度的指示；以及 耦合到所述摄像头和所述深度设备的编码器，所述编码器用于使用相对于所述背景深度的所述对...

【专利技术属性】
技术研发人员：吴振宇，虹·希瑟·郁，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44