使用3D辅助数据的运动估计制造技术

用于执行运动估计的方法、系统、以及装置，包括编码在计算机存储介质上的计算机程序。在一些实施方式中，一种方法包括基于点云数据的连续性数据生成点云数据的分割部分。分割的点云数据的表示被投影到三维边界框的侧面上。基于分割的点云数据的投影表示生成patch。生成patch的第一帧。使用第一帧和参考帧生成第一辅助信息和第二辅助信息。基于第一辅助信息和第二辅助信息识别第一帧中与参考帧中的patch匹配的patch。基于第一辅助信息和第二辅助信息之间的差生成第一patch和第二patch之间的运动矢量候选。使用运动矢量候选执行运动补偿。

【技术实现步骤摘要】
【国外来华专利技术】使用3D辅助数据的运动估计相关申请的交叉引用本申请要求于2018年10月2日提交的申请号为No.62/740,237的美国临时专利申请以及于2019年6月19日提交的申请号为62/863,362的美国临时专利申请的优先权，其全部内容以引入的方式并入本文。
技术介绍
点云处理已经成为诸如娱乐业、智能汽车导航、地理空间探查、现实世界对象的三维(threedimensional，3-D)建模、以及环境可视化之类的各种应用的重要组成部分。
技术实现思路
在一些实施方式中，说明书描述了用于使用三维和二维辅助数据执行运动估计的技术。执行运动估计是为了编码和发送三维点云数据。三维点云数据包括勾勒或视觉表示三维对象(例如人或真实世界物品)的外表面的数据点。三维点云数据还可以包括指示三维点云数据的颜色、纹理、和深度的属性信息。编码器或解码器可以使用运动修正数据分别对三维点云数据进行编码或解码。在一些实施方式中，编码器或解码器使用三维边界框来包围三维点云数据，并接着生成用于编码和传输的patch。编码器可以将三维点云数据的图像投影到三维边界框的每个侧面上。编码器可以将图像或patch分组成帧以用于编码。为了减少通常用于发送三维点云数据的带宽量(这通常较大)，编码器可以替代地通过将来自当前生成的帧的patch与先前生成的帧的patch进行比较，从而生成运动修正数据。编码器可以在两个帧之间匹配patch并基于标识匹配的patch的数据来生成运动修正数据。例如，编码器可以使用定义patch的位置坐标和尺寸的辅助信息来作为运动修正数据。代替编码和发送patch的帧，运动修正数据可以用于编码和发送，以减少整体传输带宽和正确地解码和接收消息。一旦确定了运动修正数据，运动修正数据就可以添加到现有视频压缩技术以改进三维点云数据的传输。在一个总的方面，一种方法包括：基于三维点云数据的连续性数据生成记录媒体的三维点云数据的分割部分；将分割的三维点云数据的表示投影到三维边界框的一个或多个侧面，分割的三维点云数据的表示基于三维边界框的投影侧面而不同；基于分割的三维点云数据的投影表示生成一个或多个patch；生成一个或多个patch的第一帧；生成第一帧的第一辅助信息；生成参考帧的第二辅助信息；基于第一辅助信息和第二辅助信息，识别第一帧中与参考帧中的第二patch匹配的第一patch；基于第一辅助信息和第二辅助信息之间的差生成第一patch和第二patch之间的运动矢量候选；使用运动矢量候选执行运动补偿。本公开的该方面和其他方面的其他实施例包括用于执行上述方法动作的对应系统、装置、以及编码在计算机存储设备上的计算机程序。可以借助于安装在系统上的软件、固件、硬件或其组合来配置一个或多个计算机的系统，这些软件、固件、硬件在操作时使系统执行上述动作。一个或多个计算机程序可以通过具有指令的方式进行配置，该指令在由数据处理装置执行时使该装置执行上述动作。可选地，上述实施例和其他实施例可以单独或组合地包括以下特征中的一个或多个。例如，一个实施例可以包括所有以下特征的组合。在一些实施方式中，上述方法包括，参考帧对应于先前发送的编码帧，并且参考帧被解码以生成第二辅助信息。在一些实施方式中，生成记录媒体的三维点云数据的分割部分还包括：生成三维点云数据媒体上的多个分割部分，以用于后续对多个分割部分中的每个分割部分进行投影和编码。在一些实施方式中，第一辅助信息包括一个或多个patch中的每个patch的索引数据、一个或多个patch中的每个patch的二维数据、以及一个或多个patch中的每个patch的三维数据。在一些实施方式中，一个或多个patch中的每个patch的索引数据对应于三维边界框的对应侧面。在一些实施方式中，对应于三维点云数据的一部分的一个或多个patch中的每个patch的二维数据和一个或多个patch中的每个patch的三维数据是连接的。在一些实施方式中，基于三维点云数据的连续性数据生成三维点云数据的一个或多个patch还包括：确定三维点云数据在每个方向上的平滑标准；比较三维点云数据的每个方向上的平滑标准；以及响应于比较，选择在边界框的侧面上具有最大投影面积的三维点云数据的平滑标准的方向。在一些实施方式中，生成第一patch和第二patch之间的运动矢量候选还包括：确定第一辅助信息的二维数据和第二辅助信息的二维数据之间的距离；基于第一辅助信息的二维数据和第二辅助信息的二维数据之间的距离生成运动矢量候选；以及将运动矢量候选添加到运动矢量候选列表。本说明书的主题的一个或多个实施例的细节在附图和以下描述中阐述。根据说明书、附图、和权利要求书，本主题的其他特征、方面、和优点将变得显而易见。附图说明图1是对视频信号进行编解码的示例方法的流程图。图2是用于视频编解码的示例编解码(codec)系统的示意图。图3是示出示例视频编码器的框图。图4是示出示例视频解码器的框图。图5是示出单向帧间预测的示例的示意图。图6是示出双向帧间预测的示例的示意图。图7是示出在视频编解码中采用的示例帧内预测模式的示意图。图8是示出视频编解码中块的方向关系的示例的示意图。图9是示出示例环内滤波器的框图。图10示出了在块划分中采用的示例划分模式。图11是示例视频编码机制的示意图。图12是用于编解码的计算设备的示意图。图13是示出点云媒体的系统的示例。图14是示出点云帧序列的系统的示例。图15是三维patch边界框到二维patch投影的变换过程的示例。图16是示出3D到2Dpatch投影结果的系统的示例。图17是点云媒体的属性分割的示例。图18是示出具有属性信息的点云媒体的打包patch的系统的示例。图18是基于视频的点云压缩(video-basedpointcloudcompression，V-PCC)位流结构的示例。图19是用于执行运动估计的系统的示例。图20是示出当前帧的patch和参考帧的patch之间的运动矢量候选的系统的示例。图21示出了用于融合候选列表构造的导出过程。图22示出了针对空间融合候选的冗余校验考虑的空间融合候选和候选对的位置的系统。图23是示出Nx2N分区和2NxN分区的第二PU的位置的系统。图24示出了获得时间融合候选(temporalmergecandidate)的缩放运动矢量。图25是示出时间融合候选的候选位置的系统。图26示出了组合双向预测融合候选(bi-predictivemergecandidate)的示例表格。图27是包括使用辅助数据的运动估计过程(pipeline)的修改的系统的示例。图28是V-PCC单元有效载荷的包流表示的示例。图29是V-PCC单元有效载荷的视觉表示的另一示例。图30是用于使用3D辅助数据执行运动估计的过程的示例的流本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括：/n一个或多个处理器基于三维点云数据的连续性数据生成记录媒体的所述三维点云数据的分割部分；/n所述一个或多个处理器将分割的所述三维点云数据的表示投影到三维边界框的一个或多个侧面，分割的所述三维点云数据的所述表示基于所述三维边界框的投影侧面而不同；/n所述一个或多个处理器基于分割的所述三维点云数据的投影表示生成一个或多个patch；/n所述一个或多个处理器生成所述一个或多个patch的第一帧；/n所述一个或多个处理器生成所述第一帧的第一辅助信息；/n所述一个或多个处理器生成参考帧的第二辅助信息；/n所述一个或多个处理器基于所述第一辅助信息和所述第二辅助信息，识别所述第一帧中与所述参考帧中的第二patch匹配的第一patch；/n所述一个或多个处理器基于所述第一辅助信息和所述第二辅助信息之间的差，生成所述第一patch和所述第二patch之间的运动矢量候选；/n所述一个或多个处理器使用所述运动矢量候选执行运动补偿。/n

【技术特征摘要】
【国外来华专利技术】20181002 US 62/740,237;20190619 US 62/863,3621.一种计算机实现的方法，包括：
一个或多个处理器基于三维点云数据的连续性数据生成记录媒体的所述三维点云数据的分割部分；
所述一个或多个处理器将分割的所述三维点云数据的表示投影到三维边界框的一个或多个侧面，分割的所述三维点云数据的所述表示基于所述三维边界框的投影侧面而不同；
所述一个或多个处理器基于分割的所述三维点云数据的投影表示生成一个或多个patch；
所述一个或多个处理器生成所述一个或多个patch的第一帧；
所述一个或多个处理器生成所述第一帧的第一辅助信息；
所述一个或多个处理器生成参考帧的第二辅助信息；
所述一个或多个处理器基于所述第一辅助信息和所述第二辅助信息，识别所述第一帧中与所述参考帧中的第二patch匹配的第一patch；
所述一个或多个处理器基于所述第一辅助信息和所述第二辅助信息之间的差，生成所述第一patch和所述第二patch之间的运动矢量候选；
所述一个或多个处理器使用所述运动矢量候选执行运动补偿。


2.根据权利要求1所述的计算机实现的方法，其中，所述参考帧对应于先前发送的编码帧，并且所述参考帧被解码以生成所述第二辅助信息。


3.根据前述权利要求中任一项所述的计算机实现的方法，其中，生成所述记录媒体的所述三维点云数据的所述分割部分还包括：
所述一个或多个处理器生成所述三维点云数据媒体上的多个分割部分，以用于后续对所述多个分割部分中的每个分割部分进行投影和编码。


4.根据前述权利要求中任一项所述的计算机实现的方法，其中，所述第一辅助信息包括所述一个或多个patch中的每个patch的索引数据、所述一个或多个patch中的每个patch的二维数据、以及所述一个或多个patch中的每个patch的三维数据。


5.根据权利要求4所述的计算机实现的方法，其中，所述一个或多个patch中的每个patch的所述索引数据对应于所述三维边界框的对应侧面。


6.根据权利要求4所述的计算机实现的方法，其中，对应于所述三维点云数据的一部分的所述一个或多个patch中的每个patch的所述二维数据和所述一个或多个patch中的每个patch的所述三维数据是连接的。


7.根据前述权利要求中任一项所述的计算机实现的方法，其中，基于所述三维点云数据的连续性数据生成所述三维点云数据的所述一个或多个patch还包括：
所述一个或多个处理器确定所述三维点云数据在每个方向上的平滑标准；
所述一个或多个处理器比较所述三维点云数据的每个方向上的所述平滑标准；以及
响应于比较，所述一个或多个处理器选择在边界框的侧面上具有最大投影面积的所述三维点云数据的平滑标准的方向。


8.根据前述权利要求中任一项所述的计算机实现的方法，其中，生成所述第一patch和所述第二patch之间的所述运动矢量候选还包括：
所述一个或多个处理器确定所述第一辅助信息的二维数据和所述第二辅助信息的二维数据之间的距离；
所述一个或多个处理器基于所述第一辅助信息的所述二维数据和所述第二辅助信息的所述二维数据之间的所述距离生成所述运动矢量候选；以及
所述一个或多个处理器将所述运动矢量候选添加到运动矢量候选列表。


9.一种系统，包括一个或多个计算机和存储有指令的一个或多个存储设备，当由所述一个或多个计算机执行时，所述指令使所述一个或多个计算机执行包括以下的操作：
基于三维点云数据的连续性数据生成记录媒体的所述三维点云数据的分割部分；
将分割的所述三维点云数据的表示投影到三维边界框的一个或多个侧面，分割的所述三维点云数据的所述表示基于所述三维边界框的投影侧面而不同；
基于分割的所述三维点云数据的投影表示生成一个或多个patch；
生成所述一个或多个patch的第一帧；
生成所述第一帧的第一辅助信息；
生成参考帧的第二辅助信息；
基于所述第...

【专利技术属性】
技术研发人员：弗莱德斯拉夫·扎克哈成科，陈建乐，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44