视频编解码方法、装置、计算机设备及存储介质制造方法及图纸

本申请公开了一种视频编解码方法、装置、计算机设备和存储介质。该方法包括：接收与点云相关联的数据；基于对与提升分解相关联的属性进行可扩展编解码，通过所述提升分解对接收到的数据执行变换；及，根据变换后的数据，对所述点云进行重建。

【技术实现步骤摘要】
视频编解码方法、装置、计算机设备及存储介质引用并入本申请要求于2020年1月9日提交的、申请号为62/958,863的美国临时申请的优先权、于2020年4月14日提交的、申请号为63/009,874的美国临时申请的优先权、于2020年4月14日提交的、申请号为63/009,875的美国临时申请的优先，以及于2020年12月29日提交的美国申请第17/136,122号的优先权，其全部内容通过引用并入本申请中。
本申请实施例涉及视频编解码技术，尤其涉及一种视频编解码方法、装置、计算机设备及存储介质。
技术介绍
世界的高级三维(3D)表示能够实现更加沉浸式的交互和通信。它们还允许机器理解、解释和导航我们的世界。3D点云已经成为这类信息的启用表示。已经识别出与点云数据相关联的多个用例，并且已经开发了对点云表示和压缩的相应要求。点云是指在3D空间中的一组点，每个点具有相关联的属性，例如颜色、材料特性等。点云可以用于重建对象或场景作为此类点的组合。可以在各种设置中使用多个相机和深度传感器捕获所述点，并且所述点可以由数千到数十亿个点组成，以便真实地表示重建的场景。需要压缩技术来减少表示点云所需的数据量。因此，在实时通信和六自由度(6DoF)虚拟现实中，需要使用点云的有损压缩技术。另外，在自动驾驶和文化遗产应用等的动态映射的环境中，寻求无损点云压缩技术。运动图像专家组(MPEG)开始研究解决几何形状和属性的压缩的标准，例如颜色和反射率、可缩放/渐进编码、随时间捕获的点云序列的编码以及对点云子集的随机访问。在点云压缩(G-PCC,Graph-basedPointCloudCompression)预测和属性编解码提升中，能够有相邻属性样本可用，对于压缩效率是非常重要的，因为相邻属性样本越多，预测越精确。当没有足够的相邻样本用于预测时，压缩效率将会降低。
技术实现思路
本申请实施例和点云编解码技术有关，提供了一种视频编解码方法、装置、计算机设备及存储介质。本申请实施例提供了一种视频编解码方法，包括：接收与点云相关联的数据；基于对与提升分解相关联的属性进行可扩展编解码，通过所述提升分解对接收到的数据执行变换；及，根据变换后的数据，对所述点云进行重建。本申请实施例还提供了一种视频编解码装置，包括：接收模块，用于接收与点云相关联的数据；变换模块，用于基于对与提升分解相关联的属性进行可扩展编解码，通过所述提升分解对接收到的数据执行变换；及，重建模块，用于根据变换后的数据，对所述点云进行重建。本申请实施例还提供一种计算机设备，包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现如上所述的视频编解码方法。本申请实施例还提供一种非暂时性计算机可读介质，其上存储有指令，当所述指令由计算机执行时，使得所述计算机执行如上所述的视频编解码方法。本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述视频编解码的方法。由上述技术方案可见，本专利技术实施例提供的方法，通过对与提升分解相关联的属性进行可扩展编解码，可以在当前G-PCC提升设计下，实现了提升系数的可扩展编解码，从而提升了视频编解码的增益。附图说明根据以下详细说明和附图，所公开的主题的进一步的特征、性质和各种优点将更加显而易见，其中：图1A是根据本申请一实施例的在G-PCC中生成LoD的方法示意图；图1B是根据本申请一实施例的在G-PCC中用于P/U-提升的结构示意图；图2是根据本申请一实施例的通信系统的结构示意图；图3是根据本申请一实施例的在环境中放置G-PCC压缩器和G-PCC解压缩器的示意图；图4是根据本申请一实施例的G-PCC压缩器的功能性结构示意图；图5是根据本申请一实施例的G-PCC解压缩器的功能性结构示意图；图6是根据本申请一实施例的视频编解码方法的流程示意图；以及图7示出了根据本申请实施例的计算机设备的示意图。具体实施方式图1A是示出在基于图的点云压缩G-PCC中生成细节级别(LoD)的方法示意图。参考图1A，在当前G-PCC属性编解码中，基于每个3D点的距离生成每个3D点(例如，P0-P9)的LoD(即，组)，然后基于LoD的顺序110进行预测，对每个LoD中3D点的属性值进行编码，而不是以3D点的原始顺序105来进行预测。例如，通过计算3D点P0、P5和P4(它们在3D点P2之前编码或解码)的基于距离的加权平均值，来预测3D点P2的属性值。G-PCC中的当前锚定方法，如下所述。首先，计算3D点的邻域的可变性，可以检查相邻的值是如何不同的，并且如果可变性低于阈值，则通过预测属性值(ai)i∈0…k-1，使用基于当前点i的最近邻点的距离进行的线性插值过程，来计算基于距离的加权平均预测。令是当前点i的k个最近邻点的集合，令是它们的已解码/已重建的属性值，并且令是它们到当前点i的距离。然后由下式给出预测的属性值注意，当对属性进行编码时，所有点云的几何位置都已经是可用的。另外，相邻点以及它们已重建的属性值，在编码器和解码器中都可用作k维树结构，所述k维树结构便于以相同的方式，针对每个点执行最近相邻搜索。其次，如果可变性高于阈值，则执行率失真优化(RDO，rate-distortionoptimized)预测器选择。基于在生成LoD时进行邻点搜索的结果，创建多个预测器候选或多个候选预测值。例如，当通过使用预测器来对3D点P2的属性值进行编码时，从3D点P2分别到3D点P0、P5和P4的距离进行加权平均后的值，可以被设置为预测器索引等于0。然后，从3D点P2到最近邻点P4的距离被设置为预测器索引等于1。而且，如以下表1中示出的，将从3D点P2到下一个最近邻点P5和P0的距离，分别被设置为预测器索引等于2和3。表1用于属性编解码的预测器候选的样本在创建预测器候选之后，通过应用率失真优化程序来选择最佳预测器，然后，将选定的预测器索引映射到截断的一元(TU)编码，其中，截断的一元编码的二进制数将进行算术编码。注意，在表1中，较短的TU编码将分配给较小的预测器索引。定义预测器候选的最大数量MaxNumCand，并且进行编码，写到属性头中。在当前实现方式中，预测器候选的最大数量MaxNumCand被设置为等于numberOfNearestNeighborsInPrediction+1，并且用于对截断的一元二进制化的预测器索引进行编码和解码。G-PCC中用于属性编解码的提升变换，建立在上述预测变换之上。预测方案和提升方案之间的主要区别，在于引入了更新运算本文档来自技高网...

【技术保护点】
1.一种视频编解码方法，其特征在于，包括：/n接收与点云相关联的数据；/n基于对与提升分解相关联的属性进行可扩展编解码，通过所述提升分解对接收到的数据执行变换；及，/n根据变换后的数据，对所述点云进行重建。/n

【技术特征摘要】
20200109 US 62/958,863;20200414 US 63/009,874;20201.一种视频编解码方法，其特征在于，包括：
接收与点云相关联的数据；
基于对与提升分解相关联的属性进行可扩展编解码，通过所述提升分解对接收到的数据执行变换；及，
根据变换后的数据，对所述点云进行重建。


2.根据权利要求1所述的方法，其特征在于，进一步包括：
针对与接收到的数据相关联的各个细节级别层，对不同的细节级别层使用至少一个上下文模型，其中，细节级别层越高，通过所述提升分解生成的提升系数越小。


3.根据权利要求1所述的方法，其特征在于，进一步包括：
对于不同的量化参数，使用至少一个上下文模型，其中，量化参数越大，通过所述提升分解生成的量化系数越小。


4.根据权利要求1所述的方法，其特征在于，进一步包括：
当最小化所述提升分解的系数之间的噪声时，对不同的粗颗粒可扩展层，使用至少一个上下文模型。


5.根据权利要求1所述的方法，其特征在于，进一步包括：
对于与接收到的数据相关联的各个量化级别层，确定低量化级别层中与所述点云的位置相对应的位置以及来自所述位置的已重建样本；
根据所述已重建样本的值或值的函数，使用至少一个上下文模型。


6.根据权利要求1所述的方法，其特征在于，进一步包括：
针对与接收到的数据相关联的各个细节级别层，确定具有相同量化级别的低细节级别层中与所述点云的位置相对应的位置以及来自所述位置的已重建样本；
根据所述已重建样本的值或值的函数，使用至少一个上下文模型。


7.根据权利要求1所述的方法，其特征在于，进一步包括：
若使用基于字典的编解码，在应用所述提升分解时，自适应地切换用于符号索引编解码的查找表。


8.一种视频编解码装置，其特征在于，包括：<...

【专利技术属性】
技术研发人员：芮世薰，文格尔史蒂芬，刘杉，高文，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：美国;US