图像处理装置和方法制造方法及图纸

本公开内容涉及信息处理设备和方法，利用该信息处理设备和方法可以抑制解码点云的负荷的任何增加。在本公开内容中，生成与补块有关的辅助补块信息以与构成点云的规定时间方向区间的多个帧中的全部帧对应，在该补块中，针对每个部分区域将表示三维形状对象为一组点的点云投影到二维平面上；针对该区间中的每个帧使用所生成的辅助补块信息来生成补块；并且对布置有所生成的补块的帧图像进行编码。本公开内容可以应用于例如图像处理设备、电子设备、图像处理方法、程序等。程序等。程序等。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和方法


[0001]本公开内容涉及图像处理装置和方法，并且具体地涉及能够抑制点云的解码负荷的增加的图像处理装置和方法。

技术介绍

[0002]运动图像专家组(MPEG)已经常规地促进了将三维形状的对象表示为点的集合的点云数据的编码和解码的标准化(例如，参考非专利文献1)。
[0003]此外，已经提出了这样一种方法(下文中，也称为基于视频的方法)：针对每个小区域将点云的几何数据和属性数据投影到二维平面上，将投影在二维平面上的图像(补块(patch))布置为帧图像，以及使用用于二维图像的编码方法对帧图像进行编码(例如，参考非专利文献2至4)。
[0004]引用列表
[0005]非专利文献
[0006]非专利文献1：“Information technology
‑
MPEG
‑
I(Coded Representation of Immersive Media)
‑
Part 9:Geometry
‑
based Point Cloud Compression”,ISO/IEC 23090
‑
9:2019(E)
[0007]非专利文献2：Tim Golla和Reinhard Klein,“Real
‑
time Point Cloud Compression”,IEEE,2015
[0008]非专利文献3：K.Mammou,“Video
‑
based and Hierarchical Approaches Point Cloud Compression”,MPEG m41649,2017年10月
[0009]非专利文献4：K.Mammou，“PCC Test Model Category 2v0”，N17248MPEG输出文件，2017年10月

技术实现思路

[0010]本专利技术要解决的问题
[0011]在非专利文献2至4中描述的基于视频的方法的情况下，对于每个帧，必须发送作为关于补块的信息的辅助补块信息，并且通过处理辅助补块信息可能增加施加在解码侧的负荷。
[0012]本公开内容是鉴于这种情况而设计的，并且能够抑制点云的解码负荷的增加。
[0013]问题的解决方案
[0014]根据本技术的一方面的图像处理装置包括：辅助补块信息生成单元，其被配置成以与包括在点云的时间方向上的预定区间中的多个帧中的所有帧对应的方式，生成辅助补块信息，该辅助补块信息是关于通过针对每个部分区域将点云投影到二维平面上而获得的补块的信息，该点云将三维形状对象表示为点的集合；补块生成单元，被配置成使用由辅助补块信息生成单元生成的辅助补块信息，针对区间中的每个帧生成补块；以及编码单元，被配置成对布置有由补块生成单元生成的补块的帧图像进行编码。
[0015]根据本技术的一方面的图像处理方法包括：以与包括在点云的时间方向上的预定区间中的多个帧中的所有帧对应的方式，生成辅助补块信息，该辅助补块信息是关于通过针对每个部分区域将点云投影到二维平面上而获得的补块的信息，该点云将三维形状对象表示为点的集合；使用所生成的辅助补块信息，针对区间中的每个帧生成补块；以及对布置有所生成的补块的帧图像进行编码。
[0016]根据本技术的另一方面的图像处理装置包括：辅助补块信息保持单元，其被配置成保持已在补块的生成中使用的辅助补块信息，该辅助补块信息是关于通过针对每个部分区域将点云投影到二维平面上而获得的补块的信息，该点云将三维形状对象表示为点的集合；补块生成单元，其被配置成使用与处理目标帧对应的辅助补块信息，或者保持在辅助补块信息保持单元中的与点云的作为过去处理的帧的过去帧对应的辅助补块信息来生成点云的处理目标帧的补块；以及编码单元，其被配置成对布置有由补块生成单元所生成的补块的帧图像进行编码。
[0017]根据本技术的另一方面的图像处理方法包括：保持已在补块的生成中使用的辅助补块信息，该辅助补块信息是关于通过针对每个部分区域将点云投影到二维平面上而获得的补块的信息，该点云将三维形状对象表示为点的集合；使用与处理目标帧对应的辅助补块信息，或者与点云的作为过去处理的帧的过去帧对应的所保持的辅助补块信息来生成点云的处理目标帧的补块；以及对布置有所生成的补块的帧图像进行编码。
[0018]根据本技术的又一方面的图像处理装置包括：辅助补块信息解码单元，其被配置成对编码数据进行解码，并且生成辅助补块信息，该辅助补块信息是关于通过针对每个部分区域将点云投影到二维平面上而获得的补块的信息，该点云将三维形状对象表示为点的集合；辅助补块信息保持单元，其被配置成保持由辅助补块信息解码单元生成的辅助补块信息；以及重构单元，其被配置成使用在辅助补块信息保持单元中保持的彼此相同的辅助补块信息来重构多个帧的点云。
[0019]根据本技术的又一方面的图像处理方法包括：对编码数据进行解码并且生成辅助补块信息，该辅助补块信息是关于通过针对每个部分区域将点云投影到二维平面上而获得的补块的信息，该点云将三维形状对象表示为点的集合；保持所生成的辅助补块信息；以及使用所保持的彼此相同的辅助补块信息来重构多个帧的点云。
[0020]在根据本技术的一方面的图像处理装置和方法中，以与包括在点云的时间方向上的预定区间中的多个帧中的所有帧对应的方式生成辅助补块信息，所述辅助补块信息是关于通过针对每个部分区域将点云投影到二维平面上而获得的补块的信息，该点云将三维形状对象表示为点的集合；针对所述区间中的每个帧使用所生成的辅助补块信息来生成补块；并且对布置有所生成的补块的帧图像进行编码。
[0021]在根据本技术的另一方面的图像处理装置和方法中，保持已在补块的生成中使用的辅助补块信息，该辅助补块信息是关于通过针对每个部分区域将点云投影到二维平面上而获得的补块的信息，该点云将三维形状对象表示为点的集合；以及使用与处理目标帧对应的辅助补块信息或者与点云的作为过去处理的帧的过去帧对应的所保持的辅助补块信息来生成点云的处理目标帧的补块；以及对布置有所生成的补块的帧图像进行编码。
[0022]在根据本技术的又一方面的图像处理装置和方法中，对编码数据进行解码，生成辅助补块信息，该辅助补块信息是关于通过针对每个部分区域将点云投影到二维平面上而
获得的补块的信息，该点云将三维形状对象表示为点的集合；保持所生成的辅助补块信息；以及使用所保持的彼此相同的辅助补块信息来重构多个帧的点云。
附图说明
[0023]图1是描述基于视频的方法的数据的图。
[0024]图2是描述辅助补块信息的图。
[0025]图3是描述辅助补块信息的生成方法的图。
[0026]图4是描述方法1的图。
[0027]图5是描述方法2的图。
[0028]图6是示出辅助补块信息的语法的示例的图。
[0029]图7是示出辅助补块信息的语义的示例的图。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，包括：辅助补块信息生成单元，其被配置成以与点云的时间方向上的预订区间中所包括的多个帧中的全部帧对应的方式生成辅助补块信息，所述辅助补块信息是关于通过针对每个部分区域将所述点云投影到二维平面上而获得的补块的信息，所述点云将三维形状对象表示为点的集合；补块生成单元，其被配置成使用由所述辅助补块信息生成单元生成的辅助补块信息，针对所述区间中的每个帧生成所述补块；以及编码单元，其被配置成对布置有由所述补块生成单元生成的补块的帧图像进行编码。2.根据权利要求1所述的图像处理装置，其中，所述区间是整个序列。3.根据权利要求1所述的图像处理装置，其中，所述区间是一组帧(GOF)。4.根据权利要求1所述的图像处理装置，其中，所述辅助补块信息生成单元基于关于所述区间中的每个帧的信息来生成所述辅助补块信息。5.根据权利要求1所述的图像处理装置，其中，所述辅助补块信息生成单元基于外部设置来生成所述辅助补块信息。6.根据权利要求1所述的图像处理装置，还包括：标志设置单元，其被配置成设置标志，所述标志指示是否使用公共的辅助补块信息来生成所述区间中的每个帧的补块，其中，当由所述标志设置单元设置的标志指示使用所述公共的辅助补块信息生成所述区间中的每个帧的补块时，所述辅助补块信息生成单元以与包括在所述区间中的所有帧对应的方式生成所述辅助补块信息，以及所述补块生成单元使用由所述辅助补块信息生成单元生成的辅助补块信息，针对所述区间中的每个帧生成所述补块。7.根据权利要求6所述的图像处理装置，其中，当由所述标志设置单元设置的标志指示使用每个帧的辅助补块信息来生成所述区间中的每个帧的所述补块时，所述辅助补块信息生成单元针对包括在所述区间中的每个帧生成所述辅助补块信息，以及所述补块生成单元使用由所述辅助补块信息生成单元生成的与所述帧对应的辅助补块信息，针对所述区间中的每个帧生成所述补块。8.一种图像处理方法，包括：以与点云的时间方向上的预定区间中所包括的多个帧中的全部帧对应的方式生成辅助补块信息，所述辅助补块信息是关于通过针对每个部分区域将所述点云投影到二维平面上而获得的补块的信息，所述点云将三维形状对象表示为点的集合；使用所生成的辅助补块信息针对所述区间中的每个帧生成所述补块；以及对布置有所生成的补块的帧图像进行编码。9.一种图像处理装置，包括：辅助补块信息保持单元，其被配置成保持已在补块的生成中使用的辅助补块信息，所
述辅助补块信息是关于通过针对每个部分区域将点云投影到二维平面上而获得的所述补块的信息，所述点云将三维形状对象表示为点的集合；补块生成单元，其被配置成使用与所述点云的处理目标帧对应的辅助补块信息，或者保持在所述辅助补块信息保持单元中的与所述点云的作为过去处理的帧的过去帧对应的辅助补块信息来生成所述处理目标帧的补块；以及编码单元，其被配置成对布置有由所述补块生成单元生成的补块的帧图像进行编码。10.根据权利要求9所述的图像处理装置，还包括：标志设置单元，其被配置成设置标志，所述标志指示是否使用与所述过去帧对应的辅助补...

【专利技术属性】
技术研发人员：矢野幸司，隈智，中神央二，林华央，安田弘幸，加藤毅，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：