图像处理装置和方法制造方法及图纸

本公开内容涉及用于抑制图像质量的降低的图像处理装置和方法。该图像处理装置和方法生成：布置了基本补丁的基本视频帧，基本补丁是通过将使具有三维形状的对象表示为点的集合的点云按照每个部分区域投影到二维平面上来获得的；以及布置了附加补丁的附加视频帧，附加补丁是在至少一部分参数相对于基本补丁的参数改变的情况下通过将包括与点云的基本补丁相对应的部分区域的至少一部分的部分区域投影到与基本补丁的二维平面相同的二维平面上来获得的。另外，该图像处理装置和方法对生成的基本视频帧和附加视频帧进行编码以生成编码数据。本公开内容例如可以应用于图像处理装置、电子设备、图像处理方法、程序等。程序等。程序等。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和方法


[0001]本公开内容涉及图像处理装置和方法，并且更具体地，涉及能够抑制图像质量劣化的图像处理装置和方法。

技术介绍

[0002]通常，将具有三维形状的对象表示为点的集合的点云数据的编码和解码已经由运动图像专家组(MPEG)进行标准化(例如，参见非专利文献1)。
[0003]此外，已经提出了如下方法(在下文中，也称为基于视频的方法)：将点云的几何数据和属性数据按照每个小区域投影到二维平面上、将投影在二维平面上的图像(补丁)布置在帧图像中并且通过用于二维图像的编码方法来编码帧图像(例如，参见非专利文献2至非专利文献4)。
[0004]引用列表
[0005]非专利文献
[0006]非专利文献1：“Information technology
‑
MPEG
‑
I(Coded Representation of Immersive Media)
‑
Part 9:Geometry
‑
based Point Cloud Compression”,ISO/IEC 23090
‑
9:2019(E)
[0007]非专利文献2：Tim Golla and Reinhard Klein,“Real
‑
time Point Cloud Compression,”IEEE,2015
[0008]非专利文献3：K.Mammou,“Video
‑
based and Hierarchical Approaches Point Cloud Compression”,MPEG m41649,Oct.2017
[0009]非专利文献4：K.Mammou,“PCC Test Model Category 2 v0”N17248 MPEG output document,October 2017

技术实现思路

[0010]本专利技术要解决的问题
[0011]然而，在非专利文献2至非专利文献4中描述的基于视频的方法的情况下，已经针对所有补丁统一地设置了信息的精度。即，信息的精度不能局部改变。因此，与能够局部改变信息的精度的情况相比，存在相同信息量的点云的质量劣化的可能性。因此，存在显示图像(在该显示图像中，通过对由基于视频的方法生成的编码数据进行解码而重建的点云被投影在二维平面上)的主观图像质量劣化的可能性。
[0012]本公开内容是鉴于这样的情况而做出的，并且其目的在于抑制用于显示3D数据的二维图像的图像质量的劣化。
[0013]问题的解决方案
[0014]根据本技术的一个方面的图像处理装置是包括如下的图像处理装置：视频帧生成单元，其被配置成生成布置了基本补丁的基本视频帧并且生成布置了附加补丁的附加视频帧，所述基本补丁是通过将使具有三维形状的对象表示为点的集合的点云按照每个部分区
域投影到二维平面上来获得的，所述附加补丁是在使至少一部分参数与所述基本补丁的情况不同的情况下通过将包括与所述点云的基本补丁相对应的部分区域的至少一部分的部分区域投影到与所述基本补丁的情况相同的二维平面上来获得的；以及编码单元，其被配置成对由所述视频帧生成单元生成的所述基本视频帧和所述附加视频帧进行编码，以生成编码数据。
[0015]根据本技术的一个方面的图像处理方法是包括如下的图像处理方法：生成布置了基本补丁的基本视频帧并且生成布置了附加补丁的附加视频帧，所述基本补丁是通过将使具有三维形状的对象表示为点的集合的点云按照每个部分区域投影到二维平面上来获得的，所述附加补丁是在使至少一部分参数与所述基本补丁的情况不同的情况下通过将包括与所述点云的基本补丁相对应的部分区域的至少一部分的部分区域投影到与所述基本补丁的情况相同的二维平面上来获得的；以及对生成的所述基本视频帧和所述附加视频帧进行编码，以生成编码数据。
[0016]根据本技术的另一方面的图像处理装置是包括如下的图像处理装置：解码单元，其被配置成对编码数据进行解码，生成布置了基本补丁的基本视频帧并且生成布置了附加补丁的附加视频帧，所述基本补丁是通过将使具有三维形状的对象表示为点的集合的点云按照每个部分区域投影到二维平面上来获得的，所述附加补丁是在使至少一部分参数与所述基本补丁的情况不同的情况下通过将包括与所述点云的基本补丁相对应的部分区域的至少一部分的部分区域投影到与所述基本补丁的情况相同的二维平面上来获得的；以及重建单元，其被配置成通过使用由所述解码单元生成的所述基本视频帧和所述附加视频帧来重建所述点云。
[0017]根据本技术的另一方面的图像处理方法是包括如下的图像处理方法：对编码数据进行解码，生成布置了基本补丁的基本视频帧并且生成布置了附加补丁的附加视频帧，所述基本补丁是通过将使具有三维形状的对象表示为点的集合的点云按照每个部分区域投影到二维平面上来获得的，所述附加补丁是在使至少一部分参数与所述基本补丁的情况不同的情况下通过将包括与所述点云的基本补丁相对应的部分区域的至少一部分的部分区域投影到与所述基本补丁的情况相同的二维平面上来获得的；以及通过使用生成的所述基本视频帧和所述附加视频帧来重建所述点云。
[0018]根据本技术的又一方面的图像处理装置是包括如下的图像处理装置：辅助补丁信息生成单元，其被配置成生成辅助补丁信息，所述辅助补丁信息是关于补丁的信息，所述补丁是通过将使具有三维形状的对象表示为点的集合的点云按照每个部分区域投影到二维平面上来获得的，所述辅助补丁信息包括附加补丁标志，所述附加补丁标志指示附加补丁对于重建所述点云的对应部分区域是否是不必要的；以及辅助补丁信息编码单元，其被配置成对由所述辅助补丁信息生成单元生成的所述辅助补丁信息进行编码以生成编码数据。
[0019]根据本技术的又一方面的图像处理方法是包括如下的图像处理方法：生成辅助补丁信息，所述辅助补丁信息是关于补丁的信息，所述补丁是通过将使具有三维形状的对象表示为点的集合的点云按照每个部分区域投影到二维平面上来获得的，所述辅助补丁信息包括附加补丁标志，所述附加补丁标志指示附加补丁对于重建所述点云的对应部分区域是否是不必要的；以及对生成的辅助补丁信息进行编码，以生成编码数据。
[0020]根据本技术的又一方面的图像处理装置是包括如下的图像处理装置：辅助补丁信
息解码单元，其被配置成对编码数据进行解码并且生成辅助补丁信息，所述辅助补丁信息是关于补丁的信息，所述补丁是通过将使具有三维形状的对象表示为点的集合的点云按照每个部分区域投影到二维平面上来获得的；以及重建单元，其被配置成基于附加补丁标志通过使用附加补丁来重建所述点云，所述附加补丁标志包括在由所述辅助补丁信息解码单元生成的所述辅助补丁信息中并且指示附加补丁对于重建所述点云的对应部分区域是否是不必要的。
[0021]根据本技术的又一方面的图像处理方法是包括如下的图像处理方法：对编码数据进行解码并且生成辅助补丁信息，所述辅助补丁信息是关本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理装置，包括：视频帧生成单元，其被配置成生成布置了基本补丁的基本视频帧并且生成布置了附加补丁的附加视频帧，所述基本补丁是通过将使具有三维形状的对象表示为点的集合的点云按照每个部分区域投影到二维平面上来获得的，所述附加补丁是在使至少一部分参数与所述基本补丁的情况不同的情况下通过将包括与所述点云的基本补丁相对应的部分区域的至少一部分的部分区域投影到与所述基本补丁的情况相同的二维平面上来获得的；以及编码单元，其被配置成对由所述视频帧生成单元生成的所述基本视频帧和所述附加视频帧进行编码，以生成编码数据。2.根据权利要求1所述的图像处理装置，其中，所述附加补丁包括具有比所述基本补丁更高精度的信息。3.根据权利要求2所述的图像处理装置，其中，所述附加视频帧是占用地图，并且所述附加补丁指示要添加到由所述基本补丁指示的区域的区域或要从由所述基本补丁指示的区域删除的区域。4.根据权利要求3所述的图像处理装置，其中，所述附加补丁指示所述基本补丁的平滑处理结果。5.根据权利要求2所述的图像处理装置，其中，所述附加视频帧是几何视频帧或彩色视频帧，并且所述附加补丁包括要添加到所述基本补丁的值的值或要用所述基本补丁的值替换的值。6.根据权利要求1所述的图像处理装置，其中，所述附加补丁指示在由所述基本补丁指示的区域中要经过预定处理的范围。7.根据权利要求6所述的图像处理装置，其中，所述附加补丁指示在由所述基本补丁指示的区域中要经过平滑处理的范围。8.一种图像处理方法，包括：生成布置了基本补丁的基本视频帧并且生成布置了附加补丁的附加视频帧，所述基本补丁是通过将使具有三维形状的对象表示为点的集合的点云按照每个部分区域投影到二维平面上来获得的，所述附加补丁是在使至少一部分参数与所述基本补丁的情况不同的情况下通过将包括与所述点云的基本补丁相对应的部分区域的至少一部分的部分区域投影到与所述基本补丁的情况相同的二维平面上来获得的；以及对生成的所述基本视频帧和所述附加视频帧进行编码，以生成编码数据。9.一种图像处理装置，包括：解码单元，其被配置成对编码数据进行解码，生成布置了基本补丁的基本视频帧并且生成布置了附加补丁的附加视频帧，所述基本补丁是通过将使具有三维形状的对象表示为点的集合的点云按照每个部分区域投影到二维平面上来获得的，所述附加补丁是在使至少一部分参数与所述基本补丁的情况不同的情况下通过将包括与所述点云的基本补丁相对应的部分区域的至少一部分的部分区域投影到与所述基本补丁的情况相同的二维平面上来获得的；以及重建单元，其被配置成通过使用由所述解码单元生成的所述基本视频帧和所述附加视
频帧来重建所述点云。10.一种图像处理方法，包括：对编码数据进行解码，生成布置了基本补丁的基本视频帧并且生成布置了附加补丁的附加视频帧，所述基本补丁是通过将使具有三维形状的对象表示为点的集合的点云按照每个部分区域投影到二维平面上来获得的，所述附加补丁是在使至少一部分参数与所述基本补丁的情况不同的情况下通过将包括与所述点云的基本补...

【专利技术属性】
技术研发人员：林华央，中神央二，隈智，矢野幸司，加藤毅，安田弘幸，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：