全景分割和深度确定的处理方法、装置、设备和介质制造方法及图纸

本公开实施例公开了一种全景分割和深度确定的处理方法、装置、设备和介质，其中，方法包括：确定待处理图像对应的多尺度特征图和目标尺度特征图；基于多尺度特征图确定待处理图像中包括的各实例分别对应的目标掩码嵌入特征和目标深度嵌入特征；基于目标尺度特征图确定第一掩码特征图和第一深度特征图；基于各实例分别对应的目标掩码嵌入特征和第一掩码特征图，确定各实例分别对应的第一实例掩码结果；基于各实例分别对应的第一实例掩码结果确定待处理图像对应的全景分割结果；基于第一深度特征图、全景分割结果和各实例分别对应的目标深度嵌入特征，获得待处理图像对应的全图深度结果。实现在实例边界处更加准确的深度预测，有效提高整体性能。有效提高整体性能。有效提高整体性能。

【技术实现步骤摘要】
全景分割和深度确定的处理方法、装置、设备和介质


[0001]本公开涉及计算机视觉技术，尤其是一种全景分割和深度确定的处理方法、装置、设备和介质。

技术介绍

[0002]在计算机视觉领域，单目深度估计一直是长期存在并且讨论议论较多的主题，深度信息在三维重建、虚拟现实、导航等应用上都有很大帮助。随着计算机视觉技术的不断发展，实现了单目深度估计与全景分割的同时预测，全景分割是一种图像分割技术，用于对图像中不同实例所对应的像素进行分割。实例可以包括前景对象实例和背景区域实例。但是现有技术中，通常采用全景分割分支和深度估计分支分别获取全景分割结果和深度估计结果，容易导致不同预测之间存在冲突，从而使得整体性能较差。

技术实现思路

[0003]为了解决上述整体性能较差等技术问题，提出了本公开。本公开的实施例提供了一种全景分割和深度确定的处理方法、装置、设备和介质。
[0004]根据本公开实施例的一个方面，提供了一种全景分割和深度确定的处理方法，包括：确定待处理图像对应的多尺度特征图和目标尺度特征图；基于所述多尺度特征图，确定所述待处理图像中包括的各实例分别对应的目标掩码嵌入特征和目标深度嵌入特征；基于所述目标尺度特征图，确定第一掩码特征图和第一深度特征图；基于各所述实例分别对应的所述目标掩码嵌入特征和所述第一掩码特征图，确定各所述实例分别对应的第一实例掩码结果；基于各所述实例分别对应的所述第一实例掩码结果，确定所述待处理图像对应的全景分割结果；基于所述第一深度特征图、所述全景分割结果和各所述实例分别对应的所述目标深度嵌入特征，获得所述待处理图像对应的全图深度结果。
[0005]根据本公开实施例的另一个方面，提供了一种全景分割和深度确定的处理装置，包括：第一处理模块，用于确定待处理图像对应的多尺度特征图和目标尺度特征图；第二处理模块，用于基于所述多尺度特征图，确定所述待处理图像中包括的各实例分别对应的目标掩码嵌入特征和目标深度嵌入特征；第三处理模块，用于基于所述目标尺度特征图，确定第一掩码特征图和第一深度特征图；第四处理模块，用于基于各所述实例分别对应的所述目标掩码嵌入特征和所述第一掩码特征图，确定各所述实例分别对应的第一实例掩码结果；第五处理模块，用于基于各所述实例分别对应的所述第一实例掩码结果，确定所述待处理图像对应的全景分割结果；第六处理模块，用于基于所述第一深度特征图、所述全景分割结果和各所述实例分别对应的所述目标深度嵌入特征，获得所述待处理图像对应的全图深度结果。
[0006]根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的全景分割和深度确定的处理方法。
[0007]根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的全景分割和深度确定的处理方法。
[0008]基于本公开上述实施例提供的全景分割和深度确定的处理方法、装置、设备和介质，基于各实例的无重叠的实例掩码融合得到无重叠的全景分割结果，进而基于无重叠的全景分割结果、高分辨率的深度特征图、及各实例的目标深度嵌入特征，获得全图深度结果，实现了全景分割与深度估计的联合预测，基于无重叠的全景分割结果可以实现在实例边界处更加准确的深度预测，有效提高整体性能，解决现有技术全景分割和深度估计分别预测容易导致冲突使得整体性能较差等问题。
[0009]下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
[0010]通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0011]图1是本公开提供的全景分割和深度确定的处理方法的一个示例性的应用场景；
[0012]图2是本公开一示例性实施例提供的全景分割和深度确定的处理方法的流程示意图；
[0013]图3是本公开另一个示例性实施例提供的全景分割和深度确定的处理方法的流程示意图；
[0014]图4是本公开再一示例性实施例提供的步骤206的流程示意图；
[0015]图5是本公开一示例性实施例提供的两个第一实例掩码结果去重的示意图；
[0016]图6是本公开一示例性实施例提供的步骤202的流程示意图；
[0017]图7是本公开又一示例性实施例提供的全景分割和深度确定的处理方法的流程示意图；
[0018]图8是本公开又一示例性实施例提供的步骤2012的流程示意图；
[0019]图9是本公开一示例性实施例提供的全景分割与深度确定的处理模型的整体网络结构示意图；
[0020]图10是本公开一示例性实施例提供的全景分割和深度确定的处理装置的结构示意图；
[0021]图11是本公开一示例性实施例提供的第六处理模块506的结构示意图；
[0022]图12是本公开另一示例性实施例提供的第六处理模块506的结构示意图；
[0023]图13是本公开一示例性实施例提供的第五处理模块505的结构示意图；
[0024]图14是本公开一示例性实施例提供的第四处理模块504的结构示意图；
[0025]图15是本公开一示例性实施例提供的第三处理模块503的结构示意图；
[0026]图16是本公开一示例性实施例提供的第二处理模块502的结构示意图；
[0027]图17是本公开一示例性实施例提供的第一处理模块501的结构示意图；
[0028]图18是本公开一示例性实施例提供的第九处理单元5012的结构示意图；
[0029]图19是本公开电子设备一个应用实施例的结构示意图。
具体实施方式
[0030]下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
[0031]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0032]本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[0033]还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
[0034]还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
[0035]另外，本公开中术语“和/或”，仅仅是一种描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全景分割和深度确定的处理方法，包括：确定待处理图像对应的多尺度特征图和目标尺度特征图；基于所述多尺度特征图，确定所述待处理图像中包括的各实例分别对应的目标掩码嵌入特征和目标深度嵌入特征；基于所述目标尺度特征图，确定第一掩码特征图和第一深度特征图；基于各所述实例分别对应的所述目标掩码嵌入特征和所述第一掩码特征图，确定各所述实例分别对应的第一实例掩码结果；基于各所述实例分别对应的所述第一实例掩码结果，确定所述待处理图像对应的全景分割结果；基于所述第一深度特征图、所述全景分割结果和各所述实例分别对应的所述目标深度嵌入特征，获得所述待处理图像对应的全图深度结果。2.根据权利要求1所述的方法，其中，所述基于所述第一深度特征图、所述全景分割结果和各所述实例分别对应的所述目标深度嵌入特征，获得所述待处理图像对应的全图深度结果，包括：基于所述第一深度特征图及各所述实例分别对应的所述目标深度嵌入特征，确定各所述实例分别对应的第一深度结果；基于各所述实例分别对应的所述第一深度结果及所述全景分割结果，确定所述全图深度结果。3.根据权利要求2所述的方法，其中，所述基于所述第一深度特征图及各所述实例分别对应的所述目标深度嵌入特征，确定各所述实例分别对应的第一深度结果，包括：基于各所述实例分别对应的所述目标深度嵌入特征，确定各所述实例分别对应的目标深度卷积核、目标深度偏移系数和目标深度缩放系数，其中，所述目标深度偏移系数在模型训练阶段采用实例级信息监督；基于各所述实例分别对应的所述目标深度卷积核和所述第一深度特征图，确定各所述实例分别对应的归一化实例深度结果；基于各所述实例分别对应的所述归一化实例深度结果、所述目标深度偏移系数和所述目标深度缩放系数，确定各所述实例分别对应的第一深度结果；所述基于各所述实例分别对应的所述第一深度结果及所述全景分割结果，确定所述全图深度结果，包括：根据所述全景分割结果，将各所述实例分别对应的所述第一深度结果进行融合，获得所述全图深度结果。4.根据权利要求1所述的方法，其中，所述基于各所述实例分别对应的所述第一实例掩码结果，确定所述待处理图像对应的全景分割结果，包括：对各所述实例分别对应的所述第一实例掩码结果进行去重，确定无重叠的各所述实例分别对应的第二实例掩码结果；基于各所述实例分别对应的所述第二实例掩码结果，获得无重叠的所述全景分割结果。5.根据权利要求1所述的方法，其中，所述基于各所述实例分别对应的所述目标掩码嵌入特征和所述第一掩码特征图，确定各所述实例分别对应的第一实例掩码结果，包括：
基于各所述实例分别对应的所述目标掩码嵌入特征，确定各所述实例分别对应的目标掩码卷积核；分别采用各所述实例分别对应的所述目标掩码卷积核对所述第一掩码特征图进行卷积运算，获得各所述实例分别对应的卷积运算结果；采用预设激活函数对各所述卷积运算结果进行处理，获得各所述实例分别对应的所述第一实例掩码结果。6.根据权利要求1所述的方法，其中，所述基于所述目标尺度特征图，确定第一掩码特征图和第一深度特征图，包括：基于所述目标尺度特征图及预先训练获得的第一特征编码网络，确定所述第一掩码特征图；基于所述目标尺度特征图及预先训练获得的第二特征编码网络，确定所述第一深度特征图。7.根据权利要求1所述的方法，其中，基于所述多尺度特征图，确定所述待处理图像中包括的各实例...

【专利技术属性】
技术研发人员：高乃钰，
申请(专利权)人：北京地平线机器人技术研发有限公司，
类型：发明
国别省市：