一种立体图像超分辨率方法、装置、设备和存储介质制造方法及图纸

本公开实施例提供了一种立体图像超分辨率方法、装置、设备和存储介质。该方法包括：获取立体图像中的左视角图像和右视角图像；基于单帧重建网络模型，对左视角图像和右视角图像分别进行单帧超分辨率的重建，获得第一左视角重建图像和第一右视角重建图像；基于立体图像超分模型，对第一左视角重建图像和第一右视角重建图像进行双帧超分辨率的重建，获得超分后的第二左视角重建图像和第二右视角重建图像。通过本公开实施例的技术方案，可以提高超分辨率的重建效果，使得重建后的图像分辨率更高，图像纹理细节更清晰。图像纹理细节更清晰。图像纹理细节更清晰。

【技术实现步骤摘要】
一种立体图像超分辨率方法、装置、设备和存储介质


[0001]本公开实施例涉及图像处理技术，尤其涉及一种立体图像超分辨率方法、装置、设备和存储介质。

技术介绍

[0002]立体图像超分辨率是基于立体图像中左视角图像和右视角图像之间的互补信息进行图像超分辨率的重建，从而获得高分辨率的立体图像。目前，通常是利用网络模型直接对立体图像进行超分辨率的重建处理。然而，这种超分辨率方式感受野较小，或者算力要求过高，从而降低了立体图像超分辨率的重建效果。

技术实现思路

[0003]本公开提供了一种立体图像超分辨率方法、装置、设备和存储介质，以提高立体图像超分辨率的重建效果，使得重建后的图像分辨率更高，图像纹理细节更加清晰。
[0004]第一方面，本公开实施例提供了一种立体图像超分辨率方法，包括：
[0005]获取立体图像中的左视角图像和右视角图像；
[0006]基于单帧重建网络模型，对所述左视角图像和所述右视角图像分别进行单帧超分辨率的重建，获得第一左视角重建图像和第一右视角重建图像；
[0007]基于立体图像超分模型，对所述第一左视角重建图像和所述第一右视角重建图像进行双帧超分辨率的重建，获得所述立体图像超分后的第二左视角重建图像和第二右视角重建图像。
[0008]第二方面，本公开实施例还提供了一种立体图像超分辨率装置，包括：
[0009]立体图像获取模块，用于获取立体图像中的左视角图像和右视角图像；
[0010]单帧超分辨率模块，用于基于单帧重建网络模型，对所述左视角图像和所述右视角图像分别进行单帧超分辨率的重建，获得第一左视角重建图像和第一右视角重建图像；
[0011]双帧超分辨率模块，用于基于立体图像超分模型，对所述第一左视角重建图像和所述第一右视角重建图像进行双帧超分辨率的重建，获得所述立体图像超分后的第二左视角重建图像和第二右视角重建图像。
[0012]第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
[0013]一个或多个处理器；
[0014]存储装置，用于存储一个或多个程序，
[0015]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的立体图像超分辨率方法。
[0016]第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的立体图像超分辨率方法。
[0017]本公开实施例，通过先基于单帧重建网络模型，对立体图像中的左视角图像和右
视角图像分别进行单帧超分辨率的重建，获得第一左视角重建图像和第一右视角重建图像。然后再基于立体图像超分模型，对第一左视角重建图像和第一右视角重建图像进行双帧超分辨率的重建，获得立体图像超分后的第二左视角重建图像和第二右视角重建图像。通过结合单帧重建网络模型和立体图像超分模型，对立体图像进行分阶段的超分辨率重建，可以提高感受野，降低算力，从而提高了立体图像超分辨率的重建效果，使得重建后的图像分辨率更高，图像纹理细节更加清晰。
附图说明
[0018]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0019]图1是本公开实施例所提供的一种立体图像超分辨率方法的流程示意图；
[0020]图2是本公开实施例所涉及的一种立体图像超分辨率过程的示例；
[0021]图3是本公开实施例所提供的另一种立体图像超分辨率方法的流程示意图；
[0022]图4是本公开实施例所涉及的一种第一自注意力变换网络模型的架构示例；
[0023]图5是本公开实施例所涉及的一种第一左视角重建图像的重建过程示例；
[0024]图6是本公开实施例所提供的又一种立体图像超分辨率方法的流程示意图；
[0025]图7是本公开实施例所涉及的一种立体图像超分模型的架构示例；
[0026]图8是本公开实施例所涉及的一种第二左视角重建图像和第二右视角重建图像的重建过程示例；
[0027]图9是本公开实施例所提供的一种立体图像超分辨率装置的结构示意图；
[0028]图10是本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
[0029]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0030]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0031]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0032]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0033]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0034]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0035]可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
[0036]图1为本公开实施例所提供的一种立体图像超分辨率方法的流程示意图，本公开实施例适用于对立体图像进行超分辨率重建的情况，该方法可以由立体图像超分辨率装置来执行，该装置可以通过软件和/或硬件的形式实现，可选的，通过电子设备来实现，该电子设备可以是移动终端、PC端或服务器等。
[0037]如图1所示，立体图像超分辨率方法具体包括以下步骤：
[0038]S110、获取立体图像中的左视角图像和右视角图像。
[0039]其中，立体图像可以是指具有立体视觉的双目图像。立体图像包括左视角图像和右视角图像。左视角图像可以是指从左侧拍摄的左视图。右视角图像可以是指从右侧拍摄的右视图。立体图像是指低分辨率的立体图像，也就是需要提高分辨率的立体图像。
[0040]具体地，可以基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种立体图像超分辨率方法，其特征在于，包括：获取立体图像中的左视角图像和右视角图像；基于单帧重建网络模型，对所述左视角图像和所述右视角图像分别进行单帧超分辨率的重建，获得第一左视角重建图像和第一右视角重建图像；基于立体图像超分模型，对所述第一左视角重建图像和所述第一右视角重建图像进行双帧超分辨率的重建，获得所述立体图像超分后的第二左视角重建图像和第二右视角重建图像。2.根据权利要求1所述的立体图像超分辨率方法，其特征在于，所述单帧重建网络模型为：自注意力变换网络模型；所述立体图像超分模型包括卷积网络子模型和视差注意力网络子模型；其中，所述卷积网络子模型用于单目信息的聚合处理，所述视差注意力网络子模型用于双目信息的聚合处理。3.根据权利要求1所述的立体图像超分辨率方法，其特征在于，所述单帧重建网络模型包括：具有相同结构的第一自注意力变换网络模型和第二自注意力变换网络模型；所述基于单帧重建网络模型，对所述左视角图像和所述右视角图像分别进行单帧超分辨率的重建，获得第一左视角重建图像和第一右视角重建图像，包括：将所述左视角图像输入至所述第一自注意力变换网络模型中进行左视角信息的聚合重建，获得第一左视角重建图像；将所述右视角图像输入至所述第二自注意力变换网络模型中进行右视角信息的聚合重建，获得第一右视角重建图像。4.根据权利要求3所述的立体图像超分辨率方法，其特征在于，所述第一自注意力变换网络模型包括：特征提取子模型、基于自注意力机制的多个变换子模型和融合重建子模型；所述将所述左视角图像输入至所述第一自注意力变换网络模型中进行左视角信息的聚合重建，获得第一左视角重建图像，包括：将所述左视角图像输入至所述特征提取子模型中进行左视角信息的提取，获得第一左视角特征信息；将所述第一左视角特征信息输入至串行连接的多个变换子模型中进行左视角信息的聚合，获得最后一个变换子模型输出的第二左视角特征信息；将所述第一左视角特征信息和所述第二左视角特征信息输入至所述融合重建子模型中进行融合重建，获得第一左视角重建图像。5.根据权利要求4所述的立体图像超分辨率方法，其特征在于，所述融合重建子模型用于：将输入的所述第一左视角特征信息和所述第二左视角特征信息进行相加，获得第三左视角特征信息，并基于所述第三左视角特征信息进行图像重建，获得第一左视角重建图像。6.根据权利要求3所述的立体图像超分辨率方法，其特征在于，所述将所述左视角图像输入至所述第一自注意力变换网络模型中进行左视角信息的聚合重建，获得第一左视角重建图像，包括：获取所述左视角图像的多个相邻图像；将所述左视角图像和所述多个相邻图像输入至所第一自注意力变换网络模型中进行
左视角信息的聚合重建，获得第一左视角重建图像。7.根据权利要求1所述的立体图像超分辨率方法，其特征在于，所述立体图像超分模型包括：第一卷积网络子模型、第二卷积网络子模型以及与所述第一卷积网络子模型和第二卷积网络子模型连接的视差注意力网络子模型；所述基于立体图像超分模型，对所述第一左视角重建图像和所述第一右视角重建图像进行双帧超分辨率的重建，获得所述立体图像超分后的第二左视角重建图像和第二右视角重建图像，包括：将所述第一左视角重建图像和所述第一右视角重建图像分别输入至第一卷积网络子模型和第二卷积网络子模型中进行单目信息的聚合重建，并在单目信息的聚合重建过程中利用所述视差注意力网络子模型进行双目信息的聚合处理，获得所述立体图像超分后的第二左视角重建图像和第二右视角重建图像。8.根据权利要求7所述的立体图像超分辨率方法，其特征在于，所述第一卷积网络子模型包括：第一特征提取模块、多个第一卷积模块和第一融合重建模块；所述第二卷积网络子模型包括：第二特征提取模块、多个第二卷积模块和第二融合重建模块；所述视差注意力网络子模型包括：多个视差注意力网络模块，其中，在每两组卷积模块之间插入一个视差...

【专利技术属性】
技术研发人员：程铭，马昊宇，马秋芳，孙晓鹏，赵世杰，李军林，
申请(专利权)人：脸萌有限公司，
类型：发明
国别省市：