本公开实施例公开了一种立体图像重建方法、装置、电子设备及存储介质。所述应用方法包括：采用立体图像重建模型对待处理立体图像左右视图特征执行光流预对齐任务得到预对齐特征；采用所述立体图像重建模型对所述预对齐特征执行精细化对齐任务；依据所述精细化对齐任务对待处理立体图像左右视图进行图像重建得到重建后立体图像左右视图。本公开方案，在立体图像重建过程中，除了使用光流估计方式进行光流预对齐同时还在立体图像重建模型中对预对齐特征进行精细化对齐任务，大大提升待处理立体图像左右视图特征之间预对齐特征的准确性，进而能提升重建结果的主观效果，能够得到更好立体图像的超分辨率效果。更好立体图像的超分辨率效果。更好立体图像的超分辨率效果。
【技术实现步骤摘要】
立体图像重建方法、装置、电子设备及存储介质
[0001]本公开实施例涉及图像处理
，尤其涉及一种立体图像重建方法、装置、电子设备及存储介质。
技术介绍
[0002]立体图像超分辨率是指基于立体图像左右视图中互补的空间信息来进行图像超分辨率重建。
[0003]相关技术中，立体图像超分辨率方案主要分为基于注意力机制的双目信息融合以及基于视差(x方向运动)对下的双目信息融合，而其中基于视差对齐的双目信息融合具有更好的信息融合效果被广泛应用。但是，双目相机由于制作误差、外部撞击等原因会导致摄像头异位等原因，会使得左右视图在y方向也存在运动，从而导致使用视差(x方向运动)去融合信息时不够准确，对齐精度不高，造成图像重建不理想。因此，如何实现较高精度的立体图像重建变得尤为重要。
技术实现思路
[0004]本公开实施例中提供了一种立体图像重建方法、装置、电子设备及存储介质，以实现对立体图像左右视图的高精度超分辨率重建。
[0005]第一方面，本公开实施例中提供了一种立体图像重建方法，所述应用方法包括：
[0006]采用立体图像重建模型对待处理立体图像左右视图特征执行光流预对齐任务得到预对齐特征；
[0007]采用所述立体图像重建模型对所述预对齐特征执行精细化对齐任务；
[0008]依据所述精细化对齐任务对待处理立体图像左右视图进行图像重建，得到重建后立体图像左右视图。
[0009]第二方面，本公开实施例中还提供了一种立体图像重建装置，所述应用装置包括：
[0010]预对齐模块，用于采用立体图像重建模型对待处理立体图像左右视图特征执行光流预对齐任务得到预对齐特征；
[0011]精细化对齐模块，用于采用所述立体图像重建模型对所述预对齐特征执行精细化对齐任务；
[0012]图像重建模块，用于依据所述精细化对齐任务对所述待处理立体图像左右视图进行图像重建，得到重建后立体图像左右视图。
[0013]第三方面，本公开实施例中还提供了一种电子设备，所述电子设备包括：
[0014]至少一个处理器；以及
[0015]与所述至少一个处理器通信连接的存储器；其中，
[0016]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例中任一项所述的立体图像重建方法。
是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0035]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0036]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0037]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0038]可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
[0039]可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
[0040]下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。此外，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
[0041]图1为本公开实施例提供的一种立体图像重建方法的流程图，本实施例的技术方案可适用于实现对立体图像左右视图的高精度超分辨率重建的情况，该方法可以由一种立体图像重建装置来执行，该装置可由软件和/或硬件实现，并一般集成在任何具有网络通信功能的电子设备上，该电子设备包括但不限于：电脑、个人数字助理等设备。如图1所示，本实施例的立体图像重建方法，可包括以下步骤S110
‑
S130：
[0042]S110、采用立体图像重建模型对待处理立体图像左右视图特征执行光流预对齐任务得到预对齐特征。
[0043]其中，立体图像重建模型是指基于立体图像左右视图中互补的空间信息来进行立体图像左右视图超分辨率重建的模型。其中，立体图像重建模型的输入是低分辨立体图像左右视图，输出是超分辨率立体图像左右视图。立体图像重建模型可以实现对待处理立体图像左右视图特征执行光流预对齐，得到待处理立体图像左右视图特征之间的预对齐特征。
[0044]在本方案中，可以基于图像处理技术对立体图像进行特征提取处理，得到待处理立体图像左右视图特征，分别记为待处理立体图像左视图特征与待处理立体图像右视图特征。进而，通过立体图像重建模型对待处理立体图像左视图特征与待处理立体图像右视图特征执行光流预对齐。
[0045]在本技术方案中，可选的，采用立体图像重建模型对待处理立体图像左右视图特征执行光流预对齐任务得到预对齐特征，可包括以下过程：
[0046]基于所述立体图像重建模型中的预训练光流估计网络，对待处理立体图像左右视图特征执行光流预对齐任务得到预对齐特征。
[0047]在本方案中，立体图像重建模型中的预训练光流估计网络用于对立体图像左右视图的光流信息进行估算，以便提高重建的超分辨率立体图像左右视图的精度。具体的，可以
基于立体图像左视图对立体图像右视图进行光流估算，以及基于立体图像右视图对立体图像左视图进行光流估算。
[0048]在本方案中，将待处理立体图像左右视图特征作为输入，分别输入到立体图像重建模型的预训练光流估计网络中，通过立体图像重建模型中的预训练光流估计网络确定待处理立体图像左右视图特征之间的光流信息。基于待处理立体图像左右视图特征之间的光流信息，对待处理立体图像左视图特征与待处理立体图像右视图特征进行预对齐，输出待处理立体图像左右视图特征之间的预对齐特征。
[0049]可选的，在本实施例中，预训练光流估计网络可以包括Flownet系列光流估计网络、PWC
‑
net系列光流估计网络等。其中，Flownet系列光流估计网络用端到端的卷积神经网络解决光流估计问题。PWC
‑
net系列光流估计网络采用的三个主要组件是图像金字塔，映射和匹配代价容量计算，映射和匹配代价容量计算不需要训练参数，可以减少模型参数量。
[0050]在本技术方案中，可选的，基于立体图像重建模型中的预训练光流估计网络，对待处理立体图像左右视图特征执行光流预对齐任务得到预对齐特征，可以包括步骤A1
‑
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种立体图像重建方法，其特征在于，所述应用方法包括：采用立体图像重建模型对待处理立体图像左右视图特征执行光流预对齐任务得到预对齐特征；采用所述立体图像重建模型对所述预对齐特征执行精细化对齐任务；依据所述精细化对齐任务对待处理立体图像左右视图进行图像重建，得到重建后立体图像左右视图。2.根据权利要求1所述的方法，其特征在于，采用立体图像重建模型对待处理立体图像左右视图特征执行光流预对齐任务得到预对齐特征，包括：基于所述立体图像重建模型中的预训练光流估计网络，对待处理立体图像左右视图特征执行光流预对齐任务得到预对齐特征。3.根据权利要求2所述的方法，其特征在于，所述预训练光流估计网络的确定过程，包括：确定光流估计网络所使用的训练样本；每个训练样本包括真实场景的两个训练图像以及两个训练图像之间的光流预标注值；基于所述训练样本控制立体图像重建模型中待训练光流估计网络执行光流估计训练任务，得到所述立体图像重建模型中预训练光流估计网络。4.根据权利要求3所述的方法，其特征在于，确定光流估计网络所使用的训练样本，包括：确定从源图像集中选取的背景图像与前景图像对应的光流信息；其中所述背景图像与前景图像为不重复的图像，所述源图像集基于立体图像超分辨率数据集中真实场景图像生成；从所述前景图像中选取局部区域得到前景局部图像，并确定前景局部图像对应的光流信息；将背景图像与前景局部图像采用各自光流信息进行前向转换，得到转换后的背景图像与前景局部图像；将转换前的背景图像与前景局部图像按从背景到前景的方向进行叠加得到第一训练图像，将转换后的背景图像与前景局部图像按从背景到前景的方向进行叠加得到第二训练图像以及将背景图像与前景局部图像各自对应的光流信息进行叠加得到两个训练图像之间的预标注光流信息，以构建训练光流估计网络所使用的训练样本。5.根据权利要求3所述的方法，其特征在于，基于所述训练样本控制立体图像重建模型中待训练光流估计网络执行光流估计训练任务，得到所述立体图像重建模型中预训练光流估计网络，包括：将训练样本中两个训练图像输入到立体图像重建模型中的待训练光流估计网络进行光流估计训练任务，得到训练样本中两个训练图像之间的光流估算值；依据训练样本中两个训练图像之间的光流估算值与两个训练图像之间的光流预标注值，确定光流估计训练任务的损失函数值；依据光流估计训练任务的损失函数值对所述待训练光流估计网络进行参数调整，得到所述预训练光流估计网络。6.根据权利要求2所述的方法，其特征在于，基于所述立体图像重建模型中的预训练光
流估计网络，对待处理立体图像左右视图特征执行光流预对齐任务得到预对齐特征，包括：将待处理立体图像左右视图输入到所述立体图像重建模型中的预训练光流估计网络，得到待处理立体图像左...
【专利技术属性】
技术研发人员：王庆，程铭，赵世杰，朱亦凡，陈嘉麟，李军林，
申请(专利权)人：脸萌有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。