一种步进式反向映射图像修复网络模型的训练方法技术

本发明专利技术属于图像修复技术领域，公开了一种步进式反向映射图像修复网络模型的训练方法，步骤为：S1：获取样本图像集，样本图像集包括多对双目图像，每对双目图像包括左视角图像和右视角图像，左视角图像或右视角图像为损坏图像；将样本图像集按比例随机划分为训练集和测试集；S2：采用训练集对预先构建的步进式反向映射图像修复网络模型进行训练，更新双步进式反向映射图像修复网络模型的参数，得到训练后的步进式反向映射图像修复网络模型；S3：采用测试集对训练后步进式反向映射图像修复网络模型进行测试，从训练后的步进式反向映射图像修复网络模型中选出最优步进式反向映射图像修复网络模型。本发明专利技术的模型具有高效、实时、清晰、修复精度高等优点，修复得到的修复图像真实、自然。自然。自然。

【技术实现步骤摘要】
一种步进式反向映射图像修复网络模型的训练方法


[0001]本专利技术涉及图像修复处理
，具体涉及一种步进式反向映射图像修复网络模型的训练方法。

技术介绍

[0002]随着自主机器人的快速发展，以及计算机视觉技术取得的巨大进步，双目甚至是多目视觉系统的使用越来越广泛，同时人们对于机器人在复杂环境中具有高可靠性、移动性、便携性、安全性和自主感知能力的要求愈发强烈。。然而，当移动机器人在野外作业时，其感知相机的镜头很容易被泥土、灰尘、雨和雪所污染，导致捕获的图像中出现缺陷区域。这给依赖视觉传感器的移动机器人带来了巨大的挑战。因此，有必要通过图像喷绘技术来恢复不完整图像中的受损部分。大多数方法都是利用编码器
‑
解码器结构来一次完成图像的绘制，这些方法假定受损图像的已知区域包含足够的信息来重建缺失区域。然而，在存在大面积损坏的情况下，这一假设往往被违反，因为随着损坏区域的增大，已知和未知像素之间的相关性明显减弱。因此，这些方法经常产生语义模糊的内容。

技术实现思路

[0003]针对现有技术中存在的问题和不足，本专利技术的目的旨在提供一种步进式反向映射图像修复网络模型的训练方法。
[0004]为实现专利技术目的，本专利技术采用的技术方案如下：
[0005]本专利技术第一方面提供了一种步进式反向映射图像修复网络模型的训练方法，包括以下步骤：
[0006]S1、获取样本图像集，所述样本图像集中包括多对双目图像，每对双目图像包括一个左视角图像和一个右视角图像，一对双目图像中的左视角图像和右视角图像对应同一个场景，采集时间相同；而且，一对双目图像中的左视角图像或右视角图像为损坏图像，每张损坏图像都保留其原始未损坏图像作为该损坏图像的真值；将样本图像集按比例随机划分为训练集和测试集；
[0007]S2：采用训练集对预先构建的步进式反向映射图像修复网络模型进行训练，更新步进式反向映射图像修复网络模型参数，得到训练后的步进式反向映射图像修复网络模型；
[0008]其中，所述步进式反向映射图像修复网络模型包括特征提取模块、特征融合模块和图像修复模块；所述特征提取模块的输入为一对双目图像，用于对双目图像进行特征提取，生成一对双目图像的特征图并输出；所述特征融合模块的输入为特征提取模块输出的一对双目图像的特征图，用于将一对双目图像的特征图进行通道融合，生成左右视角通道融合特征图并输出；所述图像修复模块用于对输入步进式反向映射图像修复网络模型的一对双目图像中的损坏图像进行修复，图像修复模块的输入为左右视角通道融合特征图和特征提取模块输出的损坏图像的特征图，输出为损坏图像的修复图像；所述图像修复模块由
初级语义修复层、过渡层和细化语义修复层组成。其中，所述初级语义修复层用于学习左、右视角图像的初级语义轮廓，生成损坏图像破损区域修复的初级语义信息特征图；所述过渡层用于在初级语义信息特征图的基础上对损坏图像破损区域进行细化修复，生成损坏图像破损区域修复的精细语义信息特征图；所述述细化语义修复层用于学习左、右视角图像在对应受损区域的精细纹理特征，修复损坏图像破损区域的边缘细节，生成损坏图像的修复图像。
[0009]S3：采用测试集对步骤S2得到的训练后步进式反向映射图像修复网络模型进行测试，从训练后的步进式反向映射图像修复网络模型中选出最优步进式反向映射图像修复网络模型。
[0010]根据上述的步进式反向映射图像修复网络模型的训练方法，优选地，所述初级语义修复层包括第一编码器映射模块和第一解码器映射模块，第一编码器映射模块的输入为经下第一下采样模块处理后的左右视角通道融合特征图和经第一下采样模块处理后的损坏图像特征图第一编码器映射模块对输入的左右视角通道融合特征图和损坏图像特征图经进行编码处理，生成第一编码特征图E
3,1
并输出；第二解码器映射模块用于对第一编码特征图E
3,1
进行解码处理，生成第一解码特征图D
3,1
并输出。
[0011]根据上述的步进式反向映射图像修复网络模型的训练方法，优选地，所述过渡层包括第二编码器映射模块、第二解码器映射模块、第三编码器映射模块和第三解码器映射模块，第二编码器映射模块与第二解码器映射模块之间设有第一通道融合模块，第二解码器映射模块与第三编码器映射模块之间设有第二通道融合模块；第二编码器映射模块的输入为经第二下采样模块处理后的左右视角通道融合特征图和经第二下采样模块处理后的损坏图像特征图第二编码器映射模块对输入的左右视角通道融合特征图和损坏图像特征图进行编码处理，生成第二编码特征图E
2,1
并输出；第一通道融合模块的输入为第二编码特征图E
2,1
和经双线性模块处理后的第一编码特征图E
3,1
，第一个通道融合模块用于将第二编码特征图E
2,1
和经双线性模块处理后的第一编码特征图E
3,1
进行通道融合，生成第一通道融合特征图并输出；第二解码器映射模块用于对第一通道融合特征图进行解码处理，生成第二解码特征图D
2,1
并输出；所述第二通道融合模块用于对第二解码特征图D
2,1
和经双线性模块处理后的第一解码特征图D
3,1
进行通道融合，生成第二通道融合特征图并输出；第三编码器映射模块的输入为第二通道融合特征图和经第二下采样模块处理后的损坏图像特征图第三编码器映射模块对第二通道融合特征图和损坏图像特征图进行编码处理，生成第三编码特征图E
2,2
并输出；第三解码器映射模块用于对第三编码特征图E
2,2
进行解码处理，生成第三解码特征图D
2,2
并输出；所述第一下采样模块的采样因子与第二下采样模块不同。
[0012]根据上述的步进式反向映射图像修复网络模型的训练方法，优选地，所述细化语义修复层包括第四编码器映射模块、第四解码器映射模块、第五编码器映射模块、第五解码
器映射模块、第六编码器映射模块和第六解码器映射模块，所述第四编码器映射模块与第四解码器映射模块之间设有第三通道融合模块，所述第四解码器映射模块与第五编码器映射模块之间设有第四通道融合模块，第五编码器映射模块与第五解码器映射模块之间设有第五通道融合模块，第五解码器映射模块与第六编码器模块之间设有第六通道融合模块；
[0013]第四编码器映射模块的输入为经第三下采样模块处理后的左右视角通道融合特征图F
c
(1)和经第三下采样模块处理后的损坏图像特征图F
l
(1)，第四编码器映射模块对左右视角通道融合特征图F
c
(1)和损坏图像特征图F
l
(1)进行编码处理，生成第四编码特征图E
1,1
并输出；第三通道融合模块的输入为第四编码特征图E
1,1
和经双线性模块处理后的第一通道融合特征图，第三通道融合模块用于将第四编码特征图E
1,1
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种步进式反向映射图像修复网络模型的训练方法，其特征在于，包括以下步骤：S1、获取样本图像集，所述样本图像集中包括多对双目图像，每对双目图像包括一个左视角图像和一个右视角图像，一对双目图像中的左视角图像和右视角图像对应同一个场景，采集时间相同；而且，一对双目图像中的左视角图像或右视角图像为损坏图像，每张损坏图像都保留其原始未损坏图像作为该损坏图像的真值；将样本图像集按比例随机划分为训练集和测试集；S2：采用训练集对预先构建的步进式反向映射图像修复网络模型进行训练，更新步进式反向映射图像修复网络模型参数，得到训练后的步进式反向映射图像修复网络模型；其中，所述步进式反向映射图像修复网络模型包括特征提取模块、特征融合模块和图像修复模块；所述特征提取模块的输入为一对双目图像，用于对双目图像进行特征提取，生成一对双目图像的特征图并输出；所述特征融合模块的输入为特征提取模块输出的一对双目图像的特征图，用于将一对双目图像的特征图进行通道融合，生成左右视角通道融合特征图并输出；所述图像修复模块用于对输入步进式反向映射图像修复网络模型的一对双目图像中的损坏图像进行修复，图像修复模块的输入为左右视角通道融合特征图和特征提取模块输出的损坏图像的特征图，输出为损坏图像的修复图像；所述图像修复模块由初级语义修复层、过渡层和细化语义修复层组成；S3：采用测试集对步骤S2得到的训练后步进式反向映射图像修复网络模型进行测试，从训练后的步进式反向映射图像修复网络模型中选出最优步进式反向映射图像修复网络模型。2.根据权利要求1所述的步进式反向映射图像修复网络模型的训练方法，其特征在于，所述初级语义修复层包括第一编码器映射模块和第一解码器映射模块，第一编码器映射模块的输入为经下第一下采样模块处理后的左右视角通道融合特征图和经第一下采样模块处理后的损坏图像特征图第一编码器映射模块对输入的左右视角通道融合特征图和损坏图像特征图经进行编码处理，生成第一编码特征图E
3,1
并输出；第二解码器映射模块用于对第一编码特征图E
3,1
进行解码处理，生成第一解码特征图D
3,1
并输出。3.根据权利要求2所述的步进式反向映射图像修复网络模型的训练方法，其特征在于，所述过渡层包括第二编码器映射模块、第二解码器映射模块、第三编码器映射模块和第三解码器映射模块，第二编码器映射模块与第二解码器映射模块之间设有第一通道融合模块，第二解码器映射模块与第三编码器映射模块之间设有第二通道融合模块；第二编码器映射模块的输入为经第二下采样模块处理后的左右视角通道融合特征图和经第二下采样模块处理后的损坏图像特征图第二编码器映射模块对输入的左右视角通道融合特征图和损坏图像特征图进行编码处理，生成第二编码特征图E
2,1
并输出；第一通道融合模块的输入为第二编码特征图E
2,1
和经双线性模块处理后的第一编码特征图E
3,1
，第一个通道融合模块用于将第二编码特征图E
2,1
和经双线性模块处理后的第一编码特征图
E
3,1
进行通道融合，生成第一通道融合特征图并输出；第二解码器映射模块用于对第一通道融合特征图进行解码处理，生成第二解码特征图D
2,1
并输出；所述第二通道融合模块用于对第二解码特征图D
2,1
和经双线性模块处理后的第一解码特征图D
3,1
进行通道融合，生成第二通道融合特征图并输出；第三编码器映射模块的输入为第二通道融合特征图和经第二下采样模块处理后的损坏图像特征图第三编码器映射模块对第二通道融合特征图和损坏图像特征图进行编码处理，生成第三编码特征图E
2,2
并输出；第三解码器映射模块用于对第三编码特征图E
2,2
进行解码处理，生成第三解码特征图D
2,2
并输出；所述第一下采样模块的采样因子与第二下采样模块不同。4.根据权利要求3所述的步进式反向映射图像修复网络模型的训练方法，其特征在于，所述细化语义修复层包括第四编码器映射模块、第四解码器映射模块、第五编码器映射模块、第五解码器映射模块、第六编码器映射模块和第六解码器映射模块，所述第四编码器映射模块与第四解码器映射模块之间设有第三通道融合模块，所述第四解码器映射模块与第五编码器映射模块之间设有第四通道融合模块，第五编码器映射模块与第五解码器映射模块之间设有第五通道融合模块，第五解码器映射模块与第六编码器模块之间设有第六通道融合模块；第四编码器映射模块的输入为经第三下采样模块处理后的左右视角通道融合特征图F
c
(1)和经第三下采样模块处理后的损坏图像特征图F
l
(1)，第四编码器映射模块对左右视角通道融合特征图F
c
(1)和损坏图像特征图F
l
(1)进行编码处理，生成第四编码特征图E
1,1
并输出；第三通道融合模块的输入为第四编码特征图E
1,1
和经双线性模块处理...

【专利技术属性】
技术研发人员：李恒宇，程立，刘靖逸，谢永浩，王曰英，谢少荣，罗均，
申请(专利权)人：上海大学，
类型：发明
国别省市：