一种双目视觉系统污损图像修复方法技术方案

本发明专利技术属于污损图像修复技术领域，具体涉及一种双目视觉系统污损图像修复方法，利用自主机器人当前视角图像的时序特性和相邻参考视角图像的空间信息，基于条件生成对抗网络和改进后的

【技术实现步骤摘要】
一种双目视觉系统污损图像修复方法


[0001]本专利技术属于污损图像修复
，具体涉及一种双目视觉系统污损图像修复方法
。

技术介绍

[0002]随着自主机器人研究的不断深入，自主机器人在工业化自动化
、
服务行业
、
智能安防以及国防安全领域发挥着越来越重要的作用
。
配备有机器人视觉伺服系统依赖于从图像中提取特征以完成后续的决策控制，由于其作业的非结构化环境，极易遭受外部恶劣环境以及突发事件的影响，在收集所处环境图像信息的过程中，画面可能存在各种污损，进而影响自主机器人后续一系列作业过程
。
视频修复是指对视频受损部分的重建，并且要保证修复完成后的视频序列中单帧图像的空间一致性和视频帧间的时间连续性
。
因此，对于机器人视觉系统而言，实现准确的实时在线图像修复技术是自主机器人实现可靠工作的重要保障
。
[0003]目前，现有的图像视频修复研究大多局限于单帧图像或视频时序特性中的某个单一角度，无法满足自主机器人双目视觉系统下的图像精确鲁棒的修复要求；而现有针对双目视觉系统的图像修复的方法修复结果不够准确，直接利用污损图像信息与相邻视角图像的信息融合，使得特征图中包含了更多污损图像的数据
。

技术实现思路

[0004]本专利技术的目的在于提供一种能够提升修复精度的双目视觉系统污损图像修复方法，减少特征图中包含污损图像的数据；使装备有视觉系统的自主机器人更好的应对非结构化的作业环境，保证获取的视觉图像信息的完整性和准确性，提升机器人视觉系统的准确性和鲁棒性
。
[0005]基于上述目的，本专利技术采用如下技术方案：
[0006]一种双目视觉系统污损图像修复方法，包括如下步骤：
[0007]步骤1，利用双目相机获取双目视频，双目视频包括当前视角视频和相邻视角视频，将双目视频按视频序列划分为多个图像序列；将所有图像序列中当前视角的原始图像制作成污损图像，将所有图像序列分为训练集
、
验证集和测试集
。
[0008]步骤2，将训练集的一个图像序列中的污损图像和相邻视角的原始图像输入到图像修复模型中，用空间变换网络模块对相邻视角的原始图像进行仿射变换，将相邻视角的原始图像和当前视角的污损图像在污损区域的空间对齐，得到对齐图像；将对齐图像与污损图像输入条件生成对抗网络中，得到污损图像的初步修复图像
。
[0009]步骤3，将初步修复图像进行尺度变换，然后输入到下采样模块中，得到第一级特征图
。
[0010]步骤4，使用分级编码器模块将第一级特征图经过卷积编码之后得到高维特征图
。
[0011]步骤5，使用解耦时空域
Transformer
模块获取图像序列中高维特征图的时序信息
特征图和空间信息
。
[0012]步骤6，将相邻视角的原始图像经过相邻视角下采样模块输出高级语义特征图，将高级语义特征图与时序信息特征图相融合，得到融合图像，并将融合图像和高维特征图的空间信息输入到多帧解码器解码，输出多帧最终修复图像
。
[0013]步骤7，根据最终修复图像与当前视角的原始图像计算损失函数，然后通过反向传播函数训练更新图像修复模型的参数
。
[0014]步骤8，将训练集中的其他图像序列输入到图像修复模型中，重复步骤2‑7，优化损失函数和图像修复模型的参数，得到最终的图像修复模型并使用验证集和测试集进行评估
。
[0015]进一步的，在步骤2中，条件生成对抗网络的生成模型经过编解码结构重构出污损图像的初步修复图像，条件生成对抗网络的判别模型对输入的重构后的初步修复图像和和相邻参考视角图像进行判断，输出初步修复图像
。
[0016]进一步的，在步骤4中，将第一级特征图经过分级编码器模块的一个卷积层，得到第二级特征图；随后将当前级特征图与第一级特征图拼接，得到当前级拼接特征图；再将当前级拼接特征图经过一个卷积层得到下一级特征图，最后得到最终拼接特征图；将最终拼接特征图沿第四维度展开，并经过卷积处理后得到高维特征图
。
[0017]进一步的，在步骤5中，将高维特征图分为多个特征块，将一个图像序列中所有高维特征图的特征块按照时间维度进行组合，然后经过前向网络层，再经过线性变换得到时序信息特征图；将多帧高维特征图的特征块根据图像帧进行空间组合，然后经过前向网络层，再经过线性变换得到高维特征图的空间信息
。
[0018]进一步的，在步骤6中，相邻视角下采样模块输出高级语义特征图的方法为：首先，利用空间变换网络模块对相邻视角的原始图像进行逐帧对齐操作；接着，将对齐后的原始图像进行维度变换，将帧数维度与批量维度进行合并，将维度变换后的原始图像按帧输入到下采样模块中，得到高级语义特征图
。
[0019]进一步的，在步骤6中，将高级语义特征图与时序信息特征图相融合的方法为：采用相关计算层将输入该层的高级语义特征图和当前视角的时序信息特征图中对应的特征块进行相关性的计算，将相邻视角的高级语义特征图上高度和宽度均为
2k+1
的特征块的中心特征向量，和当前视角的时序信息特征图上相同尺度的每个特征向量进行内积，得到融合图像
。
[0020]进一步的，在步骤7中，计算损失函数的方法为：
[0021]L
＝
λ
hole
·
L
hole
+
λ
valid
L
valid
+
λ
p
L
p
+
λ
adv
L
adv
[0022]式中，
L
为整体损失，
L
hole
为孔区域重建损失，
L
valid
为有效重建损失，
L
p
为感知损失，
L
adv
为对抗损失，
λ
hole
、
λ
valid
、
λ
p
、
λ
adv
分别表示各部分损失的权重系数
。
[0023]进一步的，在步骤7中，
[0024][0025][0026]式中，为最终修复图像，为当前视角的原始图像，
M
T
为当前帧图像对应的掩膜
。
[0027]进一步的，在步骤7中，通过计算预训练网络
VGG
‑
19
输出的高级特征计算感知损失：
[0028][0029]式中，
Φ
i
(x)
为预训练网络
VGG
‑
19
第
i
层的特征输出，
...

【技术保护点】

【技术特征摘要】
1.
一种双目视觉系统污损图像修复方法，其特征在于，包括如下步骤：步骤1，利用双目相机获取双目视频，双目视频包括当前视角视频和相邻视角视频，将双目视频按视频序列划分为多个图像序列；将所有图像序列中当前视角的原始图像制作成污损图像，将所有图像序列分为训练集
、
验证集和测试集；步骤2，将训练集的一个图像序列中的污损图像和相邻视角的原始图像输入到图像修复模型中，用空间变换网络模块对相邻视角的原始图像进行仿射变换，将相邻视角的原始图像和当前视角的污损图像在污损区域的空间对齐，得到对齐图像；将对齐图像与污损图像输入条件生成对抗网络中，得到污损图像的初步修复图像；步骤3，将初步修复图像进行尺度变换，然后输入到下采样模块中，得到第一级特征图；步骤4，使用分级编码器模块将第一级特征图经过卷积编码之后得到高维特征图；步骤5，使用解耦时空域
Transformer
模块获取图像序列中高维特征图的时序信息特征图和空间信息；步骤6，将相邻视角的原始图像经过相邻视角下采样模块输出高级语义特征图，将高级语义特征图与时序信息特征图相融合，得到融合图像，并将融合图像和高维特征图的空间信息输入到多帧解码器解码，输出多帧最终修复图像；步骤7，根据最终修复图像与当前视角的原始图像计算损失函数，然后通过反向传播函数训练更新图像修复模型的参数；步骤8，将训练集中的其他图像序列输入到图像修复模型中，重复步骤2‑7，优化损失函数和图像修复模型的参数，得到最终的图像修复模型并使用验证集和测试集进行评估
。2.
如权利要求1所述的双目视觉系统污损图像修复方法，其特征在于，在步骤2中，条件生成对抗网络的生成模型经过编解码结构重构出污损图像的初步修复图像，条件生成对抗网络的判别模型对输入的重构后的初步修复图像和和相邻参考视角图像进行判断，输出初步修复图像
。3.
如权利要求2所述的双目视觉系统污损图像修复方法，其特征在于，在步骤4中，将第一级特征图经过分级编码器模块的一个卷积层，得到第二级特征图；随后将当前级特征图与第一级特征图拼接，得到当前级拼接特征图；再将当前级拼接特征图经过一个卷积层得到下一级特征图，最后得到最终拼接特征图；将最终拼接特征图沿第四维度展开，并经过卷积处理后得到高维特征图
。4.
如权利要求3所述的双目视觉系统污损图像修复方法，其特征在于，在步骤5中，将高维特征图分为多个特征块，将一个图像序列中所有高维特征图的特征块按照时间维度进行组合，然后经过前向网络层，再经过线性变换得到时序信息特征图；将多帧高维特征图的特征块根据图像帧进行空间组合，然后经过前向网络层，再经过线性变换得到高维特征图的空间信息
。5.
如权利要求4所述的双目视觉系统污损图像修复方法，其特征在于，在步骤6中，相邻视角下采样模块输出高级语义特征图的方法为：首先，利用空间变换网络模块对相邻视角的原始图像进行逐帧对齐操作；接着，将对齐后的原始图像进行维度变换，将帧数维度与批量维度进行合并，将维度变换后的原始图像按帧输入到下采样模块中，得到高级语义特征图
。6.
如权利要求5所述的双目...

【专利技术属性】
技术研发人员：罗均，刘文杰，刘靖逸，刘军，李恒宇，谢少荣，
申请(专利权)人：济宁学院，
类型：发明
国别省市：