一种结合边缘信息的图像修复方法技术

一种结合边缘信息的图像修复方法，涉及图像修复方法领域，包括如下步骤：步骤一、将原始图像记作I

【技术实现步骤摘要】
一种结合边缘信息的图像修复方法
本专利技术涉及图像修复方法领域，详细讲是一种图像边界部分的修复效果好、修复后的图像的纹理色彩与图像整体具有高度的一致性、无明显的修复痕迹的结合边缘信息的图像修复方法。
技术介绍
BertalmioM等人介绍了一种用于静态图像数字修复的算法，用户选择需要修复的区域后，该算法会根据选中区域周围像素的像素值，向待修复区域内扩展直至修复完成，此方法能够同步修复包括完全相异的纹理和周围场景的众多区块。这种图像修复算法并没有考虑图像的纹理、结构等特征，修复得到的图像结果仅仅利用相邻像素点的色彩信息对缺失信息的空洞进行填补，修复后的图像特征、纹理等信息容易被破坏，无法保证图像的整体性。VeseL等人提出了一种在缺失图像信息区域同时填充纹理和结构的算法，此方法首先将图像分解为具有不同基本特征的两个函数的总和，然后使用结构和纹理填充算法分别重构每个函数，两个特征函数中第一个函数是有界变化，表示基础图像结构，而第二个函数则用于捕获纹理和可能的噪声。使用图像修复算法重建有界变化图像中丢失信息的区域，同时使用纹理合成技术填充纹理图像中的相同区域。然后重建原始图像，并添加这两个子图像得到修复后的图像，此算法将图像分解与修补和纹理合成结合在一起，从而可以同时使用适合于不同图像特征的填充算法。DolhanskyB等人在条件生成对抗网络的基础上，在对抗网络内的多个点插入额外的参考图像样例信息，从而提高图像特征描述能力，实现了对人脸的修复。VeseL等人、DolhanskyB等人提出的图像修复方法虽然考虑了图像中纹理、结构等特征信息，将这些信息用于指导图像的修复，但是仅仅依靠纹理、结构等信息无法给出图像中不同类别物体之间的边界信息，从而导致修复后的图像在孔洞边缘部分修复效果差，存在着明显的修复痕迹，导致修复后图像整体性的下降。
技术实现思路
本专利技术的目的是解决上述现有技术的不足，提供一种图像边界部分的修复效果好、修复后的图像的纹理色彩与图像整体具有高度的一致性、无明显的修复痕迹的结合边缘信息的图像修复方法。一种结合边缘信息的图像修复方法，其特征在于包括如下步骤：步骤一、将原始图像(摄像机等实时采集的真实的场景图像)记作It，分别获取原始图像中的语义图像Cg、灰度图像Ig、掩膜图像M；步骤二、建立生成式对抗网络一、生成边界特征图像生成式对抗网络一的网络结构采用全卷积神经网络结构，除最后一层产生最终结果外，每两个卷积层之间都使用批量归一化算法对数据进行归一化，(将数据规范到梯度变化更大的范围内，)归一化后的数据通过RELU激励函数进行非线性激励(，增强网络的非线性表述能力)，在最后一层输出层使用softmax函数；生成式对抗网络一的输入为式中M为原始图像孔洞的掩膜图像，孔洞的掩膜图像是：孔洞部分像素为1、其余部分像素为0，用以提取孔洞特征信息，为灰度图像与掩膜图像取与后的结果，为语义图像与掩膜图像取与后的结果；通过生成式对抗网络一生成的边界特征图像为Cp，式中G1为生成式对抗网络一中的生成器，(以掩膜图像、灰度图像、语义图像作为输入，输出为边界特征图像)生成式对抗网络一的损失函数为：式中Ladv1为鉴别器损失为特征池损失，D1为生成式对抗网络一的鉴别器，参数λ1和为正则化参数，分别选定为1和10，i为生成式对抗网络一中的第i层特征层，Ni为第i层学习权重；为第i层鉴别器判别结果输出。步骤三、建立生成式对抗网络二、生成修复后的完整图像生成式对抗网络二的网络结构采用全卷积神经网络结构，除最后一层产生最终结果外，每两个卷积层之间都使用批量归一化算法对数据进行归一化，归一化后的数据通过RELU激励函数进行非线性激励，在最后一层输出层使用tanh激励函数；生成式对抗网络二的输入为Cp通过生成式对抗网络二生成的图像为修复后的完整图像记作Ip，式中G2为生成式对抗网络二中的生成器；生成式对抗网络二的损失函数为：式中Ladv2为生成式对抗网络二中鉴别器损失，Lp为感知损失，Ls为类型损失，D2为生成式对抗网络二的鉴别器，Ni为第i层学习权重，φi预训练网络第i层的激活图，为预训练网络中第j层的生成器的对应输出，所述的预训练网络采用AlexNet；激活图使用ImageNet数据集上预先训练的VGG-19网络中的激活图；三个正则化参数通过迭代法得出，最终选值分别为：λadv2＝1，λp＝0.5，λs＝0.3。生成式对抗网络二的感知损失函数为Lp、类型损失函数为Ls。本专利技术中所述的生成式对抗网络一和生成式对抗网络二的具体网络结构为如下表：本专利技术中所述的原始图像为摄像机采集的原始真实场景图像，所述的灰度图像为将原始图像进行灰度化处理而得到，所述的语义图像是对原始图像进行人工语义标注得到像素级别的语义图像，所述的掩膜图像是将原始图像上去除(人工语义标注的)动态障碍物后的孔洞部分像素置为1，其余部分像素置为0的而生成的孔洞掩膜图像。本专利技术中所述的孔洞为原始图像去除动态障碍物所产生的孔洞。先生成语义图像，然后根据语义图像的生成掩膜图像。本专利技术中所述的对原始图像进行人工语义标注时，语义包括动态障碍物语义及其他语义，其中动态障碍物语义包括交通流语义，其他语义为除交通流外的语义。交通流语义包括行人、车辆、自行车等，其他语义包括道路、天空、树木等。对原始图像进行人工语义标注生成语义图像后，去除原始图像上被标注为动态障碍物语义部分，形成待修复的具有孔洞的彩色图像(具有孔洞的原始图像)。本专利技术应用于自动驾驶增强仿真当中，对图像修复的具过程包括如下步骤：第一步：对生成式对抗网络一、生成式对抗网络二的网络结构进行实现，依据上述给出的公式，通过Pytorch建立生成式对抗网络一、生成式对抗网络二的网络模型；第二步：根据摄像机采集的实际使用场景图像进行处理，获得灰度图像、掩膜图像和语义图像数据集，制作对应的训练数据集和测试数据集，用于后续神经网络模型参数的优化训练；第三步：利用制作的训练数据集对生成式对抗网络一、生成式对抗网络二的网络权重参数进行训练，得到训练后的系数矩阵，通过制作的测试数据集对模型进行测试，优化系数矩阵；第四步：将待修复的包含孔洞的彩色图像输入生成式对抗网络一、生成式对抗网络二，以得到的系数矩阵作为修复参数，得到修复后的图像。本专利技术基于对图像中不同类别物体边缘信息特征的提取，用于指导图像的修复。利用两个生成式对抗网络，以孔洞掩膜图像、语义图像、具有孔洞的彩色图像(具有孔洞的原始图像)、灰度图像为输入，分别用于对边缘特征图像的生成以及具有孔洞的彩色图像的修复。可以实现对大面积孔洞的修复，修复后的图像在边界部分具有更精细的修复效果。全卷积网络中应用了多层空洞卷积以增大感受野并提供更宽泛的输入视图以捕获图像的整体结构。...

【技术保护点】
1.一种结合边缘信息的图像修复方法，其特征在于包括如下步骤：/n步骤一、将原始图像记作I

【技术特征摘要】
1.一种结合边缘信息的图像修复方法，其特征在于包括如下步骤：
步骤一、将原始图像记作It，分别获取原始图像中的语义图像Cg、灰度图像Ig、掩膜图像M；
步骤二、建立生成式对抗网络一、生成边界特征图像
生成式对抗网络一的网络结构采用全卷积神经网络结构，除最后一层产生最终结果外，每两个卷积层之间都使用批量归一化算法对数据进行归一化，归一化后的数据通过RELU激励函数进行非线性激励，在最后一层输出层使用softmax函数；
生成式对抗网络一的输入为






式中M为原始图像孔洞的掩膜图像，孔洞的掩膜图像是：孔洞部分像素为1、其余部分像素为0，用以提取孔洞特征信息，为灰度图像与掩膜图像取与后的结果，为语义图像与掩膜图像取与后的结果；
通过生成式对抗网络一生成的边界特征图像为Cp，



式中G1为生成式对抗网络一中的生成器，
生成式对抗网络一的损失函数为：









式中Ladv1为鉴别器损失为特征池损失，D1为生成式对抗网络一的鉴别器，参数λ1和为正则化参数，分别选定为1和10，i为生成式对抗网络一中的第i层特征层，Ni为第i层学习权重；为第i层鉴别器判别结果输出；
步骤三、建立生成式对抗网络二、生成修复后的完整图像
生成式对抗网络二的网络结构采用全卷积神经网络结构，除最后一层产生最终结果外，每两个卷积层之间都使用批量归一化算法对数据进行归一化，归一化后的数据通过RELU激励函数进行非线性激励，在最后一层输出层使用tanh激励函数；
生成式对抗网络二的输入为Cp



通过生成式对抗网络二生成的图像为修复后的完整图像记作Ip，



式中G2为生成式对抗网络二中的生成器；
生成式对抗网络二的损失函数为：








...

【专利技术属性】
技术研发人员：张梅，王大方，马学年，曹江，王伟，刘迦南，于贝珂，王暄晖，杜京东，夏祥腾，赵刚，
申请(专利权)人：哈尔滨工业大学威海，中国人民解放军六三九六六部队，
类型：发明
国别省市：山东;37