一种基于生成对抗网络的双目场景图像修复方法技术

本发明专利技术属于图像修复技术领域，具体涉及一种基于生成对抗网络的双目场景图像修复方法。该方法包括以下步骤：（1）采集场景的双目视觉图像，制作训练样本集和测试样本集；（2）构建生成对抗网络模型；（3）采用训练样本集训练生成对抗网络模型进，优化生成对抗网络参数，得到训练后生成对抗网络；（4）采用测试样本集测试所有训练后的生成网络，选择最优生成网络模型；（5）使用最优生成网络模型对受损图像进行实时修复。本发明专利技术的图像修复方法以同帧不同视角的相机图像作为先验信息来辅助受损图像修复，引入额外的有效约束，与现有方法的修复效果对比，本方法得到的修复图像更加真实、自然。

A Binocular Scene Image Repair Method Based on Generating Countermeasure Network

【技术实现步骤摘要】
一种基于生成对抗网络的双目场景图像修复方法
本专利技术属于图像修复
，具体涉及一种基于生成对抗网络的双目场景图像修复方法。
技术介绍
随着机器人系统、自动驾驶的火热发展，双目系统的应用日益广泛，车载的双目相机系统能够更好的获取有效数据图像信息，用于感知车辆各个方向的环境及异常变化，对车辆的控制决策起着至关重要的作用，是自动驾驶能够顺利落地的重要保障。而视觉信息在采集、编码、压缩、传输、解压和解码过程中，信息丢失或信息受到噪声干扰容易造成图像异常。图像修复技术可以利用图像中受损区域周围的结构、纹理等先验信息来复原损坏区域，减少信息的丢失，为机器的感知和决策提供尽可能丰富的信息。现有的单视角传统图像修复方法，其基于受损其余的纹理结构或基于图像像素的空间分布来修复受损图像，修复结果具有混乱的人工修饰痕迹，即使修复结果使人眼看不出图像受损，其修复的内容跟目标修复图像相比也有较大差异。
技术实现思路
针对现有技术存在的问题和不足，本专利技术的目的是提供一种基于生成对抗网络的双目场景图像修复方法。为实现专利技术目的，本专利技术采用的技术方案如下：一种基于生成对抗网络的双目场景图像修复方法，包括以下步骤：(1)采集场景的双目视觉图像，根据采集的双目视觉图像制作训练样本集和测试样本集；采集场景的左视角图像和右视角图像，根据采集的图像制作训练样本集和测试样本集；(2)构建生成对抗网络模型；(3)采用训练样本集对步骤(2)构建的生成对抗网络模型进行训练，优化生成对抗网络的参数，得到训练后生成对抗网络；(4)采用测试样本集对所有训练后生成对抗网络中的生成网络进行测试，评价生成网络的图像修复性能，选择最优生成网络模型；(5)使用步骤(4)得到的最优生成网络模型对受损图像进行实时修复。根据上述的方法，优选地，步骤(1)的具体操作为：(1a)采集原始图像：使用双目相机采集n个场景的双目视觉图像，得到了n对双目视觉图像，将n对双目视觉图像调整至相同大小，然后按照视角不同进行划分，其中，一对双目视觉图像中的左视角图像放入左视角文件夹，右视角图像放入右视角文件夹，并将左视角文件夹和右视角文件夹中的图像按照采集时间先后顺序依次从1到n进行编号；(1b)制作损坏图像：从编号1至编号n，每次以50％的概率从左视角文件夹或右视角文件夹中选择对应编号的图像，然后在选中的图像上增加占该图像面积30％及以上的随机纯色图像块，得到损坏图像；每张损坏图像都保留其原始图像作为该损坏图像的标签图像；(1c)划分训练样本集和测试样本集：将每张损坏图像和与损坏图像编号相同的另一视角图像组成1对样本，共有n对样本，将n对样本按照4:1的比例随机划分为训练样本集和测试样本集。根据上述的方法，优选地，所述生成对抗网络由生成网络和判别网络构成；生成网络的输入是一对双目视觉图像，一对双目视觉图像中的任意一个视角图像为损坏图像，生成网络的输出是损坏图像的修复图像；所述判别网络的输入是生成网络输出的修复图像或与修复图像对应的损坏图像的标签图像，判别网络的输出是输入的图像为标签图像的概率值p。根据上述的方法，优选地，所述生成网络包括编码器和解码器；编码器是将输入图像编码为高维抽象特征图，编码器含有七个卷积层，解码器是将经过编码的高维抽象特征图进行解码，解码器含有四个反卷积层；编码过程中，一对双目视觉图像输入生成网络后，左视角图像依次经过三个卷积层进行特征提取，得到左视角图像的特征图，右视角图像依次经过三个卷积层进行特征提取，得到右视角图像的特征图，将左视角图像的特征图和右视角图像的特征图进行拼接，得到左视角图像和右视角图像的融合特征图，融合特征图经一个卷积层进行下采样，得到融合特征图的高维抽象特征图，此时，编码操作结束；解码过程中，经编码器编码的高维抽象特征图依次经过四个反卷积层进行上采样、解码，得到修复图像。根据上述的方法，优选地，所述判别网络包含五个卷积层(conv层)和一个sigmoid层；修复图像或标签图像输入判别网络后依次经过五个卷积层和一个sigmoid层后输出概率值p(p大于0.5，表示输入图像是标签图像的可能性比较大，p小于0.5则表示输入图像是生成的修复图像的可能性比较大)。根据上述的方法，优选地，生成网络和判别网络中图像经过每一个卷积层进行特征提取时，按式(I)输出卷积后的特征图；其中，w是权重参数值，x指上一层特征图的值，是输出图像上某通道某一点的值，c代表通道索引0～2共3个值，i代表行索引0～255共256个值，j代表列索引0～255共256个值，D代表特征图深度，d为特征图深度索引，F代表卷积核大小，m和n均为F的索引，wb代表偏置参数，最终整合的值得到修复图像。根据上述的方法，优选地，步骤(3)中，采用训练样本集训练生成对抗网络的具体过程为：(3a)首先固定生成网络，将训练样本集中的样本图像输入生成网络，得到输入样本图像中损坏图像的修复图像；将修复图像和与修复图像对应的损坏图像的标签图像分别输入判别网络，以交叉熵H(p)作为判别网络损失函数，利用反向传播算法调节判别网络的网络参数θD，使生成对抗网络目标函数V(G,D)最大化，得到优化后判别网络的网络参数θD，进而得到优化后的判别网络D*；H(P)＝-ylnp+(y-1)ln(1-P)(II)其中，p为判别网络输出的概率值；y表示标签值，其取值为0或1(修复图像的标签值为0，标签图像的标签值为1)；x表示判别网络输入，G表示生成网络，D表示判别网络，x～Pdata表示x服从数据集分布Pdata，x～PG表示x服从生成图像数据分布PG，E[·]表示数学期望；(3b)将步骤(3a)中得到的优化后判别网络D*的网络参数θD代入生成对抗网络目标函数V(G,D)，利用反向传播算法调节生成网络的网络参数θG，使生成对抗网络目标函数V(G,D)最小化，得到优化后判别网络的网络参数θG，进而得到优化后的生成网络G*；其中，(3c)重复上述步骤(3a)和步骤(3b)，反复交替训练判别网络和生成网络，优化判别网络的网络参数θD和生成网络的网络参数θG，直至判别网络无法判别输入的图像为标签图像或修复图像，则训练停止，得到训练后的生成对抗网络。根据上述的方法，优选地，所述步骤(4)的具体操作为：(4a)将测试本集中的样本图像依次输入一个训练后生成对抗网络的生成网络中，得到所有样本图像中损坏图像的修复图像，按照式(VI)计算修复图像和与修复图像对应的标签图像的峰值信噪比PSNR(峰值信噪比PSNR是原图像与被处理图像之间的均方误差相对于信号最大值平方的对数值，其单位为dB；修复图像与真实标签图像的PSNR值越大，则说明修复图像与标签图像越相似)，然后求取测试样本集中所有样本图像的峰值信噪比PSNR平均值，得到该生成网络的峰值信噪比PSNR；其中，n为每个采样值的比特数，(2n-1)2表示图像颜色的最大数值，MSE是原图像与修复图像之间均方误差；(4b)(4b)按照步骤(1)所述的操作求取所有训练后生成对抗网络中生成网络的峰值信噪比PSNR，选取峰值信噪比PSNR最大的生成网络作为最优生成网络模型。根据上述的方法，优选地，所述步骤(5)的具体操作为：将受损图像和与受损图像相对应的另一视角图像输入到步骤(4)得到的最优生成网络本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的双目场景图像修复方法，其特征在于，包括以下步骤：(1)采集场景的双目视觉图像，根据采集的双目视觉图像制作训练样本集和测试样本集；(2)构建生成对抗网络模型；(3)采用训练样本集对步骤(2)构建的生成对抗网络模型进行训练，优化生成对抗网络的参数，得到训练后生成对抗网络；(4)采用测试样本集对所有训练后生成对抗网络中的生成网络进行测试，评价生成网络的图像修复性能，选择最优生成网络模型；(5)使用步骤(4)得到的最优生成网络模型对受损图像进行实时修复。

【技术特征摘要】
1.一种基于生成对抗网络的双目场景图像修复方法，其特征在于，包括以下步骤：(1)采集场景的双目视觉图像，根据采集的双目视觉图像制作训练样本集和测试样本集；(2)构建生成对抗网络模型；(3)采用训练样本集对步骤(2)构建的生成对抗网络模型进行训练，优化生成对抗网络的参数，得到训练后生成对抗网络；(4)采用测试样本集对所有训练后生成对抗网络中的生成网络进行测试，评价生成网络的图像修复性能，选择最优生成网络模型；(5)使用步骤(4)得到的最优生成网络模型对受损图像进行实时修复。2.根据权利要求1所述的方法，其特征在于，步骤(1)的具体操作为：(1a)采集原始图像：使用双目相机采集n个场景的双目视觉图像，得到了n对双目视觉图像，将n对双目视觉图像调整至相同大小，然后按照视角不同进行划分，其中，一对双目视觉图像中的左视角图像放入左视角文件夹，右视角图像放入右视角文件夹，并将左视角文件夹和右视角文件夹中的图像按照采集时间先后顺序依次从1到n进行编号；(1b)制作损坏图像：从编号1至编号n，每次以50％的概率从左视角文件夹或右视角文件夹中选择对应编号的图像，然后在选中的图像上增加占该图像面积30％及以上的随机纯色图像块，得到损坏图像；每张损坏图像都保留其原始图像作为该损坏图像的标签图像；(1c)划分训练样本集和测试样本集：将每张损坏图像和与损坏图像编号相同的另一视角图像组成1对样本，共有n对样本，将n对样本按照4:1的比例随机划分为训练样本集和测试样本集。3.根据权利要求2所述的方法，其特征在于，所述生成对抗网络由生成网络和判别网络构成；生成网络的输入是一对双目视觉图像，一对双目视觉图像中的任意一个视角图像为损坏图像，生成网络的输出是损坏图像的修复图像；所述判别网络的输入是生成网络输出的修复图像或与修复图像对应的损坏图像的标签图像，判别网络的输出是输入的图像为标签图像的概率值p。4.根据权利要求3所述的方法，其特征在于，所述生成网络包括编码器和解码器；编码器含有七个卷积层，解码器含有四个反卷积层；编码过程中，将一对双目视觉图像输入生成网络，左视角图像依次经过三个卷积层进行特征提取，得到左视角图像的特征图，右视角图像依次经过三个卷积层进行特征提取，得到右视角图像的特征图，将左视角图像的特征图和右视角图像的特征图进行拼接，得到左视角图像和右视角图像的融合特征图，融合后的特征图经过一个卷积层得到高维抽象特征图，编码操作结束；解码过程中，经编码器编码的高维抽象特征图依次经过四个反卷积层进行上采样、解码，得到修复图像。5.根据权利要求4所述的方法，其特征在于，所述判别网络包含五个卷积层和一个sigmoid层；修复图像或标签图像输入判别网络后依次经过五个卷积层和一个sigmoid层后输出概率值p。6.根据权利要求5所述的方法，其特征在于，生成网络和判别网络中图像经过每一个卷...

【专利技术属性】
技术研发人员：李恒宇，何金洋，袁泽峰，罗均，谢少荣，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31