一种基于双对抗图像修复智能赋分辅助方法技术

本发明专利技术揭示了一种基于双对抗图像修复智能赋分辅助方法，包括如下步骤：数据采集：采集无遮挡数据集及有遮挡数据集；数据裁剪：对上述得到的两类数据集进行同步裁剪获取训练数据集；数据训练：采用双分支对上述获取的训练数据集进行训练；数据推理：仅采用一个分支进行相似度计算得到推理结果。本发明专利技术采用双对抗网络的联合训练及单对抗推理的方式，能够实现被挡器材的高清晰度还原，提高智能赋算法精度，即在保证效果、性能的同时，又能发挥多种对抗算法的优势。抗算法的优势。抗算法的优势。

【技术实现步骤摘要】
一种基于双对抗图像修复智能赋分辅助方法


[0001]本专利技术涉及图像识别
，特别是涉及一种基于双对抗图像修复智能赋分辅助方法。

技术介绍

[0002]在实验赋分场景中，学生在操作过程中，由于器材摆放不规范，玻璃器材挡住摄像头之后什么都看不见，或者实验过程中，玻璃器材挡住一些器材导致识别效果不好等等情况，由于玻璃器材是透明的，但是通过玻璃器材看物体成像属于模糊、变形扭曲等等情况，针对上述问题，目前主要的解决方案是通过检测、分割、图像擦除、传统图像修复、对抗图像修复方案去还原能看到的部分，以上方案存在以下问题：
[0003]1、检测：透过透明玻璃器材之后的成像和真实的器材成像完全不一样，且不清晰，检测识别率很低。
[0004]2、分割：能通过分割定位到能看的部分，但并不能识别该部分属于什么物体，成像不清晰。
[0005]3、图像擦除：擦除玻璃器材部分，但无法看清被挡住部分。
[0006]4、传统图像修复算法：效果不好，需要调整参数较多，泛化能力较差。
[0007]5、单对抗图像修复算法：容易复原不完全或者复原出错，针对低分辨率环境下表现效果较差。
[0008]针对上述方案的缺陷，提出一种基于轻量级对抗图像修复实时智能赋分方法。

技术实现思路

[0009]本专利技术的目的在于，提供一种基于双对抗图像修复智能赋分辅助方法，修复被挡住部分图像，提高智能赋算法精度。
[0010]为解决上述技术问题，本专利技术提供一种基于双对抗图像修复智能赋分辅助方法，包括如下步骤：
[0011]数据采集：采集无遮挡数据集及有遮挡数据集；
[0012]数据裁剪：对上述得到的两类数据集进行同步裁剪获取训练数据集；
[0013]数据训练：采用双分支对上述获取的训练数据集进行训练；
[0014]数据推理：仅采用一个分支进行相似度计算得到推理结果。
[0015]进一步的，所述数据采集的具体方法为：
[0016]依次摆放每个非透明玻璃器材、混合摆放每个非透明玻璃器材多种组合，得到无遮挡数据集；
[0017]在上述基础上，保持所有非透明玻璃器材位置不变情况下，在摄像头前放置透明玻璃器材，在不同位置进行采样，得到有遮挡数据集。
[0018]进一步的，所述无遮挡数据集和有遮挡数据集的采样比例为1：20。
[0019]进一步的，获取所述训练数据集的具体方法为：通过检测算法，在无遮挡数据集上
确定裁剪区域，并在有遮挡和无遮挡数据集同步裁剪。
[0020]进一步的，所述双分支包括作为训练及推理的第一分支和仅作为辅助训练的第二分支，所述数据训练的具体方法为：
[0021]利用第一分支依次经生成网络、判别网络和损失计算，获得损失结果loss1；
[0022]利用第二分支依次经生成网络、判别网络和损失计算，获取损失结果loss2；
[0023]计算最终损失loss＝loss1+loss2*3。
[0024]进一步的，所述第一分支的生成网络为一种残差+unet结构的结合体，且所述第一分支的生成网络运行方法为：网络先进行下采样再上采样，下采样和上采样保持对称；
[0025]所述第一分支的判别网络采用global GAN和patch GAN的鉴别器组合，且所述第一分支的判别网络运行方法为：在网络的前几层二者共享权重参数，采用一个网络来训练，在学习到图像的低级视觉特征的同时对图像进行真假判断、及判断局部纹理的相似度；
[0026]所述第一分支的损失包括重建损失和对抗损失，所述重建损失的函数为：
[0027][0028]其中，N为样本数量，y为预测的像素，x为真实图片的像素，WHC分别为图像的宽高和通道数，Lrec为损失值；
[0029]所述对抗损失的函数为：
[0030][0031]其中，和表示真实数据和生成数据概率，D(x)表示判别器结果，期望D(X)趋近于1，G(z)为生成器结果，L(D,G)表示最终的损失。
[0032]进一步的，所述第二分支的生成网络采用resnet50+unet结果；
[0033]所述第二分支的判别网络采用cGAN；
[0034]所述第二分支的损失为对抗损失，且其函数为：
[0035][0036]其中和表示真实数据和生成数据概率，D(x|y)表示判别器结果，y为引入的条件，G(z|y)为生成器结果，v(D,G)表示最终的损失。
[0037]本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述方法中的步骤。
[0038]相比于现有技术，本专利技术至少具有以下有益效果：
[0039]本专利技术采用双对抗网络的联合训练及单对抗推理的方式，能够实现被挡器材的高清晰度还原，提高智能赋算法精度，即在保证效果、性能的同时，又能发挥多种对抗算法的优势。
附图说明
[0040]图1为本专利技术实施例中基于双对抗图像修复智能赋分辅助方法的流程示意图。
具体实施方式
[0041]下面将结合示意图对本专利技术的基于双对抗图像修复智能赋分辅助方法进行更详细的描述，其中表示了本专利技术的优选实施例，应该理解本领域技术人员可以修改在此描述的本专利技术，而仍然实现本专利技术的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本专利技术的限制。
[0042]在下列段落中参照附图以举例方式更具体地描述本专利技术。根据下面说明和权利要求书，本专利技术的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本专利技术实施例的目的。
[0043]如图1所示，本专利技术实施例提出了一种基于双对抗图像修复智能赋分辅助方法，包括如下步骤：
[0044]S100、数据采集：采集无遮挡数据集及有遮挡数据集；
[0045]具体的，在进行数据采集时，先依次摆放每个非透明玻璃器材、混合摆放每个非透明玻璃器材多种组合，得到无遮挡数据集，接着在上述基础上，保持所有非透明玻璃器材位置不变情况下，在摄像头和非透明器材中间放置透明玻璃器材(如烧杯、试管、量筒等等)，在不同位置进行采样，得到有遮挡数据集。
[0046]优选的，为保证数据的丰富度，无遮挡数据集和有遮挡数据集的采样比例为1：20，即在器材不变的情况下，玻璃器材要移动20次。
[0047]S200、数据裁剪：对上述得到的两类数据集进行同步裁剪获取训练数据集；
[0048]具体的，获取训练数据集的具体方法为：通过检测算法，在无遮挡数据集上确定裁剪区域，并在有遮挡和无遮挡数据集同步裁剪。
[0049]S300、数据训练：采用双分支对上述获取的训练数据集进行训练；
[0050]具体的，双分支包括作为训练及推理的第一分支和仅作为辅助训练的第二分支；所述数据训练的具体方法为：
[0051]利用第一分支依次经生成网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双对抗图像修复智能赋分辅助方法，其特征在于，包括如下步骤：数据采集：采集无遮挡数据集及有遮挡数据集；数据裁剪：对上述得到的两类数据集进行同步裁剪获取训练数据集；数据训练：采用双分支对上述获取的训练数据集进行训练；数据推理：仅采用一个分支进行相似度计算得到推理结果。2.如权利要求1所述的基于双对抗图像修复智能赋分辅助方法，其特征在于，所述数据采集的具体方法为：依次摆放每个非透明玻璃器材、混合摆放每个非透明玻璃器材多种组合，得到无遮挡数据集；在上述基础上，保持所有非透明玻璃器材位置不变情况下，在摄像头前放置透明玻璃器材，在不同位置进行采样，得到有遮挡数据集。3.如权利要求2所述的基于双对抗图像修复智能赋分辅助方法，其特征在于，所述无遮挡数据集和有遮挡数据集的采样比例为1：20。4.如权利要求1所述的基于双对抗图像修复智能赋分辅助方法，其特征在于，获取所述训练数据集的具体方法为：通过检测算法，在无遮挡数据集上确定裁剪区域，并在有遮挡和无遮挡数据集同步裁剪。5.如权利要求1所述的基于双对抗图像修复智能赋分辅助方法，其特征在于，所述双分支包括作为训练及推理的第一分支和仅作为辅助训练的第二分支，所述数据训练的具体方法为：利用第一分支依次经生成网络、判别网络和损失计算，获得损失结果loss1；利用第二分支依次经生成网络、判别网络和损失计算，获取损失结果loss2；计算最终损失loss＝loss1+loss2*3。6.如权利要求5所述的基于双对抗图像修复智能...

【专利技术属性】
技术研发人员：刘凯，
申请(专利权)人：上海锡鼎智能科技有限公司，
类型：发明
国别省市：