更改汽车图像车身颜色的方法及其算法结构技术

本发明专利技术提供一种更改图像局部区域的方法，属于图片处理技术领域。所述方法包括：获取第一图像和像素向量，确定所述第一图像内的局部区域；利用所述像素向量在所述局部区域内映射生成具有与所述像素向量对应的像素特征的局部区域。本发明专利技术能生成真实车身颜色的汽车图片，增加了广告物料的多样性，提高模型改色的准确性，本发明专利技术还具备车身分割的能力，并使得模型在变色过程中，增加改色的均匀度。

Method and Algorithmic Structure of Changing Body Color in Automobile Image

【技术实现步骤摘要】
更改汽车图像车身颜色的方法及其算法结构
本专利技术涉及图像处理
，具体地涉及一种更改图像局部区域的方法、一种用于更改图像局部区域的算法结构、一种用于更改图像局部区域算法的训练方法、一种用于更改图像局部区域的设备和一种计算机可读存储介质。
技术介绍
随着互联网的高速发展，互联网广告成为了当今最重要的广告形式之一，由于其快速、高效、效果理想的特点，互联网广告倍受各中小型企业客户的青睐。为了提高广告的点击率，互联网广告的样式也层出不穷，具体包括文字、图片、视频等多样形式，广告内容的丰富性、广告样式的多样性对于提高广告的点击率具有重要的意义。由于广告主的精力有限，投放广告时使用的物料有限，所以需要使用技术的手段帮助广告主提高广告物料的多样性。对于增加广告物料、减少广告主工作量、提高广告投放的多样性需求越来越强烈。目前市场上还没有相关的算法出现。生成式对抗网络是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成式模型(GenerativeModel)和判别模型(DiscriminativeModel)的互相博弈学习产生相当好的输出。传统的生成式对抗网络(GAN,GenerativeAdversarialNetworks)模型生成的汽车改色图片，可用率低、颜色不均匀及效果不理想。本专利技术针对汽车行业这一垂类的广告图片，提出了用于更改汽车车身颜色的方法及算法结构。
技术实现思路
本专利技术实施例的目的是提供更改汽车图像车身颜色的方法及其算法结构。为了实现上述目的，本专利技术实施例提供一种更改图像局部区域的方法，该方法包括：S1)获取第一图像和像素向量，确定所述第一图像内的局部区域；S2)利用所述像素向量在所述局部区域内映射生成具有与所述像素向量对应的像素特征的局部区域。具体的，步骤S1)中确定所述第一图像内的局部区域，包括：S101)确定所述第一图像内的对象；S102)对所述第一图像进行关于所述对象和所述第一图像的背景的边缘检测和图像分割，获得具有边界特征的图像；S103)根据所述对象所在所述第一图像内的区域的相对位置，确定在所述具有边界特征的图像中与所述相对位置对应的局部区域。具体的，步骤S1)中确定所述第一图像内的局部区域，包括：将所述第一图像输入至具有边缘检测和图像分割功能的解码器的生成式对抗网络，通过所述生成式对抗网络确定所述第一图像内的局部区域。具体的，步骤S2)包括：S201)利用所述像素向量结合所述生成式对抗网络的解码器的神经元在所述局部区域内生成具有与所述像素向量对应的像素特征的局部区域，并形成具有所述第一图像的背景和具有所述像素特征的局部区域的第二图像；S202)通过所述生成式对抗网络的分类器对所述第二图像的局部区域进行分类，获得分类结果并根据所述分类结果获得与所述第二图像的局部区域对应的像素向量；S203)计算与所述第二图像的局部区域对应的像素向量和步骤S1)的像素向量的像素向量交叉熵，利用所述第一图像和所述第二图像结合所述生成式对抗网络的判别器获得对抗损失，并将所述像素向量交叉熵更新为所述生成式对抗网络的分类器的当前的像素向量交叉熵、将所述对抗损失更新为所述生成式对抗网络的判别器的当前的对抗损失。具体的，还包括：S3)采集参与步骤S2)映射生成过程的所述解码器的神经元的输出数据，并根据所述输出数据结合预测模型获得所述具有像素特征的局部区域的蒙版区，计算所述蒙版区和所述第一图像内的局部区域的标注蒙版区的局部区域交叉熵，并将所述局部区域交叉熵更新为所述预测模型当前的局部区域交叉熵。具体的，能够与上述方法并行进行且也能够接上述方法继续进行，还包括：S3)形成具有所述第一图像的背景和所述具有像素特征的局部区域的第二图像，并获取与所述第一图像的局部区域对应的原像素向量；S4)利用所述原像素向量在所述具有像素特征的局部区域内再映射生成具有与所述原像素向量对应的像素特征的局部区域，并形成具有所述第二图像的背景和具有与所述原像素向量对应的像素特征的局部区域的第三图像；S5)计算所述第一图像和所述第三图像的循环一致性损失，并将所述循环一致性损失更新为步骤S1)或步骤S4)映射生成过程的当前的循环一致性损失。具体的，能够与上述方法并行进行且也能够接上述方法继续进行，还包括：S3)获取与所述第一图像的局部区域对应的原像素向量，利用所述原像素向量在所述局部区域内再映射生成具有与所述原像素向量对应的像素特征的局部区域，并形成具有与所述原像素向量对应的像素特征的局部区域的且具有所述第一图像的背景的第四图像；S4)计算所述第一图像和所述第四图像的重建损失，并将所述重建损失更新为步骤S1)或步骤S3)映射生成过程的当前的重建损失。具体的，步骤S2)包括：利用所述像素向量在所述局部区域内通过生成式对抗网络生成具有与所述像素向量对应的像素特征的局部区域。具体的，能够与上述方法并行进行且也能够接上述方法继续进行，还包括：S3)获取处于所述第一图像相邻帧域内的第五图像，将所述第一图像更新为所述第五图像，跳转至步骤S1)。本专利技术实施例提供一种用于更改图像局部区域的算法结构，该算法结构包括：生成式对抗网络，用于将输入的第一图像和输入的像素向量在所述第一图像的局部区域内映射生成具有与所述像素向量对应的像素特征的局部区域。可选的，所述生成式对抗网络的生成式模型包括：编码器、隐层空间向量和解码器；所述编码器的输入层用于接收所述第一图像的数据；所述隐层空间向量用于将所述编码器的输出层输出的数据传递至所述解码器的输入层；所述解码器的隐层用于接收所述解码器的输入层输出的数据且采集并融合所述编码器的隐层的数据；其中，所述解码器的隐层还用于接收所述像素向量并输出具有与所述像素向量对应的像素特征的局部区域；所述解码器的输出层用于输出具有与所述像素向量对应的像素特征的局部区域的且具有所述第一图像的背景的第二图像的数据。可选的，所述编码器中神经元相对数据传递方向呈维度下降；所述解码器中神经元相对所述数据传递方向呈维度上升；所述编码器和所述解码器的隐层层数相等，令层数为N、层序按所述数据传递方向排序且N为正整数；所述解码器的隐层中第i层的神经元用于采集并融合所述编码器的隐层中第(N-i+1)层的神经元的数据且同步接收所述像素向量，i为正整数且i小于等于N。可选的，所述编码器包括至少一层卷积层和至少两层空洞卷积层；所述解码器包括至少两层空洞卷积层和至少一层反卷积层。可选的，所述生成式对抗网络具有生成式模型，所述生成式模型包括编码器和解码器；所述编码器包括至少一层卷积层和至少两层空洞卷积层；所述解码器包括至少两层空洞卷积层和至少一层反卷积层。可选的，所述生成式对抗网络的生成式模型具有边缘检测和图像分割功能的解码器；所述解码器用于确定所述第一图像内的局部区域。可选的，所述解码器包括：输入层、隐层、预测模型和输出层；所述预测模型用于接收所述解码器的隐层输出的数据且还用于根据所述解码器的隐层输出的数据获得所述具有像素特征的局部区域的蒙版区；所述预测模型还用于计算所述蒙版区和所述第一图像内的局部区域的标注蒙版区的局部区域交叉熵并将所述局部区域交叉熵更新为当前的局部区域交叉熵。可选的，所述生成式对抗网络的生成式模型用于形本文档来自技高网...

【技术保护点】
1.一种更改图像局部区域的方法，其特征在于，该方法包括：S1)获取第一图像和像素向量，确定所述第一图像内的局部区域；S2)利用所述像素向量在所述局部区域内映射生成具有与所述像素向量对应的像素特征的局部区域。

【技术特征摘要】
1.一种更改图像局部区域的方法，其特征在于，该方法包括：S1)获取第一图像和像素向量，确定所述第一图像内的局部区域；S2)利用所述像素向量在所述局部区域内映射生成具有与所述像素向量对应的像素特征的局部区域。2.根据权利要求1所述的更改图像局部区域的方法，其特征在于，步骤S1)中确定所述第一图像内的局部区域，包括：S101)确定所述第一图像内的对象；S102)对所述第一图像进行关于所述对象和所述第一图像的背景的边缘检测和图像分割，获得具有边界特征的图像；S103)根据所述对象所在所述第一图像内的区域的相对位置，确定在所述具有边界特征的图像中与所述相对位置对应的局部区域。3.根据权利要求1所述的更改图像局部区域的方法，其特征在于，步骤S1)中确定所述第一图像内的局部区域，包括：将所述第一图像输入至具有边缘检测和图像分割功能的解码器的生成式对抗网络，通过所述生成式对抗网络确定所述第一图像内的局部区域。4.根据权利要求3所述的更改图像局部区域的方法，其特征在于，步骤S2)包括：S201)利用所述像素向量结合所述生成式对抗网络的解码器的神经元在所述局部区域内生成具有与所述像素向量对应的像素特征的局部区域，并形成具有所述第一图像的背景和具有所述像素特征的局部区域的第二图像；S202)通过所述生成式对抗网络的分类器对所述第二图像的局部区域进行分类，获得分类结果并根据所述分类结果获得与所述第二图像的局部区域对应的像素向量；S203)计算与所述第二图像的局部区域对应的像素向量和步骤S1)的像素向量的像素向量交叉熵，利用所述第一图像和所述第二图像结合所述生成式对抗网络的判别器获得对抗损失，并将所述像素向量交叉熵更新为所述生成式对抗网络的分类器的当前的像素向量交叉熵、将所述对抗损失更新为所述生成式对抗网络的判别器的当前的对抗损失。5.根据权利要求3所述的更改图像局部区域的方法，其特征在于，还包括：S3)采集参与步骤S2)映射生成过程的所述解码器的神经元的输出数据，并根据所述输出数据结合预测模型获得所述具有像素特征的局部区域的蒙版区，计算所述蒙版区和所述第一图像内的局部区域的标注蒙版区的局部区域交叉熵，并将所述局部区域交叉熵更新为所述预测模型当前的局部区域交叉熵。6.根据权利要求1所述的更改图像局部区域的方法，其特征在于，还包括：S3)形成具有所述第一图像的背景和所述具有像素特征的局部区域的第二图像，并获取与所述第一图像的局部区域对应的原像素向量；S4)利用所述原像素向量在所述具有像素特征的局部区域内再映射生成具有与所述原像素向量对应的像素特征的局部区域，并形成具有所述第二图像的背景和具有与所述原像素向量对应的像素特征的局部区域的第三图像；S5)计算所述第一图像和所述第三图像的循环一致性损失，并将所述循环一致性损失更新为步骤S1)或步骤S4)映射生成过程的当前的循环一致性损失。7.根据权利要求1所述的更改图像局部区域的方法，其特征在于，还包括：S3)获取与所述第一图像的局部区域对应的原像素向量，利用所述原像素向量在所述局部区域内再映射生成具有与所述原像素向量对应的像素特征的局部区域，并形成具有与所述原像素向量对应的像素特征的局部区域的且具有所述第一图像的背景的第四图像；S4)计算所述第一图像和所述第四图像的重建损失，并将所述重建损失更新为步骤S1)或步骤S3)映射生成过程的当前的重建损失。8.根据权利要求1所述的更改图像局部区域的方法，其特征在于，步骤S2)包括：利用所述像素向量在所述局部区域内通过生成式对抗网络生成具有与所述像素向量对应的像素特征的局部区域。9.根据权利要求1所述的更改图像局部区域的方法，其特征在于，还包括：S3)获取处于所述第一图像相邻帧域内的第五图像，将所述第一图像更新为所述第五图像，跳转至步骤S1)。10.一种用于更改图像局部区域的算法结构，其特征在于，该算法结构包括：生成式对抗网络，用于将输入的第一图像和输入的像素向量在所述第一图像的局部区域内映射生成具有与所述像素向量对应的像素特征的局部区域。11.根据权利要求10所述的用于更改图像局部区域的算法结构，其特征在于，所述生成式对抗网络的生成式模型包括：编码器、隐层空间向量和解码器；所述编码器的输入层用于接收所述第一图像的数据；所述隐层空间向量用于将所述编码器的输出层输出的数据传递至所述解码器的输入层；所述解码器的隐层用于接收所述解码器的输入层输出的数据且采集并融合所述编码器的隐层的数据；其中，所述解码器的隐层还用于接收所述像素向量并输出具有与所述像素向量对应的像素特征的局部区域；所述解码器的输出层用于输出具有与所述像素向量对应的像素特征的局部区域的且具有所述第一图像的背景的第二图像的数据。12.根据权利要求11所述的用于更改图像局部区域的算法结构，其特征在于，所述编码器中神经元相对数据传递方向呈维度下降；所述解码器中神经元相对所述数据传递方向呈维度上升；所述编码...

【专利技术属性】
技术研发人员：朱曼瑜，刘霄，文石磊，孙昊，张赫男，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11