一种特殊服饰图片转化方法、终端设备及存储介质技术

本发明专利技术涉及一种特殊服饰图片转化方法、终端设备及存储介质，该方法中包括：采集包含特殊服饰的图片组成训练集；对训练集中图片进行实例分割、高斯平滑处理、哈达玛积运算和颜色变化后，将颜色变换后的图片与原始图片进行图像叠加操作；将所有叠加后的图片作为自编码网络的输入，对自编码网络进行训练，使得自编码网络输出的图片训练集中对应的原始图片的差异最小；通过训练后的自编码网络对待识别特殊服饰的图片进行转化后，再进行特殊服饰的识别。本发明专利技术通过训练自编码网络来避免图片的光照、对比度或色调等颜色变换对图片内特殊服饰的识别的影响，提升特殊服装识别的整体识别率。率。率。

【技术实现步骤摘要】
一种特殊服饰图片转化方法、终端设备及存储介质


[0001]本专利技术涉及图像处理领域，尤其涉及一种特殊服饰图片转化方法、终端设备及存储介质。

技术介绍

[0002]尽管采用卷积神经网络的特殊服装识别方法已经得到显着提升，但使用从互联网下载的简单场景的图片来训练网络模型，在复杂的场景中随着光照、视角和服装形状的变化，特殊服装识别精度受到一定挑战。

技术实现思路

[0003]为了解决上述问题，本专利技术提出了一种特殊服饰图片转化方法、终端设备及存储介质。
[0004]具体方案如下：
[0005]一种特殊服饰图片转化方法，包括以下步骤：
[0006]S1：采集包含特殊服饰的图片组成训练集；
[0007]S2：对训练集中各图片的特殊服饰的区域进行实例分割，提取实例分割后的特殊服饰区域图片；
[0008]S3：对实例分割后的特殊服饰区域图片进行高斯平滑处理；
[0009]S4：将高斯平滑处理后的每一张图片与训练集中对应的原始图片进行哈达玛积运算；
[0010]S5：将哈达玛积运算后的图片进行颜色变化，将颜色变换后的图片与训练集中对应的原始图片进行图像叠加操作；
[0011]S6：将所有叠加后的图片作为自编码网络的输入，对自编码网络进行训练，使得自编码网络输出的图片训练集中对应的原始图片的差异最小；
[0012]S7：通过训练后的自编码网络对待识别特殊服饰的图片进行转化后，再进行特殊服饰的识别。
[0013]进一步的，实例分割具体包括以下步骤：
[0014]S21：对图片进行特殊服饰区域弱定位；
[0015]S22：通过图像语义分割算法对图像中的人体区域进行语义分割；
[0016]S23：将弱定位区域与语义分割区域进行交并比IOU计算，当IOU大于阈值时，判定语义分割区域为待提取的特殊服饰区域图片。
[0017]进一步的，弱定位采用生成类激活图CAM技术进行。
[0018]进一步的，IOU计算公式为：
[0019][0020]其中，u1为弱定位区域，u2为语义分割区域。
[0021]进一步的，颜色变换包括变换光照、对比度或色调。
[0022]进一步的，图像叠加操作的具体公式为：
[0023]I
add
＝I
c
*I
mask
+I
s
(1-I
mask
)
[0024]其中，I
add
为叠加后的图片，I
c
为颜色变换后的图片，I
mask
为实例分割图片，I
s
为训练集中对应的原始图片。
[0025]进一步的，自编码网络的损失函数为L2损失函数。
[0026]一种特殊服饰图片转化终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本专利技术实施例上述的方法的步骤。
[0027]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术实施例上述的方法的步骤。
[0028]本专利技术采用如上技术方案，通过训练自编码网络来避免图片的光照、对比度或色调等颜色变换对图片内特殊服饰的识别的影响，提升特殊服装识别的整体识别率。
附图说明
[0029]图1所示为本专利技术实施例一的流程图。
[0030]图2所示为该实施例中自编码网络的网络结构示意图。
具体实施方式
[0031]为进一步说明各实施例，本专利技术提供有附图。这些附图为本专利技术揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本专利技术的优点。
[0032]现结合附图和具体实施方式对本专利技术进一步说明。
[0033]实施例一：
[0034]本专利技术实施例提供了一种特殊服饰图片转化方法，如图1所示，所述方法包括以下步骤：
[0035]S1：采集包含特殊服饰的图片组成训练集。
[0036]该实施例中，从互联网上收集10000张不同场景和不同类别的特殊服装图片，特殊服装有如下类别：军警服装有陆军、空军、海军、火箭军服装和公安服，以及宗教服装、政府特有服装等。
[0037]S2：对训练集中各图片的特殊服饰的区域进行实例分割，提取实例分割后的特殊服饰区域图片。
[0038]由于实例分割人工进行像素级标注是极大的工作量，虽然可以通过人工标注服装边界，边界包围区域即可认为服装所在区域，但人体姿态不一，躯干和四肢标注也花费大量时间。为了缓解人工标注问题，在人体语义分割算法的基础上，结合目标弱定位方法，可以快速解决像素级语义标注问题。
[0039]该实施例中，实例分割具体包括以下步骤：
[0040]S21：对图片进行特殊服饰区域弱定位。
[0041]所谓的弱定位，就是通过图像层面的标签对图像中的特殊服装进行定位，与目标
检测不同的是，目标检测网络需要标注特殊服装位置信息，而弱定位方法只要标注图像的类别。
[0042]该实施例中采用生成类激活图CAM技术进行弱定位。CAM技术为网络的大部分都是卷积层，只在输出层前(用于分类的softmax)使用平均池化层，并将平均池化层的输出作为得出分类的全连接层的输入特征。通过这种简单的连接结构，可以把图片中的重要区域用输出层权重映射回卷积层特征的方式标记出来。全局平均池化层输出最后一个卷积层的每个单元的特征图的平均值，这些值的加权总和用于生成最后的输出。也可以说，通过计算最后一个卷积层特征图的加权总和来获得CAM，CAM凸显了服装显著性区域。
[0043]假设经过全局平均池化后的特征图谱用M1,M2,
…
M
n
表示，则CAM后的图层由下公式计算：
[0044]CAM＝w1*M1+w2*M2+
…
+w
n
*M
n
[0045]S22：通过图像语义分割算法对图像中的人体区域进行语义分割。
[0046]由于开源图像实例分割算法中没有单独将特殊服装作为输出类别，因此，本实施例中优先考虑身穿特殊服装的人体作为输出类别，通过使用图像语义分割算法将人体区域分割出来。
[0047]S23：将弱定位区域与语义分割区域进行交并比IOU计算，当IOU大于阈值时，判定语义分割区域为待提取的特殊服饰区域图片；否则，丢弃该语义分割区域。
[0048]IOU计算公式如下：
[0049][0050]其中，u1为弱定位区域，u2为语义分割区域。
[0051]S3：对实例分割后的特殊服饰区域图片进行高斯平滑处理。
[0052]高斯平滑处理用于消除分割区域的边缘效应。
[0053]S4：将高斯平滑处理后的每一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特殊服饰图片转化方法，其特征在于，包括以下步骤：S1：采集包含特殊服饰的图片组成训练集；S2：对训练集中各图片的特殊服饰的区域进行实例分割，提取实例分割后的特殊服饰区域图片；S3：对实例分割后的特殊服饰区域图片进行高斯平滑处理；S4：将高斯平滑处理后的每一张图片与训练集中对应的原始图片进行哈达玛积运算；S5：将哈达玛积运算后的图片进行颜色变化，将颜色变换后的图片与训练集中对应的原始图片进行图像叠加操作；S6：将所有叠加后的图片作为自编码网络的输入，对自编码网络进行训练，使得自编码网络输出的图片训练集中对应的原始图片的差异最小；S7：通过训练后的自编码网络对待识别特殊服饰的图片进行转化后，再进行特殊服饰的识别。2.根据权利要求1所述的特殊服饰图片转化方法，其特征在于：实例分割具体包括以下步骤：S21：对图片进行特殊服饰区域弱定位；S22：通过图像语义分割算法对图像中的人体区域进行语义分割；S23：将弱定位区域与语义分割区域进行交并比IOU计算，当IOU大于阈值时，判定语义分割区域为待提取的特殊服饰区域图片。3.根据权利要求2所述的特殊服饰图片转化方法，其特征在于：弱定位采用生成类激活图CAM技术进行。4.根据权利要求2所述的特殊服饰图片转化方法，其特征在于：IOU计算...

【专利技术属性】
技术研发人员：黄仁裕，高志鹏，赵建强，姚灿荣，曹荣鑫，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：