一种基于神经网络的面向真实服装花型在海量设计图中的图像检索方法技术

本发明专利技术公开了一种基于神经网络的面向真实服装花型在海量设计图中的图像检索方法，包括服装分割模型、粗排模型与精排模型，所述服装分割模型包括对输入的人物服装花型图进行服装分割得到的花型部分，所述粗排模型包括花型部分得到的粗排特征，所述精排模型包括花型部分得到的精排特征，所述精排模型根据图像细节特征得到与输入最相似的图。该基于神经网络的面向真实服装花型在海量设计图中的图像检索方法解决了当花型打印到布料上、制成服装穿在人物身上后，能通过拍照检索到花型库中的原花型设计图，并且在海量设计图下保证实时的速度。度。度。

【技术实现步骤摘要】
一种基于神经网络的面向真实服装花型在海量设计图中的图像检索方法


[0001]本专利技术涉及图像分割、神经网络、大数据、跨域检索
，尤其涉及一种基于神经网络的面向真实服装花型在海量设计图中的图像检索方法。

技术介绍

[0002]近年来，随着神经网络在图像领域的发展，借助其强大的特征及语义表达能力，图像检索、图像分割等相关算法取得了很大进步。时装行业中的服装视觉分析、服装分割是人工智能有应用前景的一个领域，其难点在于原始图像中存在的噪声。目前业界给出一些相关数据集以及相应的竞赛，从而对模型分割的精确度有了很大提升。在本专利技术的应用场景中，真实模特不可避免带有各式各样的背景，而这些在图像花型检索中都属于噪声，会影响局部特征的匹配，因此我们首先使用分割模型聚焦于花型部分。
[0003]海量图像检索在图像领域是一个长期存在的问题，重点在于如何用特征向量更好地表达图像，以及用何种方式测量图像之间的相似度，在表达方式上，目前常用到全局特征和局部特征，全局特征是一种压缩的表达，关于可视元素的空间排列信息会被丢失；而局部特征用于描述图像局部细节，可网格化地进行图像匹配，当图库的图量达到几十万时，应用局部特征一一检索的方式，无法满足实时检索的要求，因此采用粗排和精排相结合的方式。
[0004]但是现有的真实服装布料上的花型与布料纹理相关，与图库中设计图的分布差异巨大；其次布料制成服装穿到身上后，会形成自然褶皱，导致花型拼接部分被遮挡、形变等；并且需要在几万至几十万的图中进行实时检索，对时间有严格要求。
专利
技术实现思路

[0005]本专利技术的目的是为了解决现有技术中真实服装布料上的花型与布料纹理相关，与图库中设计图的分布差异巨大；其次布料制成服装穿到身上后，会形成自然褶皱，导致花型拼接部分被遮挡、形变等；并且需要在几万至几十万的图中进行实时检索，对时间有严格要求的问题，而提出的一种基于神经网络的面向真实服装花型在海量设计图中的图像检索方法。
[0006]为了实现上述目的，本专利技术采用了如下技术方案：
[0007]一种基于神经网络的面向真实服装花型在海量设计图中的图像检索方法，包括服装分割模型、粗排模型与精排模型，所述服装分割模型包括对输入的人物服装花型图进行服装分割得到的花型部分，所述粗排模型包括花型部分得到的粗排特征，所述精排模型包括花型部分得到的精排特征，所述精排模型根据图像细节特征得到与输入最相似的图。
[0008]一种基于神经网络的面向真实服装花型在海量设计图中的图像检索方法，该方法的具体步骤如下：
[0009]步骤1：将拍摄的照片(图像1)输入人物服装分割网络(服装分割模型)，得到服装分割图(图像2)；
[0010]步骤2：对步骤1中图像2的服装部分切割得到正方形切片(图像3)；
[0011]步骤3：将步骤2中图像3输入粗排网络，得到256维的图像编码，为x特征，调取待检索图库中花型图(共n张)的花型粗排特征，为n个256维图像编码(同网络得到)，x特征与图库花型特征进行欧氏距离计算，选出最接近的m个花型为粗排结果；
[0012]步骤4：将步骤2中图像3输入精排神经网络，得到图像3的特征向量；根据步骤3中的m个花型，在待检索图库中，调取对应的m 个花型精排特征；通过精排特征的匹配，得到对应的最相似的花型图。
[0013]有益效果：
[0014]1.本专利技术中，主要提供了三个神经网络模型，克服了真实服装上的花型与原花型设计图相比，由于布料打印、拍摄光照等产生了色差；由于服装造型导致产生了拼接、褶皱形变、遮盖等进而改变了花型原有的整体结构；服装照片引入了随机背景，进而加入了噪声，在海量设计图中检索还需要保证其实时性的困难；
[0015]2.解决了根据真实服装花型照片，在图库中检索到原花型设计图的问题，满足在海量花型图中检索的实时性；实现了服装上的花型与原花型设计稿之间的跨域检索，对色差、拼接、褶皱形变、遮挡与服装随机背景等噪声有极大容忍；可用于多服装类型和各花型种类的检索，准确率在我们的数据集上为90％。该基于神经网络的面向真实服装花型在海量设计图中的图像检索方法解决了当花型打印到布料上、制成服装穿在人物身上后，能通过拍照检索到花型库中的原花型设计图，并且在海量设计图下保证实时的速度。
附图说明
[0016]图1为本专利技术提出的一种基于神经网络的面向真实服装花型在海量设计图中的图像检索方法的实施步骤流程结构示意图；
[0017]图2为本专利技术提出的一种基于神经网络的面向真实服装花型在海量设计图中的图像检索方法的服装分割神经网络主要结构示意图；
[0018]图3为本专利技术提出的一种基于神经网络的面向真实服装花型在海量设计图中的图像检索方法的粗排神经网络主要结构示意图；
[0019]图4为本专利技术提出的一种基于神经网络的面向真实服装花型在海量设计图中的图像检索方法的精排神经网络主要结构示意图。
具体实施方式
[0020]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0021]参照图1
‑
4，一种基于神经网络的面向真实服装花型在海量设计图中的图像检索方法，包括服装分割模型、粗排模型与精排模型，服装分割模型包括对输入的人物服装花型图进行服装分割得到的花型部分，粗排模型包括花型部分得到的粗排特征，精排模型包括花型部分得到的精排特征，精排模型根据图像细节特征得到与输入最相似的图。
[0022]本实施例中，1、将拍摄的照片(图像1)输入人物服装分割网络U
‑
Net，得到服装分割图(图像2)：(1)将RGB格式的图像1输入服装分割网络(如附图2)，将得到RGBA格式的分割图；(2)对 (1)中的分割图做处理，因RGBA通道中的Alpha层的值在是0～255 之间，将其转
换为0与255的二值图，小于255部分值均设为0，此结果记为分割结果图像2；
[0023]2、对步骤1中图像2的服装部分切割得到正方形切片(图像3)： (1)应用opencv函数findContours及pointPolygonTest，来寻找步骤1图像2的Alpha通道层的轮廓及到距离，接着获取最大值即内接圆半径，中心点坐标；(2)根据(1)的内接圆，获取其最大内接正方形及其四个顶点坐标；(3)将步骤1图像2转换为RGB格式，结合利用(2)中的正方形坐标进行剪裁，得到正方形切片(图像3)；
[0024]3、将步骤2中图像3输入粗排网络网络，基于经典图像网络ViT，本专利技术中对网络末几层进行了改动(如附图3)，得到256维的图像编码，为x特征；调取待检索图库中花型图(共n张)的花型粗排特征，为n个256维图像编码(同网络得到)；x特征与图库花型特征进行欧氏距离计算，选出最接近的m个花型为粗排结果：(1)预备操作，图库花型设计稿需要通过粗排网络进行编码，每个设计稿对应一个1*256维的特征向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的面向真实服装花型在海量设计图中的图像检索方法，包括服装分割模型、粗排模型与精排模型，其特征在于：所述服装分割模型包括对输入的人物服装花型图进行服装分割得到的花型部分，所述粗排模型包括花型部分得到的粗排特征，所述精排模型包括花型部分得到的精排特征，所述精排模型根据图像细节特征得到与输入最相似的图。2.根据权利要求1所述的一种基于神经网络的面向真实服装花型在海量设计图中的图像检索方法，该方法的具体步骤如下：步骤1：将拍摄的照片(图像1)输入人物服装分割网络(服装分割模型)，得到服...

【专利技术属性】
技术研发人员：金海云，伍赛，傅琳，何佳佳，王朔，
申请(专利权)人：杭州慕锐科技有限公司，
类型：发明
国别省市：