一种基于深度学习的服装线稿生成方法技术

本发明专利技术涉及服装图像生成技术领域，具体涉及一种基于深度学习的服装线稿生成方法。该方法包括如下步骤：收集一定量的服装线稿数据，然后对服装线稿数据进行属性标注，生成模型训练所需要的训练数据集；利用训练数据集训练生成服装线稿生成模型；构建一定维度的随机噪声和一定维度的服装标签信息，将随机噪声和标签信息合并为线稿生成信号；然后将该信号输入至服装线稿模型中进行服装线稿图的生成。该技术提高了训练稳定性，并提高了数据生成的质量，质量判别模型与超分模型帮助进一步后处理提高生成数据质量。高生成数据质量。高生成数据质量。

【技术实现步骤摘要】
一种基于深度学习的服装线稿生成方法


[0001]本专利技术涉及服装图像生成
，具体涉及一种基于深度学习的服装线稿生成技术。

技术介绍

[0002]图像生成是根据输入的信息进行特定图像生成的图像技术，是计算机视觉中较难的技术之一，图像生成技术在生活中应用非常广泛。具体的，在营销系统中，图像生成技术可以快速海量地自动生成营销海报，从而帮助节省海报制作时间；在人脸识别系统中，图像生成技术可以帮助生成对抗攻击样本的人脸图像，帮助提高人脸识别系统的鲁棒性；在服装领域中，图像生成技术可以根据设计师的需要自动进行服装的生成，帮助节省找图时间，同时多样化海量的图像生成可以帮助设计师提供灵感，为进行一步的服装设计提供了重要参考依据。
[0003]在更早期的图像生成技术，有使用FCN与UNet的全卷积结构进行图像生成，但是该结构只能适用于图像的转换，即从一张图像转换为另一种风格的图像，如图像分割，图像风格转换等。由于上述方法必须使用监督学习的方法，这导致对数据的标注需求巨大，另外模型能处理的任务也相对比较固定，使得无法满足灵感设计需求。
[0004]此外，技术人员通常也使用VAE与GAN的结构来进行图像生成，辅助CNN的特征提取结构，使用对抗生成的学习方法进行模型训练并进行图像生成，比较流程的结构就是多层上采样加上CNN特征提取结构。由于使用对抗训练的方法，使得对于数据的精细标注不再是强需求，同时因为训练时并不使用强监督的方法进行训练，机器进行数据生成时有了多样性，可以生成全新的数据。在GAN图像生成领域，虽然通用的图像生成技术已经有了较大的发展与进步，但是直接将其应用至服装图像领域，特别是服装数据对细节比较敏感时，最终生成效果还存在不足。
[0005]上述不足主要表现在以下几方面：1、当前生成模型的可控性能较差，生成数据的效果较难保证，会生成一些效果较差且不可用的服装线稿图像，并混在效果较好的生成图像中，同时模型本身无法做良好的感知，会导致整个生成批次质量低下，生成数据不可用；2、当前的生成模型只是单纯的进行服装图像生成，没有考虑到服装的属性关系，生成数据集较为混乱，生成中可以会同时生成外套裤装裙装等数据，无法按照具体需求进行特定数据生成，如只生成外套数据；3、当前生成模型对于生成高清图像较为困难，模型训练时间变长同时训练不可控，训练成本较高，此外进行高清图像生成时也会存在生成图像质量降低，图像不自然等问题。

技术实现思路

[0006]本专利技术的专利技术是解决目前图像生成中所存在的上述问题，特别是够针对服装图像领域的图像生成中，能够得到预期的效果，提供了一种基于深度学习的服装线稿生成方法。
[0007]本专利技术的服装线稿生成方法是在深度学习的基础上进行的；利用该方法用于服装图像的图像生成，能够解决现有技术中所存在的服装图像线稿生成质量低、生成多样性少及训练难度高等问题。
[0008]为了达到上述专利技术目的，本专利技术采用以下技术方案。
[0009]一种基于深度学习的服装线稿生成方法，该方法包括如下步骤：收集一定量的服装线稿数据，然后对服装线稿数据进行属性标注，生成模型训练所需要的训练数据集；采集了大量的服装线稿数据图像， 对每张线稿图片进行服装品类、服装领型、服装袖型等信息的标注。
[0010]进行服装线稿生成模型设计与构建，利用训练数据集训练生成服装线稿生成模型；在该训练过程中，生成模型与判别模型均使用多层conv-block进行堆叠，堆叠方法类似renset模型。生成模型中采用反卷积方法进行特征图的上采样，并用conv-block进行特征整合，判别模型中使用最大池化方法进行特征图下采样，并使用conv-block进行特征整合，使用多层conv-block堆叠可以有效提高模型的表达能力，并降低训练过程中梯度消失与梯度弥散问题。在对抗模型训练过程中，生成模型相比较判别模型训练会更加困难，容易造成判别器已经达到最优而生成模型还没有良好收敛，最终导致生成模型无法提高，所以需要在训练过程中需要平衡生成模型与判别模型的训练程度。我们在训练中引入WGAN机制，WGAN采用了Wasserstein距离来计算真实数据与生成数据之前的距离，相比原始方法的二分类判别函数，训练更加的平滑，可以用来平衡生成模型与判别模型的训练，使得判别器和生成器能够良好的得到同步训练，相互进行增强。
[0011]构建一定维度的随机噪声和一定维度的服装标签信息，将随机噪声和标签信息合并为线稿生成控制信号；然后将该信号输入至服装线稿模型中进行服装线稿图的生成；利用收集到的复现线稿数据进行超分模型训练，使用服装线稿生成的数据进行质量判别模型训练；针对生成器生成的数据，使用质量判别模型进行质量判别，将真实的数据与生成数据均送入质量判别器，可以得到真实数据的特征向量与生成数据的特征向量，使用Wasserstein距离进行计算，距离近则代表生成数据与真实数据的相似性较高，距离远则代表生成数据与真实数据之前相似度较低，判定生成器质量即是比较真实数据与生成数据直接的距离，距离越近则生成数据越相似。
[0012]针对服装线稿模型生成的线稿数据，先送入质量判别模型进行判别，挑选出质量高的线稿数据，然后将质量高的线稿数据送入超分模型，得到最终的高质量高分辨率线稿生成数据。
[0013]进行服装线稿数据收集，要求图像风格统一，内容清晰，包含各类各种属性的服装线稿数据；进行服装线稿标签制定，并为采集到的服装线稿数据进行标注，得到标注完成的服装线稿数据，即可用于训练。
[0014]构建支持控制信息输入的对抗判别生成训练模型，使用标注数据进行生成模型训练，构建单独的服装线稿质量判别模型与超分辨率模型，使用质量判别模型对生成模型生成的数据进行质量判别，去除质量低下的生成图像，同时使用超分辨率模型对生成的线稿图像进行超分操作，提高生成图像的尺寸与分辨率。
[0015]在服装线稿数据收集时，需要保证采集数据的高质量特性，线稿线条清晰明确，绘
制风格统一，同时需要包含各种类型与各类属性。
[0016] 在服装线稿标注时，需要设置严格的标注要求， 保证标注的准确性与全面性， 此处需要标注的信息主要为线稿图像的品类信息与袖长信息。标注时也需要注意标注数据的类别平衡，对于标注数据量较少的类型需要重新进行采集与标注。
[0017] 在构建对抗判别模型时， 生成模型与判别模型使用多层con-block进行堆叠， 加强特征层的特征表达能力，同时对抗模型训练时引入了wgan机制，对梯度进行惩罚 加强模型训练稳定性，超分模型与质量盘被模型也同样使用多层conv-block进行堆叠。
[0018] 将随机噪声和标签信息合并为线稿生成控制信号， 在判别器中加入分类损失信息， 为普通的生成模型加入生成控制能力， 原版生成模型只能生成线稿图像， 而新的结构可以特定属性的数据。
[0019]优选的，所述针对服装线稿数据进行的属性标注包括：服装品类、服装袖长。
[0020]优选的，生成模型训练过程使用对抗学习方法。
...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的服装线稿生成方法，其特征在于，该方法包括如下步骤：收集一定量的服装线稿数据，然后对服装线稿数据进行属性标注，生成模型训练所需要的训练数据集；利用训练数据集训练生成服装线稿生成模型；构建一定维度的随机噪声和一定维度的服装标签信息，将随机噪声和标签信息合并为线稿生成信号；然后将该信号输入至服装线稿模型中进行服装线稿图的生成。2.根据权利要求1所述的一种基于深度学习的服装线稿生成方法，其特征在于，所述针对服装线稿数据进行的属性标注包括：服装品类、服装领型、服装袖型。3.根据权利要求2所述的一种基于深度学习的服装线稿生成方法，其特征在于，生成模型训练所需要的训练数据集时使用控制信息控制服装品类、服装袖长的信息。4.根据权利要求3所述的一种基于深度学习的服装线稿生成方法，其特征在于，模型训练过程使用对抗学习方法。...

【专利技术属性】
技术研发人员：郑泽宇，温苗苗，尚文祥，何治，胡海滨，石磊，
申请(专利权)人：杭州知衣科技有限公司，
类型：发明
国别省市：