【技术实现步骤摘要】
本专利技术涉及虚拟换发型，尤其涉及一种结合transformer架构的扩散模型虚拟换发型方法及系统。
技术介绍
1、合适的发型能很好地体现一个人的风格，发型对于整体的穿搭也起到了非常重要的作用。随着对美的追求不断深化，人们越来越注重自己的发型选择。如果能够在尝试新发型之前预览其效果，将极大地减少不满意的理发体验。
2、传统的换发型技术通常借助修图工具来完成，不仅需要找到新发型和本人照片角度相匹配的图片，还需要花费一定时间来将图修得真实自然。随着人工智能技术的发展，虚拟换发型技术出现在大众视野。虚拟换发型技术的重点在于将目标发型自然地转换到用户图片上，同时保持发型的细节和用户人脸的可识别度。近年来，大部分方法都是基于生成对抗网络(gan)的，这种方法对于发型的细节不易恢复，容易产生伪影。
技术实现思路
1、由此，本专利技术提供了一种结合transformer架构的扩散模型虚拟换发型方法及系统，用以解决现有方法对于生成虚拟发型不够精准的问题。
2、根据本专利技术的一方面，提出一种结合transformer架构的扩散模型虚拟换发型方法，该方法包括：
3、获取有头发的源图片；
4、利用秃顶生成器对源图片进行处理，生成秃顶图片；
5、根据发型参考图片和秃顶图片，利用发型生成模型生成换发型图片。
6、进一步地，在获取有头发的源图片后，对所述源图片进行图像处理，以获取符合尺寸要求的源图片。
7、进一步地，所述秃顶
8、进一步地，所述利用秃顶生成器对源图片进行处理，生成秃顶图片包括：
9、将源图片输入到vae编码器中，得到隐空间编码；
10、将隐空间编码输入到秃顶controlnet中，经过分块化处理、线性层处理后输入到多个串联的基于transformer架构的扩散模型中进行处理，获得源图片参考信息；将所述源图片参考信息输入到秃顶生成模型中；
11、随机生成隐空间高斯噪声，并将所述噪声输入到秃顶生成模型中，经过分块化处理、线性层处理后，得到特征图，将所述特征图和秃顶controlnet输出的源图片参考信息一同输入到多个串联的基于transformer架构的扩散模型中进行处理，得到的输出经过多层感知机处理后，再进行反分块化处理；
12、将反分块化处理后的结果输入vae解码器中，获得源图片对应的秃顶图片。
13、进一步地，所述发型生成模型包含多个串联的基于transformer架构的扩散模型；所述根据发型参考图片和秃顶图片，利用发型生成模型生成换发型图片包括：
14、将发型参考图片和秃顶生成器生成的秃顶图片分别输入预训练的vae编码器中，得到对应的隐空间编码；
15、将发型参考图片对应的隐空间编码输入发型参考网络中进行处理，获得发型细节特征；并将所述发型细节特征输入到发型生成模型中；
16、随机生成隐空间高斯噪声，并将所述噪声和秃顶图片对应的隐空间编码一同输入到发型生成模型中，经过分块化处理、线性层处理后，得到特征图，将所述特征图和发型参考网络输出的发型细节特征一同输入到多个串联的基于transformer架构的扩散模型中进行处理，得到的输出经过多层感知机处理后，再进行反分块化处理；
17、将反分块化处理后的结果输入vae解码器中，获得源图片对应的换发型图片。
18、进一步地，所述将发型参考图片对应的隐空间编码输入发型参考网络中进行处理，获得发型细节特征包括：将发型参考图片对应的隐空间编码经过分块化处理、线性层处理后输入到多个串联的基于transformer架构的扩散模型中，获得发型细节特征。
19、进一步地，所述秃顶生成器和所述发型生成模型均是预先训练好的模型，秃顶生成器单独训练，在发型生成模型的训练过程中发型参考网络参与训练；其中，秃顶生成器训练过程中的损失函数如下所示：
20、
21、其中，表示高斯噪声；表示vae编码器；表示秃顶生成器中基于transformer架构的扩散模型；表示秃顶controlnet；表示源图片；表示隐空间编码；t表示时间步；表示分布下期望；
22、发型生成模型训练过程中的损失函数如下所示：
23、
24、其中，表示发型生成模型中基于transformer架构的扩散模型；表示发型参考网络；分别表示发型参考图片和秃顶图片；表示隐空间编码；t表示时间步；表示分布下期望。
25、进一步地，所述基于transformer架构的扩散模型分为编码块和解码块；其中，编码块用于对输入图片进行压缩，以获得图片不同层次的特征，编码块包含自注意力模块、交叉注意力模块和前向传播网络；解码块用于还原图片大小，解码块包含自注意力模块、交叉注意力模块、前向传播网络和跳跃模块。
26、进一步地，所述秃顶controlnet在与所述秃顶生成模型的每个解码块的连接处额外添加零卷积层；并将每个秃顶controlnet的输出添加到秃顶生成模型的解码块的跳跃连接中。
27、根据本专利技术的另一方面，提出一种结合transformer架构的扩散模型虚拟换发型系统，该系统包括：源图片获取模块，其配置成获取有头发的源图片；
28、秃顶图片生成模块，其配置成利用秃顶生成器对源图片进行处理，生成秃顶图片；
29、换发型图片生成模块，其配置成根据发型参考图片和秃顶图片，利用发型生成模型生成换发型图片。
30、本专利技术具有以下技术效果：
31、本专利技术提出了一种结合transformer架构的扩散模型虚拟换发型方法及系统。首先获取有头发的源图片；然后利用秃顶生成器对源图片进行处理，生成秃顶图片；最后根据发型参考图片和秃顶图片，利用发型生成模型生成换发型图片。其中，先生成秃顶图片，再生成换发型图片，避免生成过程中用户原始图片发型造成的影响；秃顶生成器和发型生成模型均采用基于transformer架构的扩散模型，同时引入发型参考网络，通过发型交叉注意力模块注入发型信息，使得生成发型更加精细。本专利技术可以为用户提供一种高效便捷的虚拟换发型方案，同时也为美发行业带来一种创新的服务模式；本专利技术能够为更多人带来全新的美发体验，并推动个性化美发服务的发展。
本文档来自技高网...【技术保护点】
1.一种结合Transformer架构的扩散模型虚拟换发型方法，其特征在于，包括：
2.根据权利要求1所述的一种结合Transformer架构的扩散模型虚拟换发型方法，其特征在于，所述利用秃顶生成器对源图片进行处理，生成秃顶图片包括：
3.根据权利要求1所述的一种结合Transformer架构的扩散模型虚拟换发型方法，其特征在于，所述发型生成模型包含多个串联的基于Transformer架构的扩散模型；所述根据发型参考图片和秃顶图片，利用发型生成模型生成换发型图片包括：
4.根据权利要求3所述的一种结合Transformer架构的扩散模型虚拟换发型方法，其特征在于，所述将发型参考图片对应的隐空间编码输入发型参考网络中进行处理，获得发型细节特征包括：将发型参考图片对应的隐空间编码经过分块化处理、线性层处理后输入到多个串联的基于Transformer架构的扩散模型中，获得发型细节特征。
5.根据权利要求4所述的一种结合Transformer架构的扩散模型虚拟换发型方法，其特征在于，所述秃顶生成器和所述发型生成模型均是预先训练好的模型，秃顶
6.根据权利要求1-5中任一项所述的一种结合Transformer架构的扩散模型虚拟换发型方法，其特征在于，所述基于Transformer架构的扩散模型分为编码块和解码块；其中，编码块用于对输入图片进行压缩，以获得图片不同层次的特征，编码块包含自注意力模块、交叉注意力模块和前向传播网络；解码块用于还原图片大小，解码块包含自注意力模块、交叉注意力模块、前向传播网络和跳跃模块。
7.根据权利要求6所述的一种结合Transformer架构的扩散模型虚拟换发型方法，其特征在于，所述秃顶ControlNet在与所述秃顶生成模型的每个解码块的连接处额外添加零卷积层；并将每个秃顶ControlNet的输出添加到秃顶生成模型的解码块的跳跃连接中。
8.一种结合Transformer架构的扩散模型虚拟换发型系统，其特征在于，包括：
...【技术特征摘要】
1.一种结合transformer架构的扩散模型虚拟换发型方法，其特征在于，包括：
2.根据权利要求1所述的一种结合transformer架构的扩散模型虚拟换发型方法，其特征在于，所述利用秃顶生成器对源图片进行处理，生成秃顶图片包括：
3.根据权利要求1所述的一种结合transformer架构的扩散模型虚拟换发型方法，其特征在于，所述发型生成模型包含多个串联的基于transformer架构的扩散模型；所述根据发型参考图片和秃顶图片，利用发型生成模型生成换发型图片包括：
4.根据权利要求3所述的一种结合transformer架构的扩散模型虚拟换发型方法，其特征在于，所述将发型参考图片对应的隐空间编码输入发型参考网络中进行处理，获得发型细节特征包括：将发型参考图片对应的隐空间编码经过分块化处理、线性层处理后输入到多个串联的基于transformer架构的扩散模型中，获得发型细节特征。
5.根据权利要求4所述的一种结合transformer架构的扩散模型虚拟换发型方法，其特征在...
【专利技术属性】
技术研发人员：车宏图，
申请(专利权)人：美众天津科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。