System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于归一化流模型的连续人脸老化图像生成方法技术_技高网

一种基于归一化流模型的连续人脸老化图像生成方法技术

技术编号:44432347 阅读:0 留言:0更新日期:2025-02-28 18:44
本发明专利技术公开了一种基于归一化流模型的连续人脸老化图像生成方法,涉及归一化流技术领域,包括以下步骤:S1:首先,由于选取的FFHQ数据集包括了从婴幼儿时期到老年时期的大跨度人脸,设置具体年龄范围;S2:构建数据预处理模块,对输入图像全部下采样固定大小;S3;构建年龄属性空间与先验隐变量空间的可逆映射模块。通该方法巧妙地结合了对高维空间具有连续采样优势的归一化流模型和具有强大生成能力的StyleGAN框架相结合的策略,通过将高维的年龄属性空间可逆映射到连续变化的先验潜在空间,从而准确地表示连续的年龄变化并捕获随年龄变化的细粒度面部变化并与预训练的、固定的StyleGAN生成器的表达能力进行配对,构建了一个强大的跨年龄人脸图像变化框架。

【技术实现步骤摘要】

本专利技术涉及归一化流,具体为一种基于归一化流模型的连续人脸老化图像生成方法


技术介绍

1、随着计算机技术的飞速发展,计算机视觉领域备受社会各界关注。人脸图像分析是该领域的研究热点之一,并且涉及传递身份、年龄、情感和表情等重要特征信息。然而,人脸特征会随着年龄的增长而变化。在刑侦和公安应用中,获取的人脸图像常与待比对人脸存在年龄上的差异。人脸的跨年龄域变换,即人脸老化(face aging),要求在生成跨年龄人脸的同时保持合成效果和身份信息的准确性,以便渲染出具有特定年龄效果的指定人脸图像。然而,由于采集成本极高,缺乏同一人在长期年龄跨度下的人脸训练样本,人脸老化仍然是计算机视觉中一项极具挑战性的任务。

2、为了应对日益严峻的人脸跨年龄变化的问题,其中,生成对抗网络(generativeadversarial net,gan)、变分自编码器(variational auto-encoder,vae)、标准化流(normalizing flow)和扩散模型(diffusion models)等四大深度生成模型的兴起,使得跨年龄人脸图像的合成任务得到的空前的发展。在这些模型中,条件生成式对抗网络(conditional gan,cgan)作为一类典型的gan方法,通过引入先验信息,能够生成具有一定属性的目标图像。为了确保在图像生成过程中保持身份一致性,文献《face aging withidentity-preserved conditional generative adversarial networks》提出了一个身份保持的条件gan,该网络在cgan的基础上利用身份模块保留身份信息来实现人脸生成,但存在生成质量欠佳、训练不稳定以及对潜在空间的属性也知之甚少等问题,在文献《only amatter of style: age transformation using a style-based regression model》中alaluf等人提出了一种图像到图像的翻译方法,该方法学习直接将真实的人脸图像编码到预先训练的无条件gan(例如stylegan)的潜在空间中,并在给定的老化偏移下进行操作。与仅在潜在空间中使用控制年龄的路径先验进行操作的方法不同,该方法学习了一条更加解耦的非线性路径,这一方法证明了其端到端性质,并结合了stylegan丰富的语义潜在空间,允许对生成的图像进行更深入的细粒度编辑。

3、基于生成对抗网络(gan)的人脸老化模型是一类比较典型的方法,它将人脸数据集分成不同的年龄组,并将待变换的人脸图像输入生成器,依赖判别器和分类器,将输出图像映射到指定年龄组的人脸分布上。然而,人脸图像具有随年龄变化而平滑渐变的特点。由于将年龄分成几个离散域的这种方法只能学习人脸在不同年龄组之间的变化,无法捕捉人脸图像随年龄连续变化的特性。相比之下,另一些方法通过预训练或同步训练的精细化年龄分类器或回归器来指导模型进行更精细化的年龄变换。然而,这类方法过度依赖于分类器的训练效果和年龄分类器训练所需的大规模数据,带来了较大的数据成本。由于生成对抗网络(gan)只能隐式地学习数据空间的分布,并未给出数据的概率分布函数,因此,为了实现人脸图像随年龄平滑渐变的自然效果,需要模型能够准确地对年龄属性变量的分布进行建模和表征,建立起数据的真实分布与先验分布之间的双向联系。

4、综上所述,现有的人脸老化合成方法虽然取得了一定的进展,但随着年龄的增加,仍然存在着人脸身份不一致性、年龄属性改变导致图像映射歧义和无法捕获连续的细粒度老化特征的问题。


技术实现思路

1、本专利技术的目的在于提供一种基于归一化流模型的连续人脸老化图像生成方法,以解决上述
技术介绍
提出的现有的人脸老化技术在人脸身份不一致性、年龄属性改变导致图像映射歧义和无法捕获连续的细粒度老化特征的问题。

2、为实现上述目的,本专利技术提供如下技术方案:一种基于归一化流模型的连续人脸老化图像生成方法,基于归一化流模型的连续人脸老化图像生成方法包括以下步骤:

3、s1:首先,由于选取的ffhq数据集包括了从婴幼儿时期到老年时期的大跨度人脸,设置具体年龄范围。

4、s2:构建数据预处理模块,对输入图像全部下采样固定大小,并且进行归一化处理。

5、s3:构建年龄属性空间与先验隐变量空间的可逆映射模块,基于连续概率分布变换的原理,通过构造可逆的变换函数,将高维空间复杂的年龄属性分布转换成基本的简单分布,从而精确地映射先验分布与复杂分布之间的概率关系,实现最大似然估计;

6、s4:构建基于编码器和解码器的特征对齐模块,利用具有特征金字塔的解码器,从年龄属性空间与先验隐变量空间的可逆映射模块得到的关于潜在年龄空间的向量获取三个级别的特征向量,并分别对这三个级别的特征向量使用三个特征投影策略,从特征图中提取样式,最终得到与内容样式对齐的人脸年龄属性编码;

7、s5:构建基于注意力机制的注意力特征融合模块,利用两个线性层和一个sigmoid的函数计算内容特征和年龄特征之间的动态权重,最后使内容特征和年龄特征与共享权重相乘之后相加,得到输入stylegan的最终特征向量。

8、s6:构建使用预训练的且固定的stylegan生成器与编码器结合模块,将注意力特征融合模块输出的18个风格向量,并输入至生成器中生成所需要年龄的老化图像。

9、s7:将测试集中人脸图像输入训练完成的模型,得到随着年龄变化的连续平滑变换的老化图像。

10、优选的,在s1中,由于ffhq数据集的年龄最小年龄范围是0-2,最大年龄范围是70-120,因此我们选取1-100作为通用的年龄范围。

11、优选的,在s2中,图像预处理的具体方法为对输入图像全部下采样为进行实现,并且由此采取了vgg网络作为预训练的年龄分类网络,我们采用均值为[0.485,0.456, 0.406],方差均为1对图像进行归一化处理。

12、优选的,在s3中,假设年龄属性分布为,易于采样的先验隐空间为,那么在流模型中二者之间的变换关系为,其中,假设是可逆的且的维度和的维度相同,为了拟合出一个分布,变化规则如下:其中是函数在上的雅可比矩阵,我们采用,为了让雅可比矩阵的行列式能够平凡地获得。由于是可逆的,那么也可直接根据直接得出。优选的,在s4中,首先,我们利用具有特征金字塔的解码器,从年龄属性空间与先验隐变量空间的可逆映射模块得到的关于潜在年龄空间的向量获取三个级别的特征向量并分别对这三个级别的特征向量使用三个特征投影策略,从特征图中提取样式,,最终得到与内容样式对齐的人脸年龄属性编码:,,然后,将人脸年龄属性编码与输入图像的内容样式共同学习所有18个风格向量,并输入至生成器中生成输出图像。优选的,在s5中,利用注意力特征融合模块将内容向量和年龄向量计算动态权重,自适应地调整内容特征和风格特征的融合权重,更好地捕捉内容特征和风格特征之间的细微差异,从而提高模型的表现。

13、优选本文档来自技高网...

【技术保护点】

1.一种基于归一化流模型的连续人脸老化图像生成方法,其特征在于:基于归一化流模型的连续人脸老化图像生成方法包括以下步骤:

2.根据权利要求1所述的一种基于归一化流模型的连续人脸老化图像生成方法,其特征在于:在S1中,由于FFHQ数据集的年龄最小年龄范围是0-2,最大年龄范围是70-120,因此我们选取1-100作为通用的年龄范围。

3.根据权利要求1所述的一种基于归一化流模型的连续人脸老化图像生成方法,其特征在于:在S2中,图像预处理的具体方法为对输入图像全部下采样为进行实现,并且由此采取了VGG网络作为预训练的年龄分类网络,我们采用均值为[0.485, 0.456,0.406],方差均为1对图像进行归一化处理。

4.根据权利要求1所述的一种基于归一化流模型的连续人脸老化图像生成方法,其特征在于:在S3中,假设年龄属性分布为,易于采样的先验隐空间为,那么在流模型中二者之间的变换关系为,其中,假设是可逆的且的维度和的维度相同,为了拟合出一个分布,变化规则如下:其中是函数在上的雅可比矩阵,我们采用,为了让雅可比矩阵的行列式能够平凡地获得。由于是可逆的,那么也可直接根据直接得出。

5.根据权利要求1所述的一种基于归一化流模型的连续人脸老化图像生成方法,其特征在于:在S4中,首先,我们利用具有特征金字塔的解码器,从年龄属性空间与先验隐变量空间的可逆映射模块得到的关于潜在年龄空间的向量获取三个级别的特征向量并分别对这三个级别的特征向量使用三个特征投影策略,从特征图中提取样式,,,最终得到与内容样式对齐的人脸年龄属性编码:然后,将人脸年龄属性编码与输入图像的内容样式共同学习所有18个风格向量,并输入至生成器中生成输出图像。

6.根据权利要求1所述的一种基于归一化流模型的连续人脸老化图像生成方法,其特征在于:在S6中,使用了一个固定的、预训练的e4e编码器作为通用身份编码器得到内容特征潜在空间,结合年龄属性编码,共同送入StyleGAN中生成图像。进一步地,模型训练过程中,损失函数为:其中,,,,和权衡不同损失的加权参数;是学习像素级相似度的损失,是学习感知相似度的损失,是保证修改人脸面部年龄属性特征的同时确保图像的身份的一致性,是标签平滑正则化损失来作为分类损失,是为了实现隐变量的准确调制,引入归一化流中的最大对数似然函数进行约束,是将生成的人脸老化图像和存在的真实目标年龄图像进行对抗学习的损失,用于提升模型生成图像的质量。

...

【技术特征摘要】

1.一种基于归一化流模型的连续人脸老化图像生成方法,其特征在于:基于归一化流模型的连续人脸老化图像生成方法包括以下步骤:

2.根据权利要求1所述的一种基于归一化流模型的连续人脸老化图像生成方法,其特征在于:在s1中,由于ffhq数据集的年龄最小年龄范围是0-2,最大年龄范围是70-120,因此我们选取1-100作为通用的年龄范围。

3.根据权利要求1所述的一种基于归一化流模型的连续人脸老化图像生成方法,其特征在于:在s2中,图像预处理的具体方法为对输入图像全部下采样为进行实现,并且由此采取了vgg网络作为预训练的年龄分类网络,我们采用均值为[0.485, 0.456,0.406],方差均为1对图像进行归一化处理。

4.根据权利要求1所述的一种基于归一化流模型的连续人脸老化图像生成方法,其特征在于:在s3中,假设年龄属性分布为,易于采样的先验隐空间为,那么在流模型中二者之间的变换关系为,其中,假设是可逆的且的维度和的维度相同,为了拟合出一个分布,变化规则如下:其中是函数在上的雅可比矩阵,我们采用,为了让雅可比矩阵的行列式能够平凡地获得。由于是可逆的,那么也可直接根据直接得出。

5.根据权利要求...

【专利技术属性】
技术研发人员:周翊超瞿静蕾胡晰远许楷文郑军帅
申请(专利权)人:南京理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1