可编辑的仿真数字人形象设计方法、系统、设备及介质技术方案

本发明专利技术提出了一种可编辑的仿真数字人形象设计方法、系统、设备及介质，方法包括：采集头部图像数据集以及妆容图像数据集；分别构建基于神经辐射场的头部参数化模型以及妆容迁移模型：基于头部图像数据集迭代训练头部参数化模型；基于妆容图像数据集迭代训练妆容迁移模型；将目标人像图和样式人像图输入头部参数化模型，获得目标视角下的目标渲染图；将目标渲染图和目标妆容图输入妆容迁移模型的，输出配置妆容后的渲染人像图；基于目标渲染图和渲染人像图，完成个性化仿真数字人形象以及仿真数字人的妆容形象设计。本发明专利技术可进行实时渲染编辑，提高渲染质量和渲染效率，在仿真数字人形象设计上实现高度自由的可编辑功能。形象设计上实现高度自由的可编辑功能。形象设计上实现高度自由的可编辑功能。

【技术实现步骤摘要】
可编辑的仿真数字人形象设计方法、系统、设备及介质


[0001]本专利技术涉及计算机视觉
，具体涉及一种可编辑的仿真数字人形象设计方法
、
系统
、
设备及介质
。

技术介绍

[0002]数字人是利用计算机技术对人体的形态和功能进行虚拟仿真的技术，数字人能够显著提升应用的交互性，增强智能信息服务的智能化水平
。
随着人工智能技术的不断突破，数字人的形象
、
表情
、
表达正在逐渐比拟真人
。
[0003]渲染在计算机视觉领域中是热门的方向，可应用于仿真数字人形象的设计，通过神经网络呈现出真实物理世界的渲染效果，但是现有的技术存在以下问题：大多数渲染模型存在数字人形象渲染效果差，渲染效率低的问题；数字人形象设计无法进行实时渲染编辑，形象设计可编辑性较低，无法满足数字人形象设计的高度自由化
。

技术实现思路

[0004]针对现有技术的不足，本专利技术提出一种可编辑的仿真数字人形象设计方法
、
系统
、
设备及介质
。
[0005]本专利技术第一方面公开了一种可编辑的仿真数字人形象设计方法，包括：
S1: 采集头部图像数据集以及妆容图像数据集；
S2
：分别构建基于神经辐射场的头部参数化模型以及妆容迁移模型，所述头部参数化模型依次包括特征提取模块
、
体素渲染模块以及神经渲染模块，所述妆容图像数据集依次包括妆容提取模块
、
妆容变形模块以及妆容迁移模块；
S3
：基于所述头部图像数据集迭代训练所述头部参数化模型，获得训练好的基于神经辐射场的头部参数化模型；
S4
：基于所述妆容图像数据集迭代训练所述妆容迁移模型，获得训练好的妆容迁移模型；
S5
：将目标人像图和样式人像图作为训练好的头部参数化模型的输入，基于所述目标人像图和样式人像图间的交互，对所述目标人像图进行可编辑操作，获得目标视角下的目标渲染图；
S6
：将所述目标渲染图和目标妆容图作为训练好的妆容迁移模型的输入，输出配置妆容后的渲染人像图；
S7
：基于所述目标渲染图和所述渲染人像图，完成个性化仿真数字人形象以及仿真数字人的妆容形象设计
。
[0006]在一个可选的实施例中，所述头部图像数据集包括若干种人像，每种人像数据集中包括若干视角参数
、
姿态参数以及光线条件参数
。
[0007]在一个可选的实施例中，所述妆容图像数据集包括无妆容数据集类别以及有妆容
数据集类别
。
[0008]在一个可选的实施例中，所述基于所述头部图像数据集迭代训练所述头部参数化模型，获得训练好的基于神经辐射场的头部参数化模型，包括如下步骤：
S31: 初始化作为训练数据集的所述头部图像数据集中每张图像的潜代码；
S32
：将所述潜代码以及相机参数输入所述特征提取模块中，分别获得采样点的预测密度值
、
特征向量以及头发的显式条状表示；
S33
：将所述采样点的预测密度值
、
特征向量以及头发的显式条状表示均输入至所述体素渲染模块中，输出低分辨率的特征图；
S34
：将所述特征图输入所述神经渲染模块以获得目标渲染图，并分别通过图像损失函数
、
感知损失函数以及解耦损失函数迭代训练所述头部参数化模型，通过更新所述特征提取模块
、
体素渲染模块以及神经渲染模块的相关参数直至收敛，获得训练好的头部参数化模型
。
[0009]在一个可选的实施例中，所述通过图像损失函数
、
感知损失函数以及解耦损失函数迭代训练所述头部参数化模型，所述图像损失函数的表达式为：；其中，表示经渲染处理后输出的图片，是原图片，是面部的掩码，是哈达玛积运算符
。
表示的是潜编码，下标
id
表示身份，
alb
表示颜色和纹理
。P
是用于渲染的相机参数，相机参数包括外参和内参，图像损失函数用于限定渲染图片应同原图片一致；所述感知损失函数的表达式为：；其中，表示神经辐射场中
VGG16
网络的第
i
层的激活函数，所述感知损失函数用于通过颜色判断生成图像的质量；所述解耦损失函数的表达式为：；其中，和表示模型需要学习训练的潜编码，和表示初始化的潜编码，表示对应的损失权重，所述解耦损失函数用于通过相同图像共享潜代码实现可编辑功能以及渲染结果支持解耦
。
[0010]在一个可选的实施例中，所述基于所述妆容图像数据集迭代训练所述妆容迁移模型，获得训练好的妆容迁移模型，包括如下步骤：
S41:
将所述妆容图像数据集作为所述妆容提取模块的输入，提取所述妆容图像数据集的妆容特征；
S42:
将所述妆容特征以及目标人像图作为所述妆容变形模块的输入，获得妆容迁移特征图；
S43:
所述妆容迁移模块根据所述妆容迁移特征图生成迁移结果；
S44
：分别通过对抗损失函数
、
感知损失函数以及循环一致性损失函数迭代训练所述妆容迁移模型，通过更新所述妆容提取模块
、
妆容变形模块以及妆容迁移模块的相关参数直至收敛，获得训练好的妆容迁移模型；所述对抗损失函数的表达式为：；其中，和是判别器，表示未定妆的原图片，表示迁移妆容的参考图片，和分别表示生成器生成的上妆原图片和卸妆的参考图片
。
[0011]所述的感知损失函数表达式为：；感知损失是为了保持原图片的面部特征，表示图片在
VGG
网络中第层特征，分别表示特征图的通道数
、
高度和宽度
。
[0012]所述循环一致性损失函数表达式为：；循环一致性损失是为了保证妆容迁移前后图片的背景信息保持一致
。
和表示重建的图片，
dist
表示两张图片之间的
L1
距离
。
[0013]本专利技术第二方面公开了一种可编辑的仿真数字人形象设计系统，所述系统包括：数据采集模块
,
用于采集头部图像数据集以及妆容图像数据集；模型构建模块，用于分别构建基于神经辐射场的头部参数化模型以及妆容迁移模型，所述头部参数化模型依次包括特征提取模块
、
体素渲染模块以及神经渲染模块，所述妆容图像数据集依次包括妆容提取模块
、
妆容变形模块以及妆容迁移模块；第一训练模块，用于基于所述头部图像数据集迭代训练所述头部参数化模型，获得训练好的基于神经辐射场的头部参数化模型；第二训练模块，用于基于所述妆容图像数据集迭代训练所述妆容迁移模型，获得训练好的妆容迁移模型；形象编辑模块，用于将目标人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种可编辑的仿真数字人形象设计方法，其特征在于，所述方法包括：
S1: 采集头部图像数据集以及妆容图像数据集；
S2
：分别构建基于神经辐射场的头部参数化模型以及妆容迁移模型，所述头部参数化模型依次包括特征提取模块
、
体素渲染模块以及神经渲染模块，所述妆容图像数据集依次包括妆容提取模块
、
妆容变形模块以及妆容迁移模块；
S3
：基于所述头部图像数据集迭代训练所述头部参数化模型，获得训练好的基于神经辐射场的头部参数化模型；
S4
：基于所述妆容图像数据集迭代训练所述妆容迁移模型，获得训练好的妆容迁移模型；
S5
：将目标人像图和样式人像图作为训练好的头部参数化模型的输入，基于所述目标人像图和样式人像图间的交互，对所述目标人像图进行可编辑操作，获得目标视角下的目标渲染图；
S6
：将所述目标渲染图和目标妆容图作为训练好的妆容迁移模型的输入，输出配置妆容后的渲染人像图；
S7
：基于所述目标渲染图和所述渲染人像图，完成个性化仿真数字人形象以及仿真数字人的妆容形象设计
。2.
根据权利要求1所述的可编辑的仿真数字人形象设计方法，其特征在于，所述头部图像数据集包括若干种人像，每种人像数据集中包括若干视角参数
、
姿态参数以及光线条件参数
。3.
根据权利要求1所述的可编辑的仿真数字人形象设计方法，其特征在于，所述妆容图像数据集包括无妆容数据集类别以及有妆容数据集类别
。4.
根据权利要求1所述的可编辑的仿真数字人形象设计方法，其特征在于，所述基于所述头部图像数据集迭代训练所述头部参数化模型，获得训练好的基于神经辐射场的头部参数化模型，包括如下步骤：
S31: 初始化作为训练数据集的所述头部图像数据集中每张图像的潜代码；
S32
：将所述潜代码以及相机参数输入所述特征提取模块中，分别获得采样点的预测密度值
、
特征向量以及头发的显式条状表示；
S33
：将所述采样点的预测密度值
、
特征向量以及头发的显式条状表示均输入至所述体素渲染模块中，输出低分辨率的特征图；
S34
：将所述特征图输入所述神经渲染模块以获得目标渲染图，并分别通过图像损失函数
、
感知损失函数以及解耦损失函数迭代训练所述头部参数化模型，通过更新所述特征提取模块
、
体素渲染模块以及神经渲染模块的相关参数直至收敛，获得训练好的头部参数化模型
。5.
根据权利要求4所述的可编辑的仿真数字人形象设计方法，其特征在于，所述通过图像损失函数
、
感知损失函数以及解耦损失函数迭代训练所述头部参数化模型，所述图像损失函数的表达式为：；其中，表示经渲染处理后输出的图片，是原图片，是面部的掩码，
是哈达玛积运算符；表示的是潜编码，下标
id
表示身份，
alb
表示颜色和纹理；
P
是用于渲染的相机参数，相机参数包括外参和内参，图像损失函数用于限定渲染图片应同原图片一致；所述感知损失函数的表达式为：；其中，表示神经辐射场中
VGG16
网络的第
i
层的激活函数，所述感知损失函数用于通过颜色判断生成图像的质量；所述解耦损失函数的表达式为：；其中，和表示模型需要学习训练的潜编码，和表示初始化的潜编码，表示对应的损失权重，所述解耦损失函数用于通过相同图像共享潜代码实现可编辑功能以及渲染结果支持解耦
。6.
根据权利要求1所述的可编辑的仿真数字人形象设计方法，其特征在于，所述基于所述妆容图像数据集迭代训练所述妆容迁移模型，获得训练好的妆容迁移模型，包括如下步骤：
S41:
将所述妆容图像数据集作为所述妆容提取模块的输入，提取所述妆容图像数据集的妆容特征；
S42:
将所述妆容特征以及目标人像图作为所述妆容变形模块的输入，获得妆容迁移特征图；
S43:
所述...

【专利技术属性】
技术研发人员：丁一，吴庆耀，刘梦瑶，黄海亮，钟晓静，白剑，梁瑛玮，张海林，鲁和平，李长杰，陈焕然，李乐，王浩，洪行健，冷冬，李尚然，
申请(专利权)人：易方信息科技股份有限公司，
类型：发明
国别省市：