一种虚拟角色生成系统及方法技术方案

本发明专利技术公开一种虚拟角色生成系统及方法，其系统包括人脸重建网络、标记单元、捏脸网络以及人脸网格生成网络，人脸重建网络用以获取人脸图像，构建人脸重建网络，获得人脸的身份参数以及表情参数；标记单元用以标记用户对人脸重建网络中位置调整的关键点，获得标记信息；捏脸网络根据标记信息和人脸的身份参数以及表情参数，获得捏脸参数；人脸网格生成网络根据捏脸参数，生成虚拟角色。本申请可以充分理解用户期望的虚拟角色形象，生成个性化的虚拟角色，不仅能够高质量生成个性化虚拟角色，而且又不需要花费用户大量的时间进行捏脸，大大提升了用户玩游戏的体验。大提升了用户玩游戏的体验。大提升了用户玩游戏的体验。

【技术实现步骤摘要】
一种虚拟角色生成系统及方法


[0001]本专利技术涉及图像处理
，尤其涉及一种虚拟角色生成系统及方法。

技术介绍

[0002]用户在玩游戏的时候，通常需要先创建一个对应虚拟的游戏角色人物形象，而游戏中的游戏角色人物的个性化是用户最为重视的一个重要因素，因此为了满足用户对游戏角色的个性化体验，游戏产品中，提供用户自行来塑造人物的形象是必不可少的。
[0003]现有的技术中，通常会提供一套技术方案，用户只需要输入一个图像，即可自动生成对应的卡通或者二次元的虚拟人物，但这种技术方案方法比较固定，难以形成个性化的虚拟人物。
[0004]为了进一步提高玩家的沉浸感和用户体验，目前开发的捏脸的技术，可以满足用户精确地操纵角色的每一个部位，如眼角、鼻尖等，为了创造一个满意的角色，玩家往往需要花费数个小时来调整上百个参数，但这也耗费了玩家大量的时间和精力。
[0005]此外，对于一个游戏产品来说，用户数量特别多，每个用户提供的人物图片风格和质量也参差不齐，也导致生成的虚拟角色质量差异较大，甚至无法生成虚拟角色。

技术实现思路

[0006]本专利技术为解决现有技术中存在的技术问题，提供一种虚拟角色生成系统，包括人脸重建网络、标记单元、捏脸网络以及人脸网格生成网络，其中：
[0007]人脸重建网络用以获取人脸图像，构建人脸重建网络，获得人脸的身份参数以及表情参数；
[0008]标记单元用以标记用户对人脸重建网络中位置调整的关键点，获得标记信息；
[0009]捏脸网络根据标记信息和人脸的身份参数以及表情参数，获得捏脸参数；
[0010]人脸网格生成网络根据捏脸参数，生成虚拟角色。
[0011]进一步地，所述捏脸网络为6层的全连接层网络，其中：
[0012]前4层全连接层的维度为256，每一层的激活函数为ReLu；
[0013]第5层全连接层的维度为512，激活函数为LeakyReLu；
[0014]第6层全连接层的维度为捏脸参数的数目，无激活函数。
[0015]进一步地，所述人脸网格生成网络为3层的全连接层网络，其中：
[0016]前两层全连接层的维度为128，每一层的激活函数为ReLu；
[0017]最后一层全连接层的维度为虚拟角色脸网格的顶点数目乘以3，无激活函数。
[0018]进一步地，人脸重建网络包括初始层、中间层以及输出层，其中：
[0019]初始层包括卷积层、BN层以及激活函数；
[0020]中间层为多层相同的卷积层串联连接构成；
[0021]输出层为全连接层。
[0022]本专利技术还提供一种虚拟角色生成方法，应用在虚拟角色生成系统，包括步骤：
[0023]S1步骤:获取人脸图像并进行重建，构建人脸重建网络；
[0024]S2步骤:获取用户对人脸重建网络中位置调整的关键点信息；
[0025]S3步骤:对人脸重建网络和关键点信息进行分析，获得捏脸参数；
[0026]S4:根据捏脸参数生成虚拟角色。
[0027]进一步地，S1步骤中包括预处理步骤，所述预处理包括对人脸图像进行双边滤波，旋转或者翻转。
[0028]进一步地，S3步骤中，捏脸网络的训练方法包括：
[0029]固定人脸网格生成网络的模型权重；
[0030]生成随机捏脸参数，输入到人脸网格生成网络中，生成预测捏脸参数；
[0031]输入关键点信息，得到第一次人脸网格关键点；
[0032]将预测捏脸参数输入到人脸网格生成网络中，得到第二次预测捏脸参数；
[0033]再次输入关键点信息，得到第二次人脸网格关键点；
[0034]计算第一次人脸网格关键点与第二次人脸网格关键点的误差，得到关键点误差；
[0035]根据关键点误差，利用反向传播算法，得到捏脸网络内部的隐含层中的节点误差；
[0036]使用梯度下降算法调整捏脸网络中隐含层节点间的权值。
[0037]进一步地，人脸网格生成网络的训练方法包括：
[0038]随机生成捏脸参数到捏脸网络中；
[0039]将捏脸网络的输出结果输入到人脸网格生成网络，获得捏脸输出，对捏脸输出使用均方误差目标函数，得到捏脸网络的输出误差；
[0040]根据捏脸网络的输出误差，使用反向误差传播算法进行计算，得到人脸网格生成网络的内部隐含层的节点误差；
[0041]使用梯度下降算法调整人脸网格生成网络中隐含层节点间的权值。
[0042]进一步地，生成随机捏脸参数的方法为使用符合高斯分布或均匀分布的随机数。
[0043]本专利技术还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如所述的虚拟角色生成方法。
[0044]本专利技术公开的方法和系统中所述模块，在实际应用中，即可以在一台目标服务器上部署多个模块，也可以每一模块独立部署在不同的目标服务器上，特别的，根据需要，为了提供更强大的计算处理能力，也可以根据需要将模块部署到集群目标服务器上。
[0045]由此可见，本专利技术采取的技术方案取得的技术效果如下：
[0046]本申请通过创新的人脸重建网络，对输入图像进行人脸信息重建，并通过创新的捏脸网络结构以及训练方法，有效提取特征，可以充分理解用户期望的虚拟角色形象，并通过创新的人脸网格生成网络生成个性化的虚拟角色，不仅能够高质量生成个性化虚拟角色，而且又不需要花费用户大量的时间进行捏脸，大大提升了用户玩游戏的体验。
[0047]为了对本专利技术有更清楚全面的了解，下面结合附图，对本专利技术的具体实施方式进行详细描述。
附图说明
[0048]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使
用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0049]图1为本申请实施例的一种虚拟角色生成方法的结构示意图；
[0050]图2为本申请专利技术实施例的一种捏脸网络结构示意图；
[0051]图3为本申请实施例的捏脸网络的一种训练流程示意图；
[0052]图4为本申请专利技术实施例的一种人脸网格生成网络结构示意图。
[0053]其中：人脸重建网络1，标记单元2，捏脸网络3，人脸网格生成网络4。
具体实施方式
[0054]请参阅图1，图1示出了一种虚拟角色生成系统的结构示意图，该示意图也显示了虚拟角色系统中各个模块处理得到的结果和过程，包括人脸重建网络、标记单元、捏脸网络以及人脸网格生成网络，其中：
[0055]人脸重建网络用以获取人脸图像，构建人脸重建网络，获得人脸的身份参数以及表情参数；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟角色生成系统，其特征是，包括人脸重建网络、标记单元、捏脸网络以及人脸网格生成网络，其中：人脸重建网络用以获取人脸图像，构建人脸重建网络，获得人脸的身份参数以及表情参数；标记单元用以标记用户对人脸重建网络中位置调整的关键点，获得标记信息；捏脸网络根据标记信息和人脸的身份参数以及表情参数，获得捏脸参数；人脸网格生成网络根据捏脸参数，生成虚拟角色。2.如权利要求1所述的虚拟角色生成系统，其特征是，所述捏脸网络为6层的全连接层网络，其中：前4层全连接层的维度为256，每一层的激活函数为ReLu；第5层全连接层的维度为512，激活函数为LeakyReLu；第6层全连接层的维度为捏脸参数的数目，无激活函数。3.如权利要求1所述的虚拟角色生成系统，其特征是，所述人脸网格生成网络为3层的全连接层网络，其中：前两层全连接层的维度为128，每一层的激活函数为ReLu；最后一层全连接层的维度为虚拟角色脸网格的顶点数目乘以3，无激活函数。4.如权利要求1所述的虚拟角色生成系统，其特征是，人脸重建网络包括初始层、中间层以及输出层，其中：初始层包括卷积层、BN层以及激活函数；中间层为多层相同的卷积层串联连接构成；输出层为全连接层。5.一种虚拟角色生成方法，其特征是，应用在虚拟角色生成系统，包括步骤：S1步骤:获取人脸图像并进行重建，构建人脸重建网络；S2步骤:获取用户对人脸重建网络中位置调整的关键点信息；S3步骤:对人脸重建网络和关键点信息进行分析，获得捏脸参数；S4:根据捏脸参数生成虚拟角色。6.如权利要求5所述的虚拟角色生成方法，其特征是，S1步骤中包括...

【专利技术属性】
技术研发人员：张健，
申请(专利权)人：芜湖叠纸网络科技有限公司，
类型：发明
国别省市：