本申请提供一种虚拟角色模型处理方法、装置、电子设备及存储介质，所述虚拟角色模型处理方法，在获得具有目标纹理的参考图像，以及虚拟角色三维模型的二维图像后，基于对参考图像的纹理编码和对二维图像的结构编码，获得参考图像的目标纹理特征编码和二维图像的目标结构特征编码，保证了纹理特征和结构特征的精确解耦，从而确保后续在对所述目标结构特征编码和目标纹理特征编码进行联合解码的过程中，参考图像的目标纹理特征能够有效迁移至虚拟角色三维模型，有效的保证了虚拟角色三维模型的纹理真实性。的纹理真实性。的纹理真实性。
【技术实现步骤摘要】
一种虚拟角色模型处理方法、装置、电子设备及存储介质
[0001]本申请涉及计算机设备应用领域，具体涉及一种虚拟角色模型处理方法、装置、电子设备及存储介质。
技术介绍
[0002]随着科学技术的不断发展，虚拟角色作为人与机器交互的媒介和连接现实与虚拟环境的桥梁，成为本领域技术人员的一个重要研究方向。
[0003]现有技术方案中，对于虚拟角色的创建通常包括：角色原画设计、角色建模设计、角色绑定以及角色动画设计等步骤；在实际操作过程中，上述每一个步骤都需要依赖大量专业设备和专业人员参与制作和调整，且无法保障虚拟角色的纹理的真实性。
[0004]因此，如何提高虚拟角色的纹理制作效率，同时保障虚拟角色的纹理的真实性成为本领域技术人员亟需解决的技术问题。
技术实现思路
[0005]本申请提供一种虚拟角色模型处理方法、装置、电子设备及存储介质，以提高虚拟角色的纹理制作效率，提升虚拟角色的纹理的真实性。
[0006]根据本申请实施例的第一方面，提供了一种虚拟角色模型处理方法，包括：获取具有目标纹理的参考图像，以及虚拟角色三维模型的二维图像；对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码；以及，对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码；对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，并根据解码结果获得具有所述目标纹理的虚拟角色三维模型。
[0007]在本申请的一种可选实施方式中，所述对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码，包括：将所述参考图像输入预先训练的纹理特征编码器，以使所述纹理特征编码器对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码。
[0008]在本申请的一种可选实施方式中，所述纹理特征编码器通过以下方式训练得到：将第一样本图像输入预设的包括纹理特征编码器和结构特征编码器的变分自编码器，以使所述变分自编码器的纹理特征编码器和结构特征编码器对所述第一样本图像进行纹理特征编码和结构特征编码，并通过所述变分自编码器的解码器对纹理特征编码结果和结构特征编码结果进行图像还原，获得还原后的样本图像；基于所述第一样本图像的纹理特征和所述还原后的样本图像的纹理特征，构建纹理感知损失函数；基于所述纹理感知损失函数，对所述纹理特征编码器进行训练。
[0009]在本申请的一种可选实施方式中，所述对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码，包括：
将所述二维图像输入预先训练的结构特征编码器，以使所述结构特征编码器对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码。
[0010]在本申请的一种可选实施方式中，所述结构特征编码器通过以下方式训练得到：将第二样本图像输入预设的包括纹理特征编码器和结构特征编码器的变分自编码器，以使所述变分自编码器的纹理特征编码器和结构特征编码器对所述第二样本图像进行纹理特征编码和结构特征编码，并通过所述变分自编码器的解码器对纹理特征编码结果和结构特征编码结果进行图像还原，获得还原后的样本图像；基于所述第二样本图像的结构特征和所述还原后的样本图像的结构特征，构建结构差异损失函数；基于所述差异损失函数，对所述结构特征编码器进行训练。
[0011]在本申请的一种可选实施方式中，所述对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，并根据解码结果获得具有所述目标纹理的虚拟角色三维模型，包括：对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，获得具有目标纹理的二维图像；对所述具有目标纹理的二维图像进行三维重建，获得具有所述目标纹理的虚拟角色三维模型。
[0012]在本申请的一种可选实施方式中，所述对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，获得具有目标纹理的二维图像，包括：将所述目标纹理特征编码和所述目标结构特征编码进行融合处理，获得融合特征编码；将所述融合特征编码输入预先训练的融合特征解码器，以使所述融合特征解码器对所述融合特征编码进行解码，获得具有所述目标纹理的二维图像。
[0013]在本申请的一种可选实施方式中，所述虚拟角色三维模型的二维图像，包括：所述虚拟角色三维模型的多个视角的二维图像；所述对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，获得具有目标纹理的二维图像，包括：分别对所述虚拟角色三维模型的多个视角的二维图像的目标结构特征，以及所述目标纹理特征进行联合解码，获得具有目标纹理的多个视角的二维图像。
[0014]在本申请的一种可选实施方式中，所述对所述具有目标纹理的二维图像进行三维重建，获得具有所述目标纹理的虚拟角色三维模型，包括：从具有目标纹理的多个视角的二维图像中，确定所述虚拟角色三维模型的各个顶点的颜色信息；根据所述各个顶点的颜色信息，对所述虚拟角色三维模型进行颜色填充，获得具有所述目标纹理的虚拟角色三维模型。
[0015]在本申请的一种可选实施方式中，所述从具有目标纹理的多个视角的二维图像中，确定所述虚拟角色三维模型的各个顶点的颜色信息，包括：对于任一顶点，获得具有目标纹理的各个视角的二维图像中该顶点的颜色信息，将所述具有目标纹理的各个视角的二维图像中该顶点的颜色信息的颜色信息平均值作为
所述虚拟角色三维模型中该顶点的颜色信息。
[0016]在本申请的一种可选实施方式中，所述根据所述各个顶点的颜色信息，对所述虚拟角色三维模型进行颜色填充，获得具有所述目标纹理的虚拟角色三维模型，包括：确定所述虚拟角色三维模型处于第一姿态时，各个顶点的顶点朝向；对于任一顶点，判断该顶点的顶点朝向是否在预设的视角范围内；如果该顶点的顶点朝向在预设的视角范围内，则将该顶点的颜色信息填充至该顶点；通过不断调整所述虚拟角色三维模型的姿态，对各个姿态下的虚拟角色三维模型顶点进行颜色填充，直至完成所述虚拟角色三维模型所有顶点的顶点颜色填充。
[0017]根据本申请实施例的第二方面，提供了一种虚拟角色模型处理装置，包括：获取单元，用于获取具有目标纹理的参考图像，以及虚拟角色三维模型的二维图像；编码单元，用于对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码；以及，对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码；解码单元，用于对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，并根据解码结果获得具有所述目标纹理的虚拟角色三维模型。
[0018]根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于通过运行所述存储器中的指令，执行上述虚拟角色模型处理方法。
[0019]根据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器运行时，执行上述虚拟角色模型处理方法。
[0020]与现有技术相比，本申请具有以下优点：本申请提供一种虚拟角色模型处理方法、装置、电子设备及存储介质，所述虚拟角本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种虚拟角色模型处理方法，其特征在于，包括：获取具有目标纹理的参考图像，以及虚拟角色三维模型的二维图像；对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码；以及，对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码；对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，并根据解码结果获得具有所述目标纹理的虚拟角色三维模型。2.根据权利要求1所述的方法，其特征在于，所述对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码，包括：将所述参考图像输入预先训练的纹理特征编码器，以使所述纹理特征编码器对所述参考图像进行纹理特征编码，获得所述参考图像的目标纹理特征编码。3.根据权利要求2所述的方法，其特征在于，所述纹理特征编码器通过以下方式训练得到：将第一样本图像输入预设的包括纹理特征编码器和结构特征编码器的变分自编码器，以使所述变分自编码器的纹理特征编码器和结构特征编码器对所述第一样本图像进行纹理特征编码和结构特征编码，并通过所述变分自编码器的解码器对纹理特征编码结果和结构特征编码结果进行图像还原，获得还原后的样本图像；基于所述第一样本图像的纹理特征和所述还原后的样本图像的纹理特征，构建纹理感知损失函数；基于所述纹理感知损失函数，对所述纹理特征编码器进行训练。4.根据权利要求1所述的方法，其特征在于，所述对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码，包括：将所述二维图像输入预先训练的结构特征编码器，以使所述结构特征编码器对所述二维图像进行结构特征编码，获得所述二维图像的目标结构特征编码。5.根据权利要求4所述的方法，其特征在于，所述结构特征编码器通过以下方式训练得到：将第二样本图像输入预设的包括纹理特征编码器和结构特征编码器的变分自编码器，以使所述变分自编码器的纹理特征编码器和结构特征编码器对所述第二样本图像进行纹理特征编码和结构特征编码，并通过所述变分自编码器的解码器对纹理特征编码结果和结构特征编码结果进行图像还原，获得还原后的样本图像；基于所述第二样本图像的结构特征和所述还原后的样本图像的结构特征，构建结构差异损失函数；基于所述差异损失函数，对所述结构特征编码器进行训练。6.根据权利要求1所述的方法，其特征在于，所述对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，并根据解码结果获得具有所述目标纹理的虚拟角色三维模型，包括：对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，获得具有目标纹理的二维图像；对所述具有目标纹理的二维图像进行三维重建，获得具有所述目标纹理的虚拟角色三维模型。
7.根据权利要求6所述的方法，其特征在于，所述对所述目标纹理特征编码和所述目标结构特征编码进行联合解码，获得具有目标纹理的二维图像，包括：将所述目标纹理特征编码和所述目标结构特征编码进行融合处理，获得融合特征编码；将所述融合...
【专利技术属性】
技术研发人员：杨硕，何山，殷兵，刘聪，周良，胡金水，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。