【技术实现步骤摘要】
动作图像生成方法、模型构建方法、设备及存储介质
[0001]本申请涉及图像处理
，尤其涉及一种动作图像生成方法、模型构建方法、计算机设备及存储介质。
技术介绍
[0002]目前动作生成方案一般采用基于人体关键点或者姿态估计方式实现人体动作生成，但是这种方案很难生成具有高清细节的动作图像，比如包含的人脸信息较少。此外，不同人体的形态不同，比如不同高矮和胖瘦，基于人体关键点或者姿态估计同样无法体现这些细节。
技术实现思路
[0003]本申请提供了一种动作生成模型的构建方法、动作图像生成方法、设备及存储介质，可以生成包括更多细节的动作图像。
[0004]第一方面，本申请提供了一种动作生成模型的构建方法，所述方法包括：
[0005]获取目标人物的训练集，所述训练集包括第一图像集和第二图像集，所述第一图像集和第二图像集包括关于所述目标人物动作的序列图像；
[0006]根据所述第一图像集的序列图像进行三维重建，得到多个第一3D模型；
[0007]获取所述目标人物的纹理图，根据所述纹理图对所述多个第一3D模型进行贴图，得到多个纹理贴图；
[0008]对所述多个第一3D模型进行投影，得到多个2D投影图像；
[0009]根据所述第二图像集的序列图像、所述2D投影图像和所述纹理贴图，构建动作生成模型。
[0010]第二方面，本申请还提供了一种动作图像生成方法，所述方法包括：
[0011]获取用户的多个图像，根据所述多个图像确定所述用户的纹理图；>[0012]根据所述多个图像进行三维重建，得到所述用户的3D模型；
[0013]根据所述纹理图对所述3D模型进行贴图，得到纹理贴图；
[0014]根据所述多个图像和所述纹理贴图，生成所述用户的动作图像。
[0015]第三方面，本申请还提供了一种计算机设备，所述计算机设备包括：
[0016]存储器和处理器；
[0017]其中，所述存储器与所述处理器连接，用于存储程序；
[0018]所述处理器用于通过运行所述存储器中存储的程序，实现如本申请实施例提供的任一项所述的动作生成模型的构建方法的步骤，或者实现如本申请实施例提供的任一项所述的动作图像生成方法的步骤。
[0019]第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如本申请实施例提供的任一项所述的动作生成模型的构建方法的步骤，或者实现如本申请实施例提供的任一
项所述的动作图像生成方法的步骤。
[0020]本申请公开的动作生成模型的构建方法、动作图像生成方法、设备及存储介质，通过改变网络模型的输入条件，可以生成更为真实的动作图像，即生成的动作图像包括更多细节，比如包含更多的人脸信息、人体形态以及衣着等细节，进而可以提高用户的体验度。
[0021]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0022]为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是本申请的实施例提供的一种动作生成模型的构建方法的步骤示意流程图；
[0024]图2是本申请的实施例提供的一种纹理图的效果示意图；
[0025]图3是本申请的实施例提供的一种动作生成模型的示意性框图；
[0026]图4是本申请的实施例提供的一种第一分支网络模型的示意图；
[0027]图5是本申请的实施例提供的一种第一分支网络模型的示意图；
[0028]图6是本申请的实施例提供的一种第二分支网络模型的示意图；
[0029]图7是本申请的实施例提供的一种主干网络模型的示意图；
[0030]图8是本申请的实施例提供的一种动作生成模型的对应构建场景的示意图；
[0031]图9是本申请的实施例提供的一种动作图像生成方法的步骤示意图；
[0032]图10是本申请的实施例提供的一种计算机设备的示意框图。
[0033]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
具体实施方式
[0034]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0035]附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0036]应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0037]应当理解，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一图像集和第二图像集仅仅是为了区分不同的图像集，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、
“
第二”等字样也并不限定一定不同。
[0038]还应当进理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0039]为便于理解本申请实施例，下面对本申请实施例中涉及到的一些词汇作简单说明。
[0040]1、动作生成：是指根据静态的人物图像生成该人物的一系列的动作，比如给定一张静态人物图像，根据一连串的骨骼关节运动序列(也可以称为动作驱动源)，利用训练好的深度学习模型自动生成一个运动视频，让人物按照所给出的运动模式动起来，如跳舞、运动等。
[0041]2、纹理贴图：在计算机图形学中，纹理贴图是使用图像、函数或其他数据源来改变物体表面外观的技术。纹理(Texturing)是一种针对物体表面属性进行“建模”的高效技术，图像纹理中的像素通常被称为纹素(Texels)，通过将投影方程(Projector Function)运用于空间中的点，从而得到一组称为参数空间值(Parameter Spacevalues)，该参数空间值为关于纹理的数值，再使用一个或者多个映射函数(Corresponder Function)将参数空间值(parameter
...
【技术保护点】
【技术特征摘要】
1.一种动作生成模型的构建方法，其特征在于，所述方法包括：获取目标人物的第一图像集和第二图像集，所述第一图像集和第二图像集包括关于所述目标人物动作的序列图像；根据所述第一图像集的序列图像进行三维重建，得到多个第一3D模型；获取所述目标人物的纹理图，根据所述纹理图对所述多个第一3D模型进行贴图，得到多个纹理贴图；对所述多个第一3D模型进行投影，得到多个2D投影图像；根据所述第二图像集的序列图像、所述2D投影图像和所述纹理贴图，构建动作生成模型。2.根据权利要求1所述的方法，其特征在于，所述动作生成模型包括主干网络模型、第一分支网络模型和第二分支网络模型；其中，所述第一分支网络模型用于将所述第二图像集的序列图像与所述第一图像集的序列图像的对齐特征融合在所述主干网络模型，所述第二分支网络模型用于将纹理贴图对应的纹理特征融合在所述主干网络模型，所述主干网络模型用于根据所述2D投影图像、对齐特征和纹理特征生成动作图像。3.根据权利要求2所述的方法，其特征在于，所述主干网络模型包括生成式对抗网络，所述第一分支网络模型和第二分支网络模型包括Encoder
‑
Decoder网络。4.根据权利要求2所述的方法，其特征在于，所述多个2D投影图像构成图像序列；所述方法包括：获取当前2D投影图像在所述图像序列中的前帧2D投影图像，其中，所述当前2D投影图像为当前时刻需要输入至所述主干网络模型的2D投影图像，所述前帧2D投影图像为已输入至所述主干网络模型的2D投影图像，所述前帧2D投影图像与所述当前2D投影图像是连续的；获取所述前帧2D投影图像对应的渲染图像，其中，所述渲染图像为所述前帧2D投影图像输入至所述主干网络模型得到的输出图像；将所述当前2D投影图像、前帧2D投影图像和所述渲染图像输入至所述主干网络模型，得到动作图像。5.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据所述第二图像集的序列图像进行三维重建，得到多个第一3D模型；基于所述第二图像集和所述第一图像集对应的所述第一3D模型，利用质心坐标计算所述第二图像集的序列图像和所述第一图像集的序列图像之间像素的流映射关系；其中，所述流映射关系用于确定所述第二图像集的序列图像与所述第一图像集的序列图像的对齐特征。6.根据权利要求5所述的方法，其特征在于，所述方法包括：根据所述流映射关系，确定所述第二图像集的序列图像对应的仿射变换图；将所述第二图像集的序列图像以及对应的仿射变换图，输入至所述第一分支网络模型，重建所述第二图像集的序列图像；利用所述流映射关系将所述第一分支网络模型的编码端的特征进行对齐得到对齐特征，并将所述对齐特征融合至所述主干网络模型的解码端。
7.根据权利要求2所述的方法，其特征在于，所述方法还包括：利用所述第二分支网络模型的反向传递梯度至所述纹理图，以对所述纹理图进行更新；以及根据更新后的所述纹理图对所述多个第一3D模型进行贴图，得到纹理贴图。8.根据权利要求2所述的方法，其特征...
【专利技术属性】
技术研发人员：吴小燕，何山，殷兵，胡金水，潘清华，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。