人物合成图像生成方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及智能决策领域，尤其涉及一种人物合成图像生成方法、装置、计算机设备及存储介质。其方法包括：对源图像进行特征提取，得到人体特征；对源图像进行姿态识别，得到源姿势图像；对姿态图像进行姿态识别，得到目标姿势图像；对目标姿势图像进行姿势特征编码，得到目标姿势特征；将源姿势图像、源图像和目标姿势图像进行拼接并映射至特征空间，得到部位姿势综合特征；通过基于注意力机制的图像合成模型，对人体特征、目标姿势特征和部位姿势综合特征进行特征分析，并输出人物合成图像。本发明专利技术可多个图像合成任务同时实现，满足用户的需求。同时，运用了注意力机制，使获得的人物合成图像更加趋于真实，细节更加清晰，提高了图像质量。质量。质量。

【技术实现步骤摘要】
人物合成图像生成方法、装置、计算机设备及存储介质


[0001]本专利技术涉及智能决策领域，尤其涉及一种人物合成图像生成方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着多媒体技术的快速发展，元宇宙概念孕育而生，针对元宇宙概念，生成的虚拟人物形象尽可能真实，才能使用户沉浸其中，让用户有真实的体验感。其中，虚拟人物形象基于对人物图像进行合成得到。因此，人物合成图像方向的研究越来越受到重视。一般地，人物合成图像基于图像合成任务得到，根据不同的图像合成任务，得到对应的人物合成图像。由于在进行图像合成时，需要占用大量计算资源，现有的人物合成图像技术，通常只能实现一项图像合成任务；若同时执行多项图像合成任务，则需要降低合成质量。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种人物合成图像生成方法、装置、计算机设备及存储介质，以解决现有图像合成的人物图像效果单一，且质量不高的问题。
[0004]一种人物合成图像生成方法，包括：获取源图像和姿态图像；通过人体解析模型对所述源图像中的若干人体部位进行特征提取，得到若干部位特征；并将所述若干部位特征进行特征拼接，得到人体特征；通过人体姿态识别模型对所述源图像进行姿态识别，得到所述源图像的源姿势图像；通过人体姿态识别模型对所述姿态图像进行姿态识别，得到所述姿态图像的目标姿势图像；对所述目标姿势图像进行姿势特征编码，得到目标姿势特征；将所述源姿势图像、所述源图像和所述目标姿势图像进行拼接，得到人体姿势拼接图像；将所述人体姿势拼接图像映射至特征空间，得到部位姿势综合特征；通过基于注意力机制的图像合成模型，对所述人体特征、所述目标姿势特征和所述部位姿势综合特征进行特征分析，并输出人物合成图像，所述人物合成图像融合所述人体特征和所述目标姿势特征。
[0005]一种人物合成图像生成装置，包括：图像获取模块，用于获取源图像和姿态图像；人体特征模块，用于通过人体解析模型对所述源图像中的若干人体部位进行特征提取，得到若干部位特征；并将所述若干部位特征进行特征拼接，得到人体特征；姿态识别模块，用于通过人体姿态识别模型对所述源图像进行姿态识别，得到所述源图像的源姿势图像；通过人体姿态识别模型对所述姿态图像进行姿态识别，得到所述姿态图像的目标姿势图像；姿势特征模块，用于对所述目标姿势图像进行姿势特征编码，得到目标姿势特征；
综合特征模块，用于将所述源姿势图像、所述源图像和所述目标姿势图像进行拼接，得到人体姿势拼接图像；将所述人体姿势拼接图像映射至特征空间，得到部位姿势综合特征；人物合成图像模块，用于通过基于注意力机制的图像合成模型，对所述人体特征、所述目标姿势特征和所述部位姿势综合特征进行特征分析，并输出人物合成图像，所述人物合成图像融合所述人体特征和所述目标姿势特征。
[0006]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述人物合成图像生成方法。
[0007]一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如上述人物合成图像生成方法。
[0008]上述人物合成图像生成方法、装置、计算机设备及存储介质，获取源图像和姿态图像；通过人体解析模型对所述源图像中的若干人体部位进行特征提取，得到若干部位特征；并将所述若干部位特征进行特征拼接，得到人体特征；通过人体姿态识别模型对所述源图像进行姿态识别，得到所述源图像的源姿势图像；通过人体姿态识别模型对所述姿态图像进行姿态识别，得到所述姿态图像的目标姿势图像；对所述目标姿势图像进行姿势特征编码，得到目标姿势特征；将所述源姿势图像、所述源图像和所述目标姿势图像进行拼接，得到人体姿势拼接图像；将所述人体姿势拼接图像映射至特征空间，得到部位姿势综合特征；通过基于注意力机制的图像合成模型，对所述人体特征、所述目标姿势特征和所述部位姿势综合特征进行特征分析，并输出人物合成图像，所述人物合成图像融合所述人体特征和所述目标姿势特征。本专利技术通过对包含人物的源图片和包含目标姿势的姿态图片进行处理，可对姿态图片中的目标姿势进行迁移，并基于目标姿势，预测出源图像中人物处于目标姿势时若干人体部位的状态，从而得到人物合成图像。可多个图像合成任务同时实现，具有更高的灵活性，满足用户的需求。同时，图像合成模型运用了注意力机制，重点关注了目标姿势和人体特征，使获得的人物合成图像更加趋于真实，细节更加清晰，提高了图像质量。
附图说明
[0009]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0010]图1是本专利技术一实施例中人物合成图像生成方法的一应用环境示意图；图2是本专利技术一实施例中人物合成图像生成方法的一流程示意图；图3是本专利技术一实施例中人物合成图像生成装置的一结构示意图；图4是本专利技术一实施例中计算机设备的一示意图。
具体实施方式
[0011]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本发
明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0012]本实施例提供的人物合成图像生成方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
[0013]在一实施例中，如图2所示，提供一种人物合成图像生成方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：S10、获取源图像和姿态图像。
[0014]可理解的，源图像是指含有人物的图像，用于合成人物合成图像，且该人物合成图像中的人物基于源图像中的人物形象得到。一般的，人物形象是指通过人物的头发、五官、手、脚等身体部位以及人物的衣服、首饰等穿着构成的形象。姿态图像是指含有人物且该人物处于目标动作的状态的图像，用于合成人物合成图像，且该人物合成图像中人物动作的状态为姿态图像中目标动作的状态。其中，人物动作包括人物头部、手和脚的动作以及身体的弯曲程度、朝向等。
[0015]S20、通过人体解析模型对所述源图像中的若干人体部位进行特征提取，得到若干部位特征；并将所述若干部位特征进行特征拼接，得到人体特征。
[0016]可理解的，人体解析模型通过对大量的人体像素级掩模图像进行监督学习得到，为训练完成的全卷积神经网络。该人体解析模型用于对图像中的人物进行人体解析。像素级掩模是指人体解析是一项精细的语义分割任务，其目的在于将图像中人体的每一个像素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人物合成图像生成方法，其特征在于，包括：获取源图像和姿态图像；通过人体解析模型对所述源图像中的若干人体部位进行特征提取，得到若干部位特征；并将所述若干部位特征进行特征拼接，得到人体特征；通过人体姿态识别模型对所述源图像进行姿态识别，得到所述源图像的源姿势图像；通过人体姿态识别模型对所述姿态图像进行姿态识别，得到所述姿态图像的目标姿势图像；对所述目标姿势图像进行姿势特征编码，得到目标姿势特征；将所述源姿势图像、所述源图像和所述目标姿势图像进行拼接，得到人体姿势拼接图像；将所述人体姿势拼接图像映射至特征空间，得到部位姿势综合特征；通过基于注意力机制的图像合成模型，对所述人体特征、所述目标姿势特征和所述部位姿势综合特征进行特征分析，并输出人物合成图像，所述人物合成图像融合所述人体特征和所述目标姿势特征。2.如权利要求1所述的人物合成图像生成方法，其特征在于，所述通过人体解析模型对所述源图像中的若干人体部位进行特征提取，得到若干部位特征，包括：通过人体解析模型对所述源图像进行语义分割，得到与所述人体部位对应的语义分割图；对所述语义分割图进行纹理特征编码，得到所述人体部位的部位特征。3.如权利要求2所述的人物合成图像生成方法，其特征在于，所述人体解析模型包括语义分割模型；所述通过人体解析模型对所述源图像进行语义分割，得到与所述人体部位对应的语义分割图，包括：通过所述语义分割模型对所述源图像进行语义识别，得到语义识别图；基于掩码技术，对所述语义识别图中的所述人体部位进行分割，得到语义分割图。4.如权利要求1所述的人物合成图像生成方法，其特征在于，所述通过基于注意力机制的图像合成模型，对所述人体特征、所述目标姿势特征和所述部位姿势综合特征进行特征分析，并输出人物合成图像，所述人物合成图像融合所述人体特征和所述目标姿势特征，包括：将所述人体特征、所述目标姿势特征和所述部位姿势综合特征输入基于注意力机制的图像合成模型；通过所述注意力机制对所述人体特征、所述目标姿势特征和所述部位姿势综合特征进行特征融合，得到人物全局特征；根据所述人物全局特征，生成人物合成图像。5.如权利要求1所述的人物合成图像生成方法，其特征在于，所述通过人体姿态识别模型对所述源图像进行姿态识别，得到所述源图像的源姿势图像，包括：将所述源图像输入所述人体姿态识别模...

【专利技术属性】
技术研发人员：司世景，王健宗，吴建汉，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：