【技术实现步骤摘要】
本申请涉及人工智能，特别涉及一种基于人体姿态估计的人体解析方法及相关装置。
技术介绍
1、人体解析，又称为人体语义分割，是计算机视觉研究领域的一个热点方向，通过语义分割技术将以人体为中心的图像或者视频进行像素级别的分类操作。人体解析将图像中捕获的人分割成不同的细粒度语义部分，例如头、躯干、胳膊和腿等，作为更细粒度的语义分割任务，它比寻找人体轮廓的人体分割更具有挑战性。在实际生活中也有着许许多多的应用，例如，行人再识别，人体行为分析，图像编辑和虚拟现实等。
2、目前人体解析方法采用图卷积网络，对人体部位的拓扑结构关系进行建模以对人体部位进行分割。然而，该方法无法解决人体解析图中所存在的边界混淆的问题，并且图特征的推理会消耗大量计算时间。
技术实现思路
1、本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于人体姿态估计的人体解析方法及相关装置。
2、为了解决上述技术问题，本申请实施例第一方面提供了一种基于人体姿态估计的人体解析方法，所述方法包括：
3、获取待解析图像的人体关键点图；
4、将所述人体关键点图和所述待解析图像输入经过训练的人体解析模型中的人体解析模块，通过所述人体解析模块提取人体解析特征图；
5、将所述人体解析特征图输入所述人体解析模型中的像素解码器，通过所述像素解码器提取若干第一特征图；
6、基于所述若干第一特征图以及所述人体解析模型中的transformer解码器，确定所述待解析图像对应的
7、所述的基于人体姿态估计的人体解析方法，其中，所述人体关键点图中各人体关键点均携带用于反映人体关键点类型的语义信息。
8、所述的基于人体姿态估计的人体解析方法，其中，所述获取待解析图像的人体关键点图具体包括：
9、将待解析图像输入经过训练的人体关键点模型中的人体关键点模块，通过所述人体关键点模块确定人体关键点特征图；
10、将所述人体关键点特征图输入所述人体关键点模型中的像素解码器，通过所述像素解码器确定若干第二特征图；
11、基于若干第二特征图和人体关键点模型中左置信解码器、右置信解码器及身份解码器，确定左置信图、右置信图及关联特征图；
12、将所述左置信图、右置信图及关联特征图输入所述人体关键点模型中的融合模块，通过所述融合模块确定待解析图像的人体关键点图。
13、所述的基于人体姿态估计的人体解析方法，其中，所述左置信图包括第一头部置信度图、第一颈部置信度图和左边身体部位置信图，所述右置信图包括第二头部置信度图、第二颈部置信度图和右边身体部位置信图，其中，头部置信度图为第一头部置信度图和第二头部置信度图的均值图，颈部置信度图为第一颈部置信度图和第二颈部置信度图的均值图。
14、所述的基于人体姿态估计的人体解析方法，其中，所述左置信解码器、右置信解码器及身份解码器均包括transformer解码器，所述transformer解码器包括交叉注意力模块、自注意力模块和前馈网络。
15、所述的基于人体姿态估计的人体解析方法，其中，所述人体解析模块包括人体关键点支路和人体解析支路，所述人体关键点支路至少包括第一解码单元和第二解码单元，所述第一解码单元的输出项作为所述人体解析支路中的第一解码阶段中的特征提取单元的输入项和所述第二解码单元的输入项；所述第二解码单元的输出项为所述人体解析支路中的第二解码阶段中的特征提取单元的输入项。
16、所述的基于人体姿态估计的人体解析方法，其中，所述基于所述若干第一特征图以及所述人体解析模型中的transformer解码器，确定所述待解析图像对应的人体部位分割图具体包括：
17、将若干第一特征图中的部分第一特征图输入transformer解码器，通过所述transformer解码器输出特征嵌入，其中，所述部分第一特征图不包括若干第一特征图中的最大尺寸的第一特征图；
18、基于所述特征嵌入确定部位类别图；
19、基于特征嵌入与最大尺寸的第一特征图确定掩膜图像；
20、基于所述部位类别图和所述掩膜图像，确定所述待解析图像对应的人体部位分割图。
21、本申请实施例第二方面提供了一种基于人体姿态估计的人体解析装置，所述装置包括：
22、获取模块，用于获取待解析图像的人体关键点图；
23、控制模块，用于将所述人体关键点图和所述待解析图像输入经过训练的人体解析模型中的人体解析模块，通过所述人体解析模块提取人体解析特征图；将所述人体解析特征图输入所述人体解析模型中的像素解码器，通过所述像素解码器提取若干第一特征图；基于所述若干第一特征图以及所述人体解析模型中的transformer解码器，确定所述待解析图像对应的人体部位分割图。
24、本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于人体姿态估计的人体解析方法中的步骤。
25、本申请实施例第四方面提供了一种终端设备，其包括：处理器和存储器；
26、所述存储器上存储有可被所述处理器执行的计算机可读程序；
27、所述处理器执行所述计算机可读程序时实现如上任一所述的基于人体姿态估计的人体解析方法中的步骤。
28、有益效果：与现有技术相比，本申请提供了一种基于人体姿态估计的人体解析方法及相关装置，所述方法包括获取待解析图像的人体关键点图；将所述人体关键点图和所述待解析图像输入经过训练的人体解析模型中的人体解析模块，通过所述人体解析模块提取人体解析特征图；将所述人体解析特征图输入所述人体解析模型中的像素解码器，通过所述像素解码器提取若干第一特征图；基于所述若干第一特征图以及所述人体解析模型中的transformer解码器，确定所述待解析图像对应的人体部位分割图。本申请实施例将人体姿态估计与人体解析相结合，将获取到的人体关键点图作为人体解析的先验知识，使得transformer获知待解析图像中不同类型的人体关键点，提高了人体解析的准确性。
本文档来自技高网...【技术保护点】
1.一种基于人体姿态估计的人体解析方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于人体姿态估计的人体解析方法，其特征在于，所述人体关键点图中各人体关键点均携带用于反映人体关键点类型的语义信息。
3.根据权利要求1所述的基于人体姿态估计的人体解析方法，其特征在于，所述获取待解析图像的人体关键点图具体包括：
4.根据权利要求3所述的基于人体姿态估计的人体解析方法，其特征在于，所述左置信图包括第一头部置信度图、第一颈部置信度图和左边身体部位置信图，所述右置信图包括第二头部置信度图、第二颈部置信度图和右边身体部位置信图，其中，头部置信度图为第一头部置信度图和第二头部置信度图的均值图，颈部置信度图为第一颈部置信度图和第二颈部置信度图的均值图。
5.根据权利要求3所述的基于人体姿态估计的人体解析方法，其特征在于，所述左置信解码器、右置信解码器及身份解码器均包括Transformer解码器，所述Transformer解码器包括交叉注意力模块、自注意力模块和前馈网络。
6.根据权利要求1所述的基于人体姿态估计的人体解析方法
7.根据权利要求1所述的基于人体姿态估计的人体解析方法，其特征在于，所述基于所述若干第一特征图以及所述人体解析模型中的Transformer解码器，确定所述待解析图像对应的人体部位分割图具体包括：
8.一种基于人体姿态估计的人体解析装置，其特征在于，所述装置包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述的基于人体姿态估计的人体解析方法中的步骤。
10.一种终端设备，其特征在于，包括：处理器和存储器；
...【技术特征摘要】
1.一种基于人体姿态估计的人体解析方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于人体姿态估计的人体解析方法，其特征在于，所述人体关键点图中各人体关键点均携带用于反映人体关键点类型的语义信息。
3.根据权利要求1所述的基于人体姿态估计的人体解析方法，其特征在于，所述获取待解析图像的人体关键点图具体包括：
4.根据权利要求3所述的基于人体姿态估计的人体解析方法，其特征在于，所述左置信图包括第一头部置信度图、第一颈部置信度图和左边身体部位置信图，所述右置信图包括第二头部置信度图、第二颈部置信度图和右边身体部位置信图，其中，头部置信度图为第一头部置信度图和第二头部置信度图的均值图，颈部置信度图为第一颈部置信度图和第二颈部置信度图的均值图。
5.根据权利要求3所述的基于人体姿态估计的人体解析方法，其特征在于，所述左置信解码器、右置信解码器及身份解码器均包括transformer解码器，所述transformer解码器包括交叉注意力模块、自注意力模块和前馈网络。
6.根...
【专利技术属性】
技术研发人员：丁润伟，张健，刘梦源，刘宏，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。