关节点检测方法、姿态识别方法及装置制造方法及图纸

本发明专利技术提供了一种关节点检测方法、姿态识别方法及装置，该方法包括：获取待检测的人物图像；通过多阶段密集连接残差神经网络对人物图像进行关节点检测，得到人物图像中所包含的所有关节点的关节热力图；其中，多阶段密集连接残差神经网络包括多个单阶段密集连接残差神经网络；单阶段密集连接残差神经网络包括多个密集连接残差单元；基于关节热力图确定人物图像中的关节点。本发明专利技术可以有效提高关节点检测的准确性。

【技术实现步骤摘要】
关节点检测方法、姿态识别方法及装置
本专利技术涉及图像处理
，尤其是涉及一种关节点检测方法、姿态识别方法及装置。
技术介绍
人体姿态估计技术是计算机视觉领域的重要分支，该项技术可以通过定位人体的各个关节点以确定人体的姿态。近年来随着神经网络的发展人体姿态估计技术的研究也逐步取得了长足的进展，其中，为了较好地对人体关节点进行定位与分类，现有技术中提出利用诸如多尺度特征等算法对人体关节点进行检测，以适应不同尺寸的人体关节点。然而由于估计关节点检测的场景可能较为复杂，例如存在人体被遮挡、人体分布密集以及背景繁杂等问题，将影响人体关节点的定位的准确性，从而导致人体关节点的误检或漏检，也即现有的关节点检测方法存在检测结果准确性较低的问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种关节点检测方法、姿态识别方法及装置，可以有效提高关节点检测的准确性。为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种关节点检测方法，包括：获取待检测的人物图像；通过多阶段密集连接残差神经网络对所述人物图像进行关节点检测，得到所述人物图像中所包含的所有关节点的关节热力图；其中，所述多阶段密集连接残差神经网络包括多个单阶段密集连接残差神经网络；所述单阶段密集连接残差神经网络包括多个密集连接残差单元；基于所述关节热力图确定所述人物图像中的关节点。在一种实施方式中，所述获取待检测的人物图像的步骤，包括：获取待检测的原始图像；将所述原始图像输入至目标检测网络，得到标注有人物包围框的原始图像；截取所述人物包围框所在区域，得到待检测的人物图像。在一种实施方式中，所述多阶段密集连接残差神经网络包括多个阶段的网络结构，每个阶段的网络结构均包括单阶段密集连接残差神经网络、上采样网络和热力图网络；所述通过多阶段密集连接残差神经网络对所述人物图像进行关节点检测，得到所述人物图像中所包含的所有关节点的关节热力图的步骤，包括：对于每个阶段的网络结构，通过该阶段内的单阶段密集连接残差神经网络对该阶段对应的指定图像进行下采样处理，得到该阶段的下采样特征图；通过该阶段内的上采样网络对该阶段的下采样特征图进行上采样处理，得到该阶段的人物特征图；通过该阶段内的热力图网络基于该阶段的人物特征图生成当前热力图；其中，第一阶段的网络结构对应的指定图像为所述人物图像，其余阶段的网络结构对应的指定图像为上一阶段得到的人物特征图；将最后一阶段的网络结构生成的当前热力图，作为所述人物图像中所包含的所有关节点的关节热力图。在一种实施方式中，所述密集连接残差单元包括预设分支数量的卷积分支；各个所述卷积分支中包含的卷积核数量不同；所述通过该阶段内的单阶段密集连接残差神经网络对该阶段对应的指定图像进行下采样处理的步骤，包括：对于每个密集连接残差单元，通过矩阵形式表征该阶段对应的指定图像，并按照特征通道将所述指定图像均匀拆分为多个矩阵；其中，所述特征通道与人物对象的关节点一一对应；所述矩阵的数量为所述预设分支数量；将各个所述矩阵分别输入至该密集连接残差单元的各个卷积分支，并按照所述特征通道合并各个所述卷积分支输出的特征，以实现对所述指定图像进行下采样处理。在一种实施方式中，所述将各个所述矩阵分别输入至该密集连接残差单元的各个卷积分支的步骤，包括：对于每个卷积分支，将该卷积分支内的第n-1个卷积核输出的特征，与该卷积分支对应的前一卷积分支内的第n个卷积核输出的特征进行特征融合，并将所述特征融合后的特征输入至该卷积分支内的第n个卷积核；其中，n为大于1的自然数；或，将该卷积分支内的第n-1个卷积核输出的特征，输入至该卷积分支的第n个卷积核。在一种实施方式中，所述方法还包括：基于各个阶段的网络结构生成的当前热力图计算平方损失值，用以训练所述多阶段密集连接残差神经网络。在一种实施方式中，所述方法还包括：通过姿态改善网络优化所述多阶段密集连接残差神经网络的最后一阶段输出的人物特征图，得到目标特征图；基于所述目标特征图生成所述人物图像中所包含的所有关节点的关节热力图。在一种实施方式中，所述姿态改善网络包括第一卷积层、顶层子网络、中间子网络、底层子网络和第二卷积层；其中，第一卷积层的输出分别与所述顶层子网络、所述中间子网络和所述底层子网络的输入相连，所述第二卷积层的输入分别与所述顶层子网络、所述中间子网络和所述底层子网络的输出相连；所述中间子网络包括依次相连的全局池化层、第三卷积层、第四卷积层和第一激活函数；所述底层子网络包括依次连接的第五卷积层、深度可分离卷积层和第二激活函数。在一种实施方式中，所述通过姿态改善网络优化所述多阶段密集连接残差神经网络的最后一阶段输出的人物特征图，得到目标特征图的步骤，包括：将所述多阶段密集连接残差神经网络的最后一阶段输出的人物特征图输入至所述第一卷积层，得到所述第一卷积层输出的第一特征图；通过所述中间子网络计算所述第一特征图中各个特征通道对应的权重，基于所述第一特征图和各个所述特征通道对应的权重计算第二特征图；通过所述底层子网络基于注意力机制确定所述第一特征图对应的注意力特征图；对所述第二特征图和所述注意力特征图进行按位相乘处理，得到第三特征图；通过所述顶层子网络对所述第一特征图和所述第三特征图进行按位相加处理，得到目标特征图；所述基于所述目标特征图生成所述人物图像中所包含的所有关节点的关节热力图的步骤，包括：将所述目标特征图输入至所述第二卷积层，得到所述人物图像中所包含的所有关节点的关节热力图。在一种实施方式中，所述基于所述关节热力图确定所述人物图像中的关节点的步骤，包括：利用高斯模糊算法对所述关节热力图中各个像素点的像素值进行统计处理；对于所述关节热力图与每个特征通道对应的区域，将该区域中像素值最大的像素点作为该区域对应的特征通道的目标像素点；将各个所述特征通道的目标像素点对应的坐标值映射至所述人物图像，得到所述人物图像中的关节点。第二方面，本专利技术实施例还提供一种姿态识别方法，包括：采用如第一方面提供的任一项所述的方法对待检测的人物图像进行关节点检测，得到所述人物图像中所包含的人物对象的多个关节点；根据所述人物对象的多个关节点识别所述人物对象的姿态。第三方面，本专利技术实施例提供了一种关节点检测装置，包括：人物图像获取模块，用于获取待检测的人物图像；热力图获取模块，用于通过多阶段密集连接残差神经网络对所述人物图像进行关节点检测，得到所述人物图像中所包含的所有关节点的关节热力图；其中，所述多阶段密集连接残差神经网络包括多个单阶段密集连接残差神经网络；所述单阶段密集连接残差神经网络包括多个密集连接残差单元；关节点确定模块，用于基于所述关节热力图确定所述人物图像中的关节点。第四方面，本专利技术实施例提供了一种姿态识别装置，包括：关节检测模块，用于采用如第一方面提供的任一项所述的方法对待检测的人物图像进行关节点检测，得到所述人物图像中人物对象的多个关节点；姿态识别模块，用于根据所述人物对象的多个关节点识别所述人物对象的姿态。第五方面，本专利技术实施例提供了一种本文档来自技高网...

【技术保护点】
1.一种关节点检测方法，其特征在于，包括：/n获取待检测的人物图像；/n通过多阶段密集连接残差神经网络对所述人物图像进行关节点检测，得到所述人物图像中所包含的所有关节点的关节热力图；其中，所述多阶段密集连接残差神经网络包括多个单阶段密集连接残差神经网络；所述单阶段密集连接残差神经网络包括多个密集连接残差单元；/n基于所述关节热力图确定所述人物图像中的关节点。/n

【技术特征摘要】
1.一种关节点检测方法，其特征在于，包括：
获取待检测的人物图像；
通过多阶段密集连接残差神经网络对所述人物图像进行关节点检测，得到所述人物图像中所包含的所有关节点的关节热力图；其中，所述多阶段密集连接残差神经网络包括多个单阶段密集连接残差神经网络；所述单阶段密集连接残差神经网络包括多个密集连接残差单元；
基于所述关节热力图确定所述人物图像中的关节点。


2.根据权利要求1所述的方法，其特征在于，所述获取待检测的人物图像的步骤，包括：
获取待检测的原始图像；
将所述原始图像输入至目标检测网络，得到标注有人物包围框的原始图像；
截取所述人物包围框所在区域，得到待检测的人物图像。


3.根据权利要求1所述的方法，其特征在于，所述多阶段密集连接残差神经网络包括多个阶段的网络结构，每个阶段的网络结构均包括单阶段密集连接残差神经网络、上采样网络和热力图网络；
所述通过多阶段密集连接残差神经网络对所述人物图像进行关节点检测，得到所述人物图像中所包含的所有关节点的关节热力图的步骤，包括：
对于每个阶段的网络结构，通过该阶段内的单阶段密集连接残差神经网络对该阶段对应的指定图像进行下采样处理，得到该阶段的下采样特征图；通过该阶段内的上采样网络对该阶段的下采样特征图进行上采样处理，得到该阶段的人物特征图；通过该阶段内的热力图网络基于该阶段的人物特征图生成当前热力图；其中，第一阶段的网络结构对应的指定图像为所述人物图像，其余阶段的网络结构对应的指定图像为上一阶段得到的人物特征图；
将最后一阶段的网络结构生成的当前热力图，作为所述人物图像中所包含的所有关节点的关节热力图。


4.根据权利要求3所述的方法，其特征在于，所述密集连接残差单元包括预设分支数量的卷积分支；各个所述卷积分支中包含的卷积核数量不同；
所述通过该阶段内的单阶段密集连接残差神经网络对该阶段对应的指定图像进行下采样处理的步骤，包括：
对于每个密集连接残差单元，通过矩阵形式表征该阶段对应的指定图像，并按照特征通道将所述指定图像均匀拆分为多个矩阵；其中，所述特征通道与人物对象的关节点一一对应；所述矩阵的数量为所述预设分支数量；
将各个所述矩阵分别输入至该密集连接残差单元的各个卷积分支，并按照所述特征通道合并各个所述卷积分支输出的特征，以实现对所述指定图像进行下采样处理。


5.根据权利要求4所述的方法，其特征在于，所述将各个所述矩阵分别输入至该密集连接残差单元的各个卷积分支的步骤，包括：
对于每个卷积分支，将该卷积分支内的第n-1个卷积核输出的特征，与该卷积分支对应的前一卷积分支内的第n个卷积核输出的特征进行特征融合，并将所述特征融合后的特征输入至该卷积分支内的第n个卷积核；其中，n为大于1的自然数；
或，将该卷积分支内的第n-1个卷积核输出的特征，输入至该卷积分支的第n个卷积核。


6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
基于各个阶段的网络结构生成的当前热力图计算平方损失值，用以训练所述多阶段密集连接残差神经网络。


7.根据权利要求3所述的方法，其特征在于，所述方法还包括：
通过姿态改善网络优化所述多阶段密集连接残差神经网络的最后一阶段输出的人物特征图，得到目标特征图；
基于所述目标特征图生成所述人物图像中所包含的所有关节点的关节热力图。


8.根据权利要求7所述的方法，其特征在于，所述姿态改善网络包括第一卷积层...

【专利技术属性】
技术研发人员：蔡元昊，王志成，周而进，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11