一种注意力机制人体图像关键点姿态估计方法及系统技术方案

一种注意力机制人体图像关键点姿态估计方法及系统，属于图像处理技术领域，生成质量能满足要求，且生成质量稳定，方法为，将人体图像输入到神经网络结构中，进行非线性处理，得到生成的人体骨架关键点姿态图像，将生成的人体骨架关键点姿态图像与真实标注的人体固件关键点图像作为损失函数的输入，并计算所述损失函数的值，求所述损失函数的值的梯度，并将求得的梯度反向传播并更新网络权重的参数，多次迭代直到该损失函数不变为止。

【技术实现步骤摘要】
一种注意力机制人体图像关键点姿态估计方法及系统
本专利技术属于图像处理
，特别是涉及一种注意力机制人体图像关键点姿态估计方法及系统。
技术介绍
这里的陈述仅提供与本专利技术相关的
技术介绍
，而不必然地构成现有技术。人体图像关键点姿态估计，是指从一张含有人体的图像中对人体骨架上的关键点进行建模估计，人体关键点一般定义为：踝关节，左膝关节，左臀部，右臀部，左膝关节，左踝关节，右踝关节，上颈部，头顶，右手腕，左肘，左肩，右肩，右肘，左手腕，最后通过训练好的姿态估计模型，对输入图像进行姿态估计，输出为含有人体骨架关键点的图像。由于人体具有相当柔性，会出现各种姿态和形状，人体任何一个部位的微小变化都会产生一种新的姿态，同时其关键点的可见性受穿着、姿态、视角等影响非常大，而且还面临着遮挡、光照、雾等环境的影响，除此之外，2D人体关键点和3D人体关键点在视觉上会有明显的差异，身体不同部位都会有视觉上缩短的效果(foreshortening)，使得人体骨骼关键点检测成为计算机视觉领域中一个极具挑战性的问题。现有解决人体图像关键点姿态估计的人体骨骼关键点检测算法基本上是在几何先验的基础上基于模版匹配的思路来进行，核心就在于如何去用模版表示整个人体结构，包括关键点的表示，肢体结构的表示以及不同肢体结构之间的关系的表示。一个好的模版匹配的思路，可模拟更多的姿态范围，以至于能够更好的匹配并检测出对应的人体姿态。也有人提出了基于深度学习的方法，比如G-RMI,PAF,RMPE,MaskR-CNN。普遍使用卷积神经网络来构建人体关键点姿态估计网络结构，现在通过行人检测网络识别出人体，但是现有的检测网络通常都是基于分类网络演变而来运用现有的分类网络框架进行修改，并且采用在imagenet上预训练好的模型进行fine-tuning。由于技术的进一步的专利技术以及高质量高精确度的人体骨架关键点图像对用户的体验和市场的竞争都具有重要的意义。而现有的人体图像关键点姿态估计生成质量不能满足要求，且不确定性比较大。
技术实现思路
针对现有技术存在的不足，本专利技术针对使用卷积神经网络来构建人体关键点姿态估计网络结构的检测网络，提出一种注意力机制人体图像关键点姿态估计方法及系统，其生成质量能满足要求，且生成质量稳定。为了实现上述目的，本专利技术是通过如下的技术方案来实现：第一方面，本专利技术的技术方案提供了一种注意力机制人体图像关键点姿态估计方法，将人体图像输入到神经网络结构中，进行非线性处理，得到生成的人体骨架关键点姿态图像，将生成的人体骨架关键点姿态图像与真实标注的人体固件关键点图像作为损失函数的输入，并计算所述损失函数的值，求所述损失函数的值的梯度，并将求得的梯度反向传播并更新网络权重的参数，多次迭代直到该损失函数不变为止。第二方面，本专利技术的技术方案还提供了一种人体图像关键点姿态估计系统，包括数据获取模块，用于获取待处理的人体图像；预处理模块，用于根据数据获取模块获取的图像进行预处理；训练模块，用于根据所述预处理模块处理后的图像训练卷积神经网络，对图像进行卷积和激活；以及，注意力机制模块，用于池化经过的第一训练模块处理的图像，并与与原始图像进行外积操作。上述本专利技术的技术方案的有益效果如下：1、本专利技术通过提出一种专有的检测网络，针对性质解决了一般的校正网络中忽略了各个尺度特征图之间通道权重分布问题，通过采用注意力机制模块来提升检测校正；借助提出的基于注意力机制模块的深度神经网络的人体图像关键点姿态估计模型，使用残差网络作为构建模型的基础，结合了级联金字塔结构，使得模型的校正性能更好并且泛化能力更强。2、本专利技术使用全局网络和矫正网络两个网络分别定位关键点和对关键点进行修正，并采用L2损失函数，提高了生成关键点的进度和减小了不确定性，使用的以Bottleneck与注意力机制为基础的矫正网络结构可以提高不同尺度之间的校正性能。3、本专利技术全局网络通过使用残差网络ResNet101结构作为骨干网络，提高了模型容量和加快训练速度。附图说明构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。图1a是本专利技术一个或多个实施例中输入的人体图像，图1b是本专利技术一个或多个实施例中采用注意力机制模块校正后输出图像，图1c是本专利技术一个或多个实施例中不采用注意力机制模块校正后输出图像，图2是本专利技术一个或多个实施例中专有的一中检测网络方法结构框图，图3是本专利技术一个或多个实施例中设计的2种不同类型的bottleneck结构图，图4是本专利技术一个或多个实施例中p4，p5，p6之间的运算连接方式，图5是本专利技术一个或多个实施例中ResNet50网络的处理过程图，图6是本专利技术一个或多个实施例中全局网络结构图，图7是本专利技术一个或多个实施例中检测网络、全局网络中加和操作的局部示意图，图8是本专利技术一个或多个实施例中整体网络结构图，图9是本专利技术一个或多个实施例中Bottleneck结构图，图10是本专利技术一个或多个实施例中加入矫正网络后的整体结构图，图11是本专利技术一个或多个实施例中空洞卷积的卷积示意图，图12是本专利技术一个或多个实施例中注意力机制模块示意图。具体实施方式应该指出，以下详细说明都是例示性的，旨在对本专利技术提供进一步的说明。除非另有指明，本专利技术使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非本专利技术另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。名词解释：stage：在神经网络中，通常由多个结构前后连接，层內调整组成，根据功能不同，称这些的前后连接的结构处于不同的阶段(stage)。DetectionNet：检测网络。Resnet50：Resnet是残差网络(ResidualNetwork)的缩写,该系列网络广泛用于目标分类等领域以及作为计算机视觉任务主干经典神经网络的一部分，典型的网络有resnet50,resnet101等。正如
技术介绍
所介绍的，针对现有技术存在的不足，本专利技术针对使用卷积神经网络来构建人体关键点姿态估计网络结构的检测网络，提出一种注意力机制人体图像关键点姿态估计方法，其生成质量能满足要求，且生成质量稳定。实施例1本专利技术的一种典型的实施方式中，如图1所示，实施例1公开了一种注意力机制人体图像关键点姿态估计方法，包括以下步骤：步骤S1，先对图像训练集数据做特定数据增强，首先我们定义可以应用于图像的所有可能的数据增强，如下表(参数均对应于Te本文档来自技高网...

【技术保护点】
1.一种注意力机制人体图像关键点姿态估计方法，其特征在于，将人体图像输入到神经网络结构中，进行非线性处理，得到生成的人体骨架关键点姿态图像，将生成的人体骨架关键点姿态图像与真实标注的人体固件关键点图像作为损失函数的输入，并计算所述损失函数的值，求所述损失函数的值的梯度，并将求得的梯度反向传播并更新网络权重的参数，多次迭代直到该损失函数不变为止。/n

【技术特征摘要】
1.一种注意力机制人体图像关键点姿态估计方法，其特征在于，将人体图像输入到神经网络结构中，进行非线性处理，得到生成的人体骨架关键点姿态图像，将生成的人体骨架关键点姿态图像与真实标注的人体固件关键点图像作为损失函数的输入，并计算所述损失函数的值，求所述损失函数的值的梯度，并将求得的梯度反向传播并更新网络权重的参数，多次迭代直到该损失函数不变为止。


2.如权利要求1所述的一种注意力机制人体图像关键点姿态估计方法，其特征在于，在将人体图像输入到网络结构中之前，还包括以下步骤：
将图像数据库中的图像数据预处理：
通过训练得到能够对人体图像进行姿态估计以得到人体固件关键点图像的深度神经网络模型：
使用训练好的深度神经网络模型，对测试数据集中的包含人体的图像进行姿态估计处理。


3.如权利要求2所述的一种注意力机制人体图像关键点姿态估计方法，其特征在于，将图像数据库中的图像数据预处理时，将原始图像送入已经训练好的基于空洞卷积的特征金字塔网络的检测网络检测，输出用边界框标记的人体图像并裁剪。


4.如权利要求3所述的一种注意力机制人体图像关键点姿态估计方法，其特征在于，所述特征金字塔网络采用特定数据增强的方法处理图片，并且对特征金字塔网络的后两个阶段进行修改以特定针对于目标检测，并将检测后的人体图像进行裁剪后进行输入。


5.如权利要求1所述的一种注意力机制人体图像关键点姿态估计方法，其特征在于，构建神经网络模型时，包括以下步骤：
通过全局网络对输入的人体图像处理，得到不同尺寸的特征图输出；
将每一层特征图进行自底向上做采样后进行加和后，进行预测操作，用与GroudTruth进行L2损失函数计算以进行损失约束；通过预测操作进行预定卷积步骤处理后，生成不同关键点的热力图，从而得到初始人体关键点；
通过设计的注意力机制模块，分别进行上采样，通过卷积进行热力图生成，修正初始的人体关键点，得到最终的人体关键点...

【专利技术属性】
技术研发人员：赫然，黄怀波，侯峦轩，马鑫，单彩峰，
申请(专利权)人：中科人工智能创新技术研究院青岛有限公司，
类型：发明
国别省市：山东;37