一种基于坐标系回归的实时骨骼关键点识别方法及系统技术方案

本发明专利技术公开了一种基于坐标系回归的实时骨骼关键点识别系统，包括图像采集模块、核心计算单元、轻量级神经网络算法模块、坐标系回归输出模块，所述轻量级神经网络算法模块采用ShuffleNetV2作为基础骨干网络，在ShuffleNetV2骨干网络的最后一层添加两次连续的上采样，并对网络中ShuffleV2Block3和DUC2进行跳跃连接(skip connection)，最后获得热图(heatmap)；所述坐标系回归输出模块，对通过所述轻量级神经网络算法模块获得每一个通道输出的热图，定义为Z，通过normalized(归一化函数)将数值归一化到0至1之间，并将归一化后的热图定义为得到一个离散概率分布值，表示为m

【技术实现步骤摘要】
一种基于坐标系回归的实时骨骼关键点识别方法及系统


[0001]本专利技术涉及图像识别
，尤其涉及一种基于坐标系回归的实时骨骼关键点识别方法及系统。

技术介绍

[0002]骨骼关键点识别技术是计算机视觉的基础技术之一。该技术通过传感器(摄像头，红外线等设备)，在图像/视频数据中检测人体的关节、五官，通过关键点描述人体骨骼信息。现有基于深度学习的骨骼关键点识别的新算法大多是基于高斯热图输出的方式，存在着其要求的输出特征图很大、算法训练和推理速度慢的问题。在低成本硬件平台上难以实时运行，需要搭配高成本的硬件(如GPU或高端摄像头)才能达到实时。由于最新的基于深度学习的骨骼关键点识别算法的输出基本是高斯热图，而热图输出的值为整数，不同于坐标回归输出是浮点数，不会丢失精度，因此存在一个理论误差下界的问题。
[0003]基于上述不足，本专利技术主要面向于移动端/嵌入式设备的骨骼关键点识别，采用轻量级的深度学习算法并采用坐标系回归避免热图输出的理论误差下界问题，硬件仅需采用CPU和单目摄像头，即可完成对骨骼关键点的低成本实时识别，无需GPU或高端摄像头(如kinect)。传统的骨骼关键点算法在几何先验的基础上基于模版匹配的思路来进行，精确性较差。而现有的基于深度学习的骨骼关键点识别算法由于硬件性能的限制，在低成本硬件平台上(如移动端手机、平板)的识别速度较慢，算法联动应用会造成应用卡顿、丢帧等情况，非常影响用户体验。
[0004]当前专利技术基于一种基于坐标系回归的实时骨骼关键点识别方法，可以实现在低成本硬件平台上，完成骨骼关键点的实时识别。

技术实现思路

[0005]针对上述技术问题，具体到传统的骨骼关键点识别中，本专利技术可以实现在低成本硬件平台上，完成骨骼关键点的实时识别。
[0006]本专利技术旨在至少解决现有技术中存在的技术问题。为此，本专利技术公开了一种基于坐标系回归的实时骨骼关键点识别系统，包括图像采集模块、核心计算单元、轻量级神经网络算法模块、坐标系回归输出模块。其中图像采集模块采用任意单目摄像头，核心计算单元采用移动端CPU，所述轻量级神经网络算法模块采用ShuffleNetV2作为基础骨干网络，在ShuffleNetV2骨干网络的最后一层添加两次连续的上采样，并对网络中ShuffleV2Block3和DUC2进行跳跃连接(skip connection)，最后获得热图 (heatmap)；
[0007]所述坐标系回归输出模块，对通过所述轻量级神经网络算法模块获得每一个通道输出的热图，定义为Z，通过normalized(归一化函数)将数值归一化到0至1之间，并将归一化后的热图定义为得到一个离散概率分布值，表示为m
×
n的矩阵，m与 n对应着热图的分辨率。
[0008]更进一步地，所述轻量级神经网络算法模块采用ShuffleNetV2作为基础骨干网络
进一步包括：输入图像首先进入ShuffleNetV2骨干网络进行计算，该ShuffleNetV2 骨干网络由两个卷积层，三个ShuffleV2Block层和一个最大池化层组成，其中卷积层conv1层经过24组3x3的卷积核(步长为2),卷积层conv5经过1024组1x1的卷积核(步长为1)；池化层Maxpool1大小均为3x3，步长为2；ShuffleV2Block层结构统一，将输入通道的特征图分为两个分支，左边分支不做任何操作，右边的分支由连续的1x1卷积核和3x3卷积连接组成，两个分支用concat操作进行合并，紧接进行通道混洗(channel shuffle)。
[0009]更进一步地，所述在ShuffleNetV2骨干网络的最后一层添加两次连续的上采样进一步包括：对该骨干网络输出一系列卷积特征图通过连续的DUC上采样，其中，DUC 层结构统一，其由连续的3x3卷积与PixelShuffle上采样方式连接组成，将低分辨的特征图，通过卷积和多通道间的重组得到高分辨率的特征图，并在最后一层上采样层 DUC2进行对应ShuffleNetV2骨干网络相同形状的特征图ShuffleBlock3进行跳跃连接，以提高训练期间鲁棒性，防止过拟合，最终输出热图。
[0010]更进一步地，所述normalized(归一化函数)定义如下公式1：
[0011][0012]其中，首先定义两个矩阵X与Y，i＝1
…
m，j＝1
…
n，使其每个条目分别包含的x 轴坐标与y轴坐标。
[0013]更进一步地，所述矩阵X与矩阵Y的定义如下公式2与公式3
[0014][0015][0016]其中，通过对进行概率解释，由于的范围是0至1，且和为1，那么满足概率分布的条件，因此对与X进行矩阵内积计算，可计算获得在矩阵X上的期望值，得到在矩阵X上的横向坐标值，同理可获得在矩阵Y上的期望值，得到在矩阵Y上的纵向坐标值，横向坐标值与纵向坐标值的交集对应的x轴坐标与y轴坐标位置信息，因此获得坐标点的信息，将得到坐标点信息的函数P定义如下公式4，其中<.,.>
F
表示矩阵内积计算：
[0017][0018]本专利技术还公开了一种基于坐标系回归的实时骨骼关键点识别方法，包括如下步骤：
[0019]步骤1：输入图像首先进入ShuffleNetV2骨干网络进行计算，该ShuffleNetV2 骨干网络由两个卷积层，三个ShuffleV2Block层和一个最大池化层组成，其中卷积层conv1层经过24组3x3的卷积核(步长为2),卷积层conv5经过1024组1x1的卷积核(步长为1)；池化层Maxpool1大小均为3x3，步长为2；ShuffleV2Block层结构统一，将输入通道的特征图分为两
个分支，左边分支不做任何操作，右边的分支由连续的1x1卷积核和3x3卷积连接组成，两个分支用concat操作进行合并，紧接进行通道混洗(channel shuffle)，对该骨干网络输出一系列卷积特征图通过连续的 DUC上采样，其中，DUC层结构统一，其由连续的3x3卷积与PixelShuffle上采样方式连接组成，将低分辨的特征图，通过卷积和多通道间的重组得到高分辨率的特征图，并在最后一层上采样层DUC2进行对应ShuffleNetV2骨干网络相同形状的特征图 ShuffleBlock3进行跳跃连接，以提高训练期间鲁棒性，防止过拟合，最终输出热图；
[0020]步骤2：对通过轻量级神经网络算法模块获得每一个通道输出的热图，定义为Z，通过normalized(归一化函数)将数值归一化到0至1之间，并将归一化后的热图定义为得到一个离散概率分布值，表示为m
×
n的矩阵，m与n对应着热图的分辨率，通过定义的公式计算获得在Z中存在的坐标信息。
[0021]本专利技术进一步公开了一种装置，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上述的识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于坐标系回归的实时骨骼关键点识别系统，包括图像采集模块、核心计算单元、轻量级神经网络算法模块、坐标系回归输出模块，其中，图像采集模块采用任意单目摄像头，核心计算单元采用移动端CPU，其特征在于，所述轻量级神经网络算法模块采用ShuffleNetV2作为基础骨干网络，在ShuffleNetV2骨干网络的最后一层添加两次连续的上采样，并对网络中ShuffleV2Block3和DUC2进行跳跃连接(skip connection)，最后获得热图(heatmap)；所述坐标系回归输出模块，对通过所述轻量级神经网络算法模块获得每一个通道输出的热图，定义为Z，通过normalized(归一化函数)将数值归一化到0至1之间，并将归一化后的热图定义为得到一个离散概率分布值，表示为m
×
n的矩阵，m与n对应着热图的分辨率，其中，通过定义的公式计算获得骨骼关键点在Z中存在的坐标信息。2.如权利要求1所述的基于坐标系回归的实时骨骼关键点识别系统，其特征在于，所述轻量级神经网络算法模块采用ShuffleNetV2作为基础骨干网络进一步包括：输入图像首先进入ShuffleNetV2骨干网络进行计算，该ShuffleNetV2骨干网络由两个卷积层，三个ShuffleV2Block层和一个最大池化层组成，其中卷积层conv1层经过24组3x3的卷积核(步长为2),卷积层conv5经过1024组1x1的卷积核(步长为1)；池化层Maxpool1大小均为3x3，步长为2；ShuffleV2Block层结构统一，将输入通道的特征图分为两个分支，左边分支不做任何操作，右边的分支由连续的1x1卷积核和3x3卷积连接组成，两个分支用concat操作进行合并，紧接进行通道混洗(channel shuffle)。3.如权利要求2所述的基于坐标系回归的实时骨骼关键点识别系统，其特征在于，所述在ShuffleNetV2骨干网络的最后一层添加两次连续的上采样进一步包括：对该骨干网络输出一系列卷积特征图通过连续的DUC上采样，其中，DUC层结构统一，其由连续的3x3卷积与PixelShuffle上采样方式连接组成，将低分辨的特征图，通过卷积和多通道间的重组得到高分辨率的特征图，并在最后一层上采样层DUC2进行对应ShuffleNetV2骨干网络相同形状的特征图ShuffleBlock3进行跳跃连接，以提高训练期间鲁棒性，防止过拟合，最终输出热图。4.如权利要求3所述的基于坐标系回归的实时骨骼关键点识别系统，其特征在于，所述normalized(归一化函数)定义如公式1：其中，首先定义两个矩阵X与Y，i＝1
…
m，j＝1
…
n，使其...

【专利技术属性】
技术研发人员：顾友良，张磊，赵乾，
申请(专利权)人：广东新王牌智能信息技术有限公司，
类型：发明
国别省市：