一种人体姿态估计方法及移动终端技术

本发明专利技术公开了一种人体姿态估计方法，该方法适于对待处理视频中的人体关键点进行标注以提取人体姿态信息，该方法适于在移动终端中执行，包括步骤：获取待处理视频，并判断当前图像帧的上一图像帧的关键点位置是否存在；若不存在上一图像帧的关键点位置，则检测当前图像帧中的人体位置，生成包含该人体位置的目标框；若存在上一图像帧的关键点位置，则根据上一图像帧中标注的人体关键点位置生成当前图像帧对应的目标框；对所生成的目标框进行尺度变换以生成预定尺寸的人体图像；将预定尺寸的人体图像输入预定姿态估计模型，以输出标注了人体关键点位置的图像；以及根据所标注的关键点位置估计人体姿态。本发明专利技术一并公开了相应的移动终端。

【技术实现步骤摘要】
一种人体姿态估计方法及移动终端
本专利技术涉及图像处理
，尤其是一种人体姿态估计方法及移动终端。
技术介绍
人体姿态估计是指对图像或视频中人体关键点进行标注，进而提取人体基本姿态信息的过程，如图1所示，其中圆点表示标注出的人体关键点，根据所标注出的人体关键点就可以获取人体基本姿态信息。常用的人体关键点(即，人体关节点或称之为骨骼点)包括头部、颈部、双肩、双肘、双腕、双胯、双膝和双踝等。人体姿态估计就是要识别出图像视频中人体上的这些关键点的位置。现有的人体姿态估计算法可分为传统视觉方法和基于深度学习的方法。传统视觉方法采用人体不同肢干模板构成的弹簧模型，对图像或视频中的人体不同部分进行匹配和标注。从2014年起，基于深度学习的方法被提出，大幅提高了人体姿态估计算法的性能和算法效率，常见的基于深度学习的人体姿态估计算法例如有，基于AlexNet结构设计的级联网络，用来直接回归每个点的坐标位置；或者采用分阶段的卷积网络，将前一阶段的计算结果和原始图像一起作为下一阶段的输入，不断对结果进行精细化；等等。但是在实际场景中，由于不同图像或视频中人体所占比例不同、衣着各异、遮挡关系和拍摄角度复杂，人体姿态估计往往很难迅速有效地进行。另外，除目标外观的多样性外，算法运行效率也是需要重点考虑的问题。目前的姿态估计算法在运算效率上都达不到移动端应用的要求。在移动端应用普及的今天，设计一套在移动端快速运行的人体姿态估计算法还是很有意义的。因此，需要开发一种更精简的人体姿态估计模型，来实现移动端姿态估计的需求。
技术实现思路
为此，本专利技术提供了一种人体姿态估计方法及移动终端，以力图解决或者至少缓解上面存在的至少一个问题。根据本专利技术的一个方面，提供了一种人体姿态估计方法，该方法适于对待处理视频中的人体关键点进行标注，以提取人体姿态信息，该方法适于在移动终端中执行，包括步骤：获取待处理视频，并判断当前图像帧的上一图像帧的关键点位置是否存在；若不存在上一图像帧的关键点位置，则检测当前图像帧中的人体位置，生成包含该人体位置的目标框；若存在上一图像帧的关键点位置，则根据上一图像帧中标注的人体关键点位置生成当前图像帧对应的目标框；对所生成的目标框进行尺度变换以生成预定尺寸的人体图像；将预定尺寸的人体图像输入预定姿态估计模型，以输出标注了人体关键点位置的图像；以及根据所标注的关键点位置估计人体姿态。可选地，在根据本专利技术的人体姿态估计方法中，对所生成的目标框进行尺度变换以生成预定尺寸的人体图像的步骤包括：从该目标框对应的当前图像帧中裁剪出目标框所包含的图像；以及对目标框所包含的图像进行缩放处理以得到预定尺寸的人体图像。可选地，在根据本专利技术的人体姿态估计方法中，将预定尺寸的人体图像输入预定姿态估计网络，以输出标注了人体关键点位置的图像的步骤包括：将预定尺寸的人体图像输入预定姿态估计网络，输出每个关键点的位置概率图和背景图；将各关键点的位置概率图中概率值最大的位置标注为对应关键点的位置；以及通过叠加背景图和标注的各关键点位置得到标注了人体关键点位置的图像。可选地，在根据本专利技术的人体姿态估计方法中，预定姿态估计模型包括：预定神经网络结构，用于提取人体图像的图像特征；以及第一数目个卷积阶段，用于提取本卷积阶段的图像特征，其中第一数目个卷积阶段依次连接、且第一个卷积阶段与预定神经网络结构相连接。可选地，在根据本专利技术的人体姿态估计方法中，还包括训练预定姿态估计模型的步骤：将图像库中的图像进行尺度变换以生成预定尺寸的人体图像作为训练样本；将训练样本依次输入预定神经网络结构和第一数目个卷积阶段，输出预测的人体关键点位置；通过自适应时刻估计方法学习所预测的人体关键点位置与真实的人体关键点位置，以优化预定姿态估计模型。可选地，在根据本专利技术的人体姿态估计方法中，根据上一图像帧中标注的人体关键点位置生成当前图像帧对应的目标框的步骤包括：根据上一图像帧中标注的人体关键点位置生成包含人体位置的初始目标框；以及将初始目标框向外扩大预定像素数以生成当前图像帧对应的目标框。可选地，在根据本专利技术的人体姿态估计方法中，预定神经网络结构为tiny-YOLO网络结构。可选地，在根据本专利技术的人体姿态估计方法中，第一数目为3。根据本专利技术的又一方面，提供了一种移动终端，包括：一个或多个处理器；和存储器；一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行如上所述方法中的任一方法的指令。根据本专利技术的再一方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当移动终端执行时，使得移动终端执行如上所述的方法中的任一方法。根据本专利技术的方案，由于采用了足够的网络参数和分卷积阶段的精细化处理，输出结果具有较高的鲁棒性，对于人物和周围环境之间的遮挡关系、人物自身动作的不确定性、以及不同衣着带来的人物多样性等，本方法都有着比较优异的估计效果。进一步地，本方案采用精简的网络结构作为预定姿态估计模型，算法运行速度快，用户拍摄的视频不需要传回服务器进行处理后再传给移动终端，而是可以通过移动终端本身进行实时处理。附图说明为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。图1示出了标注了人体关键点的图像示意图；图2示出了根据本专利技术一个实施例的移动终端200的构造示意图；图3示出了根据本专利技术一个实施例的人体姿态估计方法300的流程图；图4示例性地示出了在图像中用目标框表征人体位置的示意图；以及图5示出了根据本专利技术一个实施例的预定姿态估计模型500的网络结构图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。图2是移动终端200的结构框图。移动终端200可以包括存储器接口202、一个或多个数据处理器、图像处理器和/或中央处理单元204，以及外围接口206。存储器接口202、一个或多个处理器204和/或外围接口206既可以是分立元件，也可以集成在一个或多个集成电路中。在移动终端200中，各种元件可以通过一条或多条通信总线或信号线来耦合。传感器、设备和子系统可以耦合到外围接口206，以便帮助实现多种功能。例如，运动传感器210、光线传感器212和距离传感器214可以耦合到外围接口206，以方便定向、照明和测距等功能。其他传感器216同样可以与外围接口206相连，例如定位系统(例如GPS接收机)、加速度传感器、温度传感器、生物测定传感器或其他感测设备，由此可以帮助实施相关的功能。相机子系统220和光学传感器222可以用于方便诸如记录照片和视频剪辑的相机功能的实现，其中所述相机子系统和光学传感器例如可以是电荷耦合器件(CCD)或互补金属氧化物半导体(本文档来自技高网...

【技术保护点】
一种人体姿态估计方法，所述方法适于对待处理视频中的人体关键点进行标注，以提取人体姿态信息，所述方法适于在移动终端中执行，所述方法包括步骤：获取待处理视频，并判断当前图像帧的上一图像帧的关键点位置是否存在；若不存在上一图像帧的关键点位置，则检测当前图像帧中的人体位置，生成包含该人体位置的目标框；若存在上一图像帧的关键点位置，则根据上一图像帧中标注的人体关键点位置生成当前图像帧对应的目标框；对所生成的目标框进行尺度变换以生成预定尺寸的人体图像；将所述预定尺寸的人体图像输入预定姿态估计模型，以输出标注了人体关键点位置的图像；以及根据所标注的关键点位置估计人体姿态。

【技术特征摘要】
1.一种人体姿态估计方法，所述方法适于对待处理视频中的人体关键点进行标注，以提取人体姿态信息，所述方法适于在移动终端中执行，所述方法包括步骤：获取待处理视频，并判断当前图像帧的上一图像帧的关键点位置是否存在；若不存在上一图像帧的关键点位置，则检测当前图像帧中的人体位置，生成包含该人体位置的目标框；若存在上一图像帧的关键点位置，则根据上一图像帧中标注的人体关键点位置生成当前图像帧对应的目标框；对所生成的目标框进行尺度变换以生成预定尺寸的人体图像；将所述预定尺寸的人体图像输入预定姿态估计模型，以输出标注了人体关键点位置的图像；以及根据所标注的关键点位置估计人体姿态。2.如权利要求1所述的方法，其中，所述对所生成的目标框进行尺度变换以生成预定尺寸的人体图像的步骤包括：从该目标框对应的当前图像帧中裁剪出目标框所包含的图像；以及对所述目标框所包含的图像进行缩放处理以得到预定尺寸的人体图像。3.如权利要求1或2所述的方法，其中，所述将预定尺寸的人体图像输入预定姿态估计网络，以输出标注了人体关键点位置的图像的步骤包括：将预定尺寸的人体图像输入预定姿态估计网络，输出每个关键点的位置概率图和背景图；将各关键点的位置概率图中概率值最大的位置标注为对应关键点的位置；以及通过叠加所述背景图和标注的各关键点位置得到标注了人体关键点位置的图像。4.如权利要求1-3中任一项所述的方法，其中，所述预定姿态估计模型包括：预定神经网络结构，用于提取所述人体图像的图像特征；以及...

【专利技术属性】
技术研发人员：徐展，邢晨，张伟，许清泉，洪炜冬，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建,35