基于OpenPose姿态检测的人体分段式跟踪方法技术

本发明专利技术公开了一种基于OpenPose姿态检测的人体分段式跟踪方法，该方法以OpenPose实时多人2D姿态检测器检测人体的25个骨骼关节点为基础，通过OpenPose获得的PAFs将关节点分类组合为每个个体的关节点，利用每个个体不同部位关节点获得不同部位检测框，最后对同一个体不同部位检测框分别进行跟踪达到分段跟踪的目的；多框跟踪是根据每个人的头部、上身躯干、下身躯干骨骼关节点分析画出三个检测框，使用跟踪算法对三个部位分别跟踪，同时保证三个部位的跟踪ID一致。本发明专利技术克服了人体多目标跟踪场景中目标由于遮挡严重导致跟踪错误的情况。

Segmented tracking method of human body based on openpose attitude detection

【技术实现步骤摘要】
基于OpenPose姿态检测的人体分段式跟踪方法
本专利技术涉及多目标跟踪领域，具体涉及一种基于OpenPose姿态检测的人体分段式跟踪方法。
技术介绍
目前基于深度学习的应用呈现爆炸式增长，特别是在图像处理领域，已经成为人们日常使用的工具。智能化时代，依靠高成本人力，重复机械的工作，势必会被人工智能取代，例如在安防领域，视频分析需要耗费巨大工作量，以往只能通过人工查看处理的问题，现在可以通过智能算法去解决，其中核心就是人的检测与跟踪分析，可以用在行人计数、行为分析、异常检测等领域。在行人计数、行为分析等领域使用的大多都是多目标跟踪技术，多目标跟踪不仅需要预测目标的下一次出现位置，还需要关联算法确定每个目标的移动轨迹。常见的多目标跟踪算法有粒子滤波，卡尔曼滤波，CamShift算法等，大部分跟踪算法更多的是优化多目标跟踪的预测部分，在稀疏场景下跟踪多个行人，每个目标特征明显，变化小，对关联算法的要求比较低，预测越准，最后的跟踪效果就越好；但在人群密集场景下，行人经常会出现严重的遮挡情况，在连续帧视频中，上一帧与下一帧同一个人可视部分会出现非常大的变化，这时会给关联算法带来严峻的考验，关联算法效果差，会直接带来错误跟踪或者跟踪失败。
技术实现思路
本专利技术的目的在于提供一种基于OpenPose姿态检测的人体分段式跟踪方法，解决人群密集场景下，行人存在严重遮挡情况下跟踪困难的问题。实现本专利技术目的的技术方案为:一种基于OpenPose姿态检测的人体分段式跟踪方法，包括：通过OpenCV获取输入的包含人体姿态信息的视频流，并获取单帧图像，所述单帧图像为3通道的BGR格式的图像；利用OpenPose检测出视频帧中所有人体的关节点并定位；利用部分亲和力矢量场对关节点进行关联分析，按照属于不同人体进行分组，得到每个人的关节点信息；根据每个人的头部、上身躯干、下身躯干关节点信息得到三个检测框；利用跟踪算法对不同部位分别进行跟踪，保证跟踪ID一致，若三个部位有两个以上部位跟踪成功，则整体跟踪成功。进一步的，人体关节点的坐标以及检测置信度构成人体实时动作骨架序列，每个人体关节点设有唯一的编号。进一步的，设置关节点置信度阈值，关节点置信度超过阈值，则保留该关节点。进一步的，关节点置信度阈值为0.5。进一步的，利用关节点的编号信息确定头部、上身躯干、下身躯干关节点，当不同部位关节点实际保留个数达到要求后，利用关节点坐标信息画出头部、上身躯干、下身躯干检测框。进一步的，若部位关节点实际保留个数超过3个，检测框获取成功。进一步的，对不同检测框分别进行跟踪，但属于同一个人的不同部位设置一样的跟踪ID，同一人体存在两个以上部位跟踪成功，判定该目标跟踪成功。进一步的，人体关节点总共有25个，头部选用6个，包括左右眼，鼻子，左右耳、脖子；上身躯干选用8个，包括左右肩、左右肘、左右手腕、左右胯，下身躯干选用11个，包括胯中心、左右膝、左右脚外测、左右脚跟、左右脚内测、左右脚踝与现有技术相比，本专利技术的显著优点为：(1)本专利技术使用OpenPose姿态检测，采用深度卷积网络获取关节点作为跟踪的目标基础，表征性更强；(2)采用分段式跟踪，可以解决密集行人存在遮挡导致跟踪困难的问题，减少错误跟踪；通过获取人体头部、上身躯干、下身躯干关节点信息，得到三个检测框，利用跟踪算法对不同部位检测框分别跟踪，但是设置一样的跟踪ID，如果有两个部位以上跟踪成功，说明该目标跟踪成功。附图说明图1是本专利技术基于OpenPose姿态检测的人体分段式跟踪方法流程图。图2是两个关节点PAF图。图3是OpenPose的25个关节点示意图。图4是实施例中多框跟踪框示意图。具体实施方式如图1所示，一种基于OpenPose姿态检测模型的人体分段式跟踪方法，包括以下流程。步骤1:获取视频流:通过OpenCV获取输入的包含人体姿态信息的视频流，并获取单帧图像，其中，所述图像为3通道的BGR格式的图像。步骤2:利用OpenPose深度学习模型将视频帧中所有人体的关节点检测出来并定位，设定关节点置信度阈值T。使用的深度学习框架是Caffe，OpenPose人体骨架检测模型的训练与测试都在该框架下提前完成。步骤3:利用OpenPose深度学习模型中部分亲和力矢量场(PAFs)对关节点进行关联分析，按照属于不同人体进行分组，得到每个人的关节点信息。人体关节点总共有25个，头部选用6个，包括左右眼，鼻子，左右耳、脖子；上身躯干选用8个，包括左右肩，左右肘、左右手腕、左右胯，下身躯干选用11个，包括胯中心、左右膝、左右脚外测、左右脚跟、左右脚内测，左右脚踝。PAF(部分亲和力矢量)是身体每个肢体的2D向量，如图2所示，对于属于特定肢体部分的每一个像素，一个2D向量编码了从肢体的一部分指向另一部分的方向。使Xj1,k和Xj2,k作为某人k的第c个身体肢体的两个真实身体节点j1和j2。如果点p在胳膊上，是一个单位向量,从j1指向j2；对于其他的点，这个向量的值为0。这里v＝(Xj2,k-Xj1,k)/||Xj2,k-Xj1,k||2是肢体节点方向上的单位向量，其中像素p是否落在肢体节点上需要满足两个条件：其中，肢体的宽度σl是像素距离，躯体的长度lc,k＝||Xj2,k-Xj1,k||2，v⊥是与v垂直的向量。真实的亲和力将图像上所有的人的FAP做平均：nc(p)表示点p处所有k个人的非零向量的个数。关节点dj1与dj2和PAF已知后，计算两个关节点连线向量和两关节点连线上各像素的PAF向量之间的点积的积分作为两个关节点之间的相关性。像素p进行采样p(u)＝(1-u)dj1+udj2,接下来通过PAFs计算出来的图的关联得到匹配关系。利用匈牙利算法去获得一个最优匹配方案。最终将检测到的关节点归类分组，每组属于一个人。步骤4:如图4中检测样例，根据每个人的头部、上身、下身关节点信息得到三个检测框，头部检测框A,上身检测框B，下身检测框C。设定每个部位最少能检测到N个点才能获得该部位检测框。关节点主要包含了置信度，节点的坐标信息。设定阈值，只有当检测关节点置信度超过阈值，才保留使用。confidence指的是关节点的检测置信度；Rnode为1表示关节点保留，为0表示舍弃；∑Rnode指的是每个部位经过阈值判定后能保留的关节点个数。Rbox为1表示该部位检测框获取成功，为0表示该部位检测框获取失败。步骤5:利用跟踪算法对不同部位检测框A、B、C分别进行跟踪，但保证跟踪ID一致，如果三个部位有两个以上跟踪成功，说明整体跟踪成功。其中表示检测框A、B、C是否跟踪成功，Tflag表示总体是否跟踪成功。本专利技术以OpenPose实时多人2D姿态检测器检测人体的25个本文档来自技高网...

【技术保护点】
1.一种基于OpenPose姿态检测的人体分段式跟踪方法，其特征在于，包括：/n通过OpenCV获取输入的包含人体姿态信息的视频流，并获取单帧图像，所述单帧图像为3通道的BGR格式的图像；/n利用OpenPose检测出视频帧中所有人体的关节点并定位；/n利用部分亲和力矢量场对关节点进行关联分析，按照属于不同人体进行分组，得到每个人的关节点信息；/n根据每个人的头部、上身躯干、下身躯干关节点信息得到三个检测框；/n利用跟踪算法对不同部位分别进行跟踪，保证跟踪ID一致，若三个部位有两个以上部位跟踪成功，则整体跟踪成功。/n

【技术特征摘要】
1.一种基于OpenPose姿态检测的人体分段式跟踪方法，其特征在于，包括：
通过OpenCV获取输入的包含人体姿态信息的视频流，并获取单帧图像，所述单帧图像为3通道的BGR格式的图像；
利用OpenPose检测出视频帧中所有人体的关节点并定位；
利用部分亲和力矢量场对关节点进行关联分析，按照属于不同人体进行分组，得到每个人的关节点信息；
根据每个人的头部、上身躯干、下身躯干关节点信息得到三个检测框；
利用跟踪算法对不同部位分别进行跟踪，保证跟踪ID一致，若三个部位有两个以上部位跟踪成功，则整体跟踪成功。


2.根据权利要求1所述的基于OpenPose姿态检测的人体分段式跟踪方法，其特征在于，人体关节点的坐标以及检测置信度构成人体实时动作骨架序列，每个人体关节点设有唯一的编号。


3.根据权利要求2所述的基于OpenPose姿态检测的人体分段式跟踪方法，其特征在于，设置关节点置信度阈值，关节点置信度超过阈值，则保留该关节点。


4.根据权利要求3所述的基于OpenPose姿态检测的人体分段式跟踪方法，其特征在于...

【专利技术属性】
技术研发人员：王政军，刘光杰，刘伟伟，湛忠义，杨路辉，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32