基于椭圆匹配的人体朝向角度实时检测方法技术

一种基于椭圆匹配的人体朝向角度实时检测方法，首先通过从参考图像中得到参考前景区域的非对称椭圆模型的参数，然后在任意朝向角度下采集得到肩膀横截面点集，并基于非对称椭圆模型生成非对称椭圆模型点集，最后通过匹配相邻两帧之间的肩膀横截面点集和不对称椭圆模型点集，得到人体朝向角度；根据本方法可实现实时且精确至1°的人体朝向检测。

【技术实现步骤摘要】

本专利技术涉及的是一种计算机图形处理领域的技术，具体是一种基于椭圆匹配的人体朝向角度实时检测方法。
技术介绍
在计算机视觉领域中，人体检测、人体姿态检测、人体行为识别均是非常重要的课题。这里所说的人物包括人体及其各个组成部分，如手臂、手指、躯干等都属于其中的一个部分。这些技术都可以应用在人们的日常生活中，给人们的生活带来便利。运动人物分析从包含人的图像序列中检测、跟踪与识别人或人体的某一部分，并进一步分析理解人的运动行为。对人体朝向角度的识别有非常重要的意义。其一，人体的朝向角度本身就是一种人的运动行为；其二，人体的朝向角度可以作为一种中间信息，帮助理解更复杂的人的运动行为。经过对现有技术的文献检索发现，Shotton等人在《CommunicationsoftheACM》2013年第56卷第1期上发表的论文“Real-timehumanposerecognitioninpartsfromsingledepthimages”提出了使用随机森林的方法实时获得整体人体骨架，进而可以通过两肩膀骨架点得到人体朝向姿态。但是该方法在人体侧身或转身时骨架提取精确度较低，朝向估计不准。鹿建国在《微型机与应用》2010年第29卷第12期上发表的论文《多目及单目环境下的人体朝向分析》中采用色度分析与灰度分析相结合的方法，计算肤色区域和人体前景图的关系，得到人体的朝向。当然，该方法得到的朝向只能是大概的估计，不能得到朝向的精确角度。因此，对上述现有技术的问题分析促使我们去寻找一种更加精确的人体朝向角度估计方法，使其能够应对复杂的场景和环境，并有较高的估计精度。
技术实现思路
本专利技术针对现有技术存在的上述不足，提出一种基于椭圆匹配的人体朝向角度实时检测方法，通过用椭圆模型匹配人体肩膀处的景深数据来得到最佳匹配椭圆的倾斜角，该角度即为人体朝向角度；本专利技术可实现精确至1°的人体朝向检测。本专利技术是通过以下技术方案实现的：本专利技术首先通过从参考图像中得到参考前景区域的非对称椭圆模型的参数，然后在任意朝向角度下采集得到肩膀横截面点集，并基于非对称椭圆模型生成非对称椭圆模型点集，最后通过匹配相邻两帧之间的肩膀横截面点集和不对称椭圆模型点集，得到人体朝向角度。所述方法具体包括以下步骤：步骤一，通过深度摄像头采集人体纯正面，即没有朝向角度、双臂垂直放于人体两侧时的景深帧作为参考图像，并从中提取得到参考点集数据和参考前景区域，即人体外轮廓，计算得到非对称椭圆模型的参数。步骤二，通过深度摄像头采集任意朝向角度的景深帧，并从中提取得到景深帧和人体前景区域及其中的肩部坐标、两个肩部坐标构成的线段上的景深点(肩膀横截面点集)，计算肩膀横截面点集的中心点，并将该中心点作为坐标系的新原点。步骤三，根据步骤一得到的非对称椭圆模型的参数，采集非对称椭圆模型点集并与肩膀横截面点集进行基于参考图像原点和步骤二得到新原点的匹配，根据匹配结果得到人体朝向角度。技术效果与现有技术相比，本专利技术所述的方法比较精确地测量出人体朝向的角度。现有方法只能定性地估计出人体大致朝向，即向左还是向右；而本方法可以测量出人体朝向的准确角度，设置的测量精度为1°。而且可以测量360°中任意朝向，同时本专利技术所述的方法平均耗时仅5.6ms，可以在实时的系统中使用。附图说明图1是人体肩膀横截面非对称椭圆模型；图2是提取人体肩膀宽度的示意图；图3是提取的人体不同姿态下的人体肩膀景深数据；图4是本专利技术方法流程图。具体实施方式如图4所示，本实施例包括以下步骤:步骤一，通过深度摄像头采集人体纯正面，即没有朝向角度、双臂垂直放于人体两侧时的景深帧作为参考图像，并从中提取得到参考点集数据和参考前景区域，即人体外轮廓，计算得到非对称椭圆模型的参数，具体步骤为：所述的参考图像位于的坐标系为：x轴为宽度方向、y轴为高度方向。所述的参考前景区域在参考图像内的像素值即该点景深，参考前景区域外的像素值为0。本实施例中，采用微软公司出品的Kinect摄像头(dev.windows.com/en-us/kinect)进行景深帧的采集，并进行景深提取。1.1统计参考前景区域内每列像素点的个数，并找到每列像素点个数最大值l，即得参考前景区域的高度；1.2从参考前景区域的任意一侧向中间查看每列像素点的个数，当该列个数大于阈值时，设定该列为一侧肩膀边缘点x坐标x1；采用相同方法从另一侧进行阈值筛选，得到了另一侧肩膀边缘点x坐标x2；在x＝x1和x＝x2列中各选择一个人体前景参考点，并使用KinectSDK的函数转换到三维空间中得到该两个人体前景参考点的坐标(xp1，yp1，zp1)和(xp2，yp2，zp2)，计算得到参考肩膀宽度w＝|xp1-xp2|；1.3在两个肩部坐标(x1,λl)和(x2,λl)之间的线段上寻找景深最大值depmax和最小值depmin，得到非对称椭圆模型的参数，即：长半轴前短半轴b1＝1.2×|depmax-depmin|和后短半轴b2＝1.5×|depmax-depmin|，其中：l为1.1中的参考前景区域的高度，λl为肩膀高度位置，λ是[0,1]之间的比例系数。所述的非对称椭圆是指：以x轴为对称轴，该椭圆的两侧短半轴不相同。本实施例中比例系数取0.75。步骤二，通过深度摄像头采集若干任意朝向角度的景深帧，对于其中一帧I中的景深帧及人体前景区域(由摄像头直接提供)，根据步骤一中的比例系数λ计算得到任意朝向角度下的肩部坐标，以两个肩部坐标构成的线段上的景深点即为肩膀横截面点集P，使用KinectSDK将这些点转换到三维空间中的x-z平面上；计算肩膀横截面点集P的中心点(xm，zm)，并将该点作为坐标系的新原点。由于景深帧是一个二维图像，可以将其数据转换到三维空间中，因此上述景深点即为景深帧里的像素点，从而得到对应点集。步骤二处理的景深帧与步骤一采集的景深帧源自同一拍摄对象。步骤三，根据步骤一得到的非对称椭圆模型的参数，采集非对称椭圆模型点集并与肩膀横截面点集进行基于参考图像原点和步骤二得到新原点的匹配，根据匹配结果得到人体朝向角度，具体步骤如下：3.1分别以a为长半轴、b1、b2为短半轴、中心点为原点、x轴为对称轴的非对称椭圆模型为范围进行均匀采样，得到非对称椭圆模型点集Pm；3.2以景深帧I的前一帧检测得到的旋转角度为初始值作为静态初始旋转角度，如果当前帧是第一帧，则以0°为静态初始旋转角度进行计算，对肩膀横截面点集P和非对称椭圆模本文档来自技高网...

【技术保护点】
一种基于椭圆匹配的人体朝向角度实时检测方法，其特征在于，首先通过从参考图像中得到参考前景区域的非对称椭圆模型的参数，然后在任意朝向角度下采集得到肩膀横截面点集，并基于非对称椭圆模型生成非对称椭圆模型点集，最后通过匹配相邻两帧之间的肩膀横截面点集和不对称椭圆模型点集，得到人体朝向角度。

【技术特征摘要】
1.一种基于椭圆匹配的人体朝向角度实时检测方法，其特征在于，首先通过从参考图像
中得到参考前景区域的非对称椭圆模型的参数，然后在任意朝向角度下采集得到肩膀横截面点
集，并基于非对称椭圆模型生成非对称椭圆模型点集，最后通过匹配相邻两帧之间的肩膀横截
面点集和不对称椭圆模型点集，得到人体朝向角度。
2.根据权利要求1所述的基于椭圆匹配的人体朝向角度实时检测方法，其特征是，具体
包括以下步骤：
步骤一，通过深度摄像头采集人体纯正面，即没有朝向角度、双臂垂直放于人体两侧时的
景深帧作为参考图像，并从中提取得到参考点集数据和参考前景区域，即人体外轮廓，计算得
到非对称椭圆模型的参数；
步骤二，通过深度摄像头采集任意朝向角度的景深帧，并从中提取得到景深帧和人体前景
区域及其中的肩部坐标、两个肩部坐标构成的线段上的景深点，即肩膀横截面点集，计算肩膀
横截面点集的中心点，并将该中心点作为坐标系的新原点；
步骤三，根据步骤一得到的非对称椭圆模型的参数，采集非对称椭圆模型点集并与肩膀横
截面点集进行基于参考图像原点和步骤二得到新原点的匹配，根据匹配结果得到人体朝向角度。
3.根据权利要求1或2所述的基于椭圆匹配的人体朝向角度实时检测方法，其特征是，
所述的非对称椭圆是指：以x轴为对称轴，该椭圆的两侧短半轴不相同。
4.根据权利要求2所述的基于椭圆匹配的人体朝向角度实时检测方法，其特征是，所述
的步骤一具体包括：
1.1统计参考前景区域内每列像素点的个数，并找到每列像素点个数最大值l，即得参考前
景区域的高度；
1.2从参考前景区域的任意一侧向中间查看每列像素点的个数，当该列个数大于阈值时，
设定该列为一侧肩膀边缘点x坐标x1；采用相同方法从另一侧进行阈值筛选，得到了另一侧肩
膀边缘点x坐标x2；在x＝x1和x＝x2列中各选择一个人体前景参考点，并使用KinectSDK的函
数转换到三维空间中得到该两个人体前景参考点的坐标(xp1，yp1，zp1)和(xp2，yp2，zp2)，计算得
到参考肩膀宽度w＝|xp1-xp2|；
1.3在两个肩部坐标(x1,λl)和(x2,λl)之间的线段上寻找景深最大值depmax和最小值depmin，

\t得到非对称椭圆模型的参数，即：长半轴前短半轴b1＝1.2×|depmax-depmin|和后短半
轴b2＝1.5×|depmax-depmin|，其中：l为1.1中的参考前景区域的高度，λl为肩膀高度位置，λ
是[0,1]之间的比例系数。
5.根据权利要求4所述的基于椭圆匹配的人体朝向角度实时检测方法，其特征是，所述
的比例系数取0.75。
6.根据权利要求1或2所述的基于椭圆匹配的人体朝向角度实时检测方法，其特征是，
所述的新原点，通过以下方式得到：通过深度摄像头采集若干任意朝向角度的景深帧，对于...

【专利技术属性】
技术研发人员：林巍峣，陈明亮，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31