一种基于AzureKinect的目标跟踪定位方法技术

本发明专利技术公开了一种基于Azure Kinect的目标跟踪定位方法，包括以下步骤：步骤1：通过Azure Kinect提取目标物三维点云数据；步骤2：将目标物点云映射至彩色图；步骤3：建立融合深度信息的目标物“颜色

【技术实现步骤摘要】
一种基于Azure Kinect的目标跟踪定位方法


[0001]本专利技术涉及计算机视觉
，具体为一种基于Azure Kinect的目标跟踪定位方法。

技术介绍

[0002]Kinect是微软推出的3D体感摄像机，具有彩色相机和深度传感器，由于Kinect可获取物体的深度信息，其在目标跟踪领域也表现出了独特的优势。Azure Kinect面向开发者提供了深度、视觉、声音和方向四大类传感器SDK，包括100万像素TOF深度摄像头、1200万像素RGB高清摄像头，7麦克风圆形阵列和惯性测量单元IMU，并提供了多种控制访问模式和自定义安装方式，可以为Azure Kinect设备配置和硬件传感流提供跨平台的底层访问。
[0003]深度摄像头在控制访问时可以选择宽或窄两种FOV视野，所以在实际空间内获取的数据将会更为精准。利用深度摄像头进行房间环境识别的时候，TOF的技术能够近乎实时的捕捉到周围环境信息。基于扫描到的深度数据，可以将捕捉到的人或物的画面以深度摄像画面和三维点云效果来表现。
[0004]Azure Kinect搭载了100万像素深度摄像头和1200万像素高清摄像头，可以对物体，场景和动作进行识别。当结合本地计算和Azure认知服务后，就能够对人脸进行准确识别；同时借助身体跟踪和动作识别的SDK，能对关键人物进行快速定位辨别，此外Azure认知服务还能准确识别目标人物的情绪变化。
[0005]Azure Kinect中的视觉功能不但可以追踪物体和人物，凭借Azure认知服务图像识别功能，通过OCR可以将文本和手写体内容进行准确识别。让设备和应用“看”懂这个世界。
[0006]Azure Kinect中声音功能内的圆形麦克风阵列及传感器可以实时收集外界的声音，并通过Azure认知服务的的语音识别功能实时处理翻译成文字。与Azure结合，根据声音的关键特征，能够较为准确识别说话人的身份信息，加上Azure Kinect的方向传感器，进而可以锁定说话人的位置。
[0007]目前采用Kinect的目标跟踪方法大多基于颜色特征，这种跟踪方法需要预先标记跟踪目标，操作不便，当目标物和背景颜色相似时，易受相似颜色干扰，跟踪效果不理想。

技术实现思路

[0008]本专利技术的目的在于提供一种基于Azure Kinect的目标跟踪定位方法，以解决上述
技术介绍
中提出的问题。
[0009]为实现上述目的，本专利技术提供如下技术方案：一种基于Azure Kinect的目标跟踪定位方法，包括以下步骤：
[0010]步骤1：将待跟踪目标放置于Azure Kinect视场范围内的固定平面上，通过Azure Kinect提取目标物的三维点云数据；
[0011]步骤2：读取Azure Kinect内、外参，将目标物点云映射至彩色图，并分割出来；
[0012]步骤3：在HSV颜色空间建立融合深度信息的目标物“颜色
‑
形状”模型；
[0013]步骤4：由Azure Kinect实时采集彩色图像和深度图像，对当前帧的图像分别进行深度过滤和颜色过滤；
[0014]步骤5：运用深度方差对目标物和相似颜色背景进行连通域分割，获得潜在目标；
[0015]步骤6：通过目标物形状偏差率、直方图巴氏距离完成目标识别；
[0016]步骤7：若目标识别成功，计算目标物质心P0，以目标物质心区域的深度均值完成目标定位；
[0017]步骤8：输出目标物坐标，更新目标颜色直方图、长宽值和深度值，进行下一帧循环；
[0018]步骤9：若目标识别失败，重复步骤4至步骤8。
[0019]优选的，在步骤1中，对待跟踪目标的处理包括以下步骤：
[0020]步骤1.1：利用直通滤波法PTF对目标物的初始点云进行预处理，通过测量桌面到相机的距离，在Azure Kinect深度传感器坐标系下分别设置X、Y、Z三个方向的阈值区间[x1，x2]、[y1，y2]、[z1，z2]，确定桌面及桌面上的目标物在初始点云中的三维空间包围盒，剔除阈值区间外的无效点云，保留桌面及桌面内物体点云；
[0021]步骤1.2：采用随机采样一致算法RANSAC识别点云中的平面特征，分离出工作平面，再对桌面上的点云进行欧式聚类，去除内点数量少于阈值的聚类，最终提取目标物点云。
[0022]优选的，在步骤2中，将目标物点云映射至彩色图的步骤包括以下：
[0023]步骤2.1：在Azure Kinect深度传感器坐标系下将目标物点云中的三维点P
ir
＝[X
ir Y
ir Z
ir
]T
转换到深度图中的对应点Q
ir
＝[u v 1]T
,转换公式如下：
[0024][0025]其中，为深度传感器内参；
[0026]步骤2.2：将深度传感器坐标系下的三维点Q
ir
转换为彩色相机坐标系下的三维点P
rgb
＝[X
rgb Y
rgb Z
rgb
]T
，最后转换为彩色图对应点Q
rgb
＝[m n 1]T
，完成目标物点云到彩色图的映射，转换公式如下：
[0027][0028]其中，R为3
×
3的旋转矩阵，T为3
×
1的平移矩阵，1的平移矩阵，为彩色相机内参。
[0029]优选的，步骤3中，在HSV颜色空间建立融合深度信息的目标物“颜色
‑
形状”模型包
括以下步骤：
[0030]步骤3.1：将目标区域图像由RGB颜色空间转化到HSV颜色空间，通过二分法对转换到HSV颜色空间的图像进行两次迭代，过滤映射偏差点；
[0031]步骤3.2：分别计算偏差点过滤完成后的目标图像的H、S、V三通道均值，并以H、S、V三通道均值为中值，设置合适大小的区间作为颜色阈值区间，将色调H分为8份，饱和度S分为2份，亮度V分为1份，根据色彩不同范围进行量化，生成20柄一维直方图，建立目标物颜色直方图模型；
[0032]步骤3.3：记录偏差点过滤完成后的目标图像的深度值和长、宽值，作为目标初始形状模型。
[0033]优选的，步骤3.1中，在HSV颜色空间确定颜色阈值区间的具体步骤如下：
[0034]Step1：将目标物彩色图转换至HSV颜色空间下，并提取其H通道下的灰度图像；
[0035]Step2：遍历图像中的非0像素点，记录图像中最大灰度值H
max
，最小灰度值H
min
，并计算其中值H
m
；
[0036]Step3：设置区间[H
min
，H
m
]和[H
m
，H
max
]，遍历图像并分别统计区间中点的个数；
[0037]Step4：将比重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Azure Kinect的目标跟踪定位方法，其特征在于，包括以下步骤：步骤1：将待跟踪目标放置于Azure Kinect视场范围内的固定平面上，通过Azure Kinect提取目标物的三维点云数据；步骤2：读取Azure Kinect内、外参，将目标物点云映射至彩色图，并分割出来；步骤3：在HSV颜色空间建立融合深度信息的目标物“颜色
‑
形状”模型；步骤4：由Azure Kinect实时采集彩色图像和深度图像，对当前帧的图像分别进行深度过滤和颜色过滤；步骤5：运用深度方差对目标物和相似颜色背景进行连通域分割，获得潜在目标；步骤6：通过目标物形状偏差率、直方图巴氏距离完成目标识别；步骤7：若目标识别成功，计算目标物质心P0，以目标物质心区域的深度均值完成目标定位；步骤8：输出目标物坐标，更新目标颜色直方图、长宽值和深度值，进行下一帧循环；步骤9：若目标识别失败，重复步骤4至步骤8。2.根据权利要求1所述的一种基于Azure Kinect的目标跟踪定位方法，其特征在于，在步骤1中，对待跟踪目标的处理包括以下步骤：步骤1.1：利用直通滤波法PTF对目标物的初始点云进行预处理，通过测量桌面到相机的距离，在Azure Kinect深度传感器坐标系下分别设置X、Y、Z三个方向的阈值区间[x1，x2]、[y1，y2]、[z1，z2]，确定桌面及桌面上的目标物在初始点云中的三维空间包围盒，剔除阈值区间外的无效点云，保留桌面及桌面内物体点云；步骤1.2：采用随机采样一致算法RANSAC识别点云中的平面特征，分离出工作平面，再对桌面上的点云进行欧式聚类，去除内点数量少于阈值的聚类，最终提取目标物点云。3.根据权利要求1所述的一种基于Azure Kinect的目标跟踪定位方法，其特征在于，在步骤2中，将目标物点云映射至彩色图的步骤包括以下：步骤2.1：在Azure Kinect深度传感器坐标系下将目标物点云中的三维点P
ir
＝[X
ir Y
ir Z
ir
]
T
转换到深度图中的对应点Q
ir
＝[u v 1]
T
,转换公式如下：其中，为深度传感器内参；步骤2.2：将深度传感器坐标系下的三维点Q
ir
转换为彩色相机坐标系下的三维点P
rgb
＝[X
rgb Y
rgb Z
rgb
]
T
，最后转换为彩色图对应点Q
rgb
＝[m n 1]
T
，完成目标物点云到彩色图的映射，转换公式如下：
其中，R为3
×
3的旋转矩阵，T为3
×
1的平移矩阵，1的平移矩阵，为彩色相机内参。4.根据权利要求1所述的一种基于Azure Kinect的目标跟踪定位方法，其特征在于，步骤3中，在HSV颜色空间建立融合深度信息的目标物“颜色
‑
形状”模型包括以下步骤：步骤3.1：将目标区域图像由RGB颜色空间转化到HSV颜色空间，通过二分法对转换到HSV颜色空间的图像进行两次迭代，过滤映射偏差点；步骤3.2：分别计算偏差点过滤完成后的目标图像的H、S、V三通道均值，并以H、S、V三通道均值为中值，设置合适大小的区间作为颜色阈值区间，将色调H分为8份，饱和度S分为2份，亮度V分为1份，根据色彩不同范围进行量化，生成20柄一维直方图，建立目标物颜色直方图模型；步骤3.3：记录偏差点过滤完成后的目标图像的深度值和长、宽值，作为目标初始形状模型。5.根据权利要求4所述的一种基于Azure Kinect的目标跟踪定位方法，其特征在于，步骤3.1中，在HSV颜色空间确定颜色阈值区间的具体步骤如下：Step1：将目标物彩色图转换至HSV颜色空间下，并提取其H通道下的灰度图像；Step2：遍历图像中的非0像素点，记录图像中最大灰度值H
max
，最小灰度值H
min
，并计算其中值H
m
；Step3：设置区间[H
min
，H
m
]和[H
m
，H
max
]，遍历图像并分别统计区间中点的个数；Step4：将比重较小区间内的点过滤，去除灰度值大于目标物和灰度值小于...

【专利技术属性】
技术研发人员：瞿畅，张啸天，张文波，
申请(专利权)人：南通大学，
类型：发明
国别省市：