【技术实现步骤摘要】
本专利技术涉及图像识别，尤其涉及一种基于深度相机三维人体骨架识别方法及装置。
技术介绍
1、人体骨架关键点检测在计算机视觉的其他领域中起到基础性作用，如行为识别、人物跟踪、步态识别等。具体应用包括智能视频监控、病人监护系统、人机交互、虚拟现实、智能家居、智能安防、运动员辅助训练等。然而，由于人体的柔性和多样性，以及遮挡、光照、雾等环境因素的影响，人体骨架关键点检测是一个极具挑战性的课题。
2、三维人体骨架关键点提取技术从数据源可以分为三个类别，一是在单张彩色图像上利用深度学习网络获取图像中的三维人体骨架，如：论文localization-classification-regression for human pose，结合smpl-x模型的方案，如论文videoinference for human body pose and shape estimation、beyond static features fortemporally consistent 3d human pose and shape from a video等，但是遮挡和深度模糊等问题使得三维骨架的平均关节位置误差不如其他方案，且模型训练难度大。第二类是使用多个相机，分别进行二维人体骨架识别提取骨架关节点，然后通过已经标定的相机内外参通过空间几何关系进行数据关联，最终获得三维关节点。该方案精度受相机之间的空间关系参数影响较大，同时需要保证多台相机获取图像帧同步，虽然在数据库中获得比较好的精度，但是实际落地中，硬件成本高，整体实施步骤繁杂，部署困难。
3、第三类是通过深度相机（如kinect, realsense 传感器等）获取深度信息，弥补使用深度学习网络获得的二维骨架的深度缺失，该方案在保证比较高的准确度的情况下，硬件成本低，所需算力低，而且比较容易部署和实施，但是由于人体在空间中运动，环境光照变化，三维骨架估计错误；或者由于场景内多个人体导致的部分骨架拉伸、坍缩等问题。
4、针对上述技术问题，本专利技术提出一种基于深度相机三维人体骨架识别方法及装置。
技术实现思路
1、本专利技术的目的是针对现有技术的缺陷，提供了一种基于深度相机三维人体骨架识别方法及装置。
2、为了实现以上目的，本专利技术采用以下技术方案：
3、一种基于深度相机三维人体骨架识别方法，包括：
4、s1.通过深度相机获取配准后的深度图和彩色图，并保存空场景下的深度图；
5、s2.提取配准后的彩色图中的人体候选框，并对提取的人体候选框进行过滤处理，得到二维人体骨架；
6、s3.将得到的二维人体骨架与配准后的深度图进行计算，得到三维人体骨架；
7、s4.筛选三维人体骨架中的异常三维关节点，并通过三维人体骨架树对异常的三维关节点矫正处理，得到最终三维人体骨架的数据。
8、进一步的，所述步骤s2具体为：
9、a1.提取配准后的彩色图中的人体候选框；
10、a2.获取人体候选框中所有像素在配准后的深度图中的深度，并将获取的每个像素的深度与空场景下的深度图中对应像素位置的深度进行比较，判断比较的结果中是否存在小于第一预设阈值的深度差值，若是，则将小于第一预设阈值的深度差值对应的人体候选框中的像素设置为零，得到深度过滤遮罩；
11、a3.将得到的深度过滤遮罩添加至配准后的彩色图中，并在添加了深度遮罩的彩色图的人体候选框中提取二维人体骨架。
12、进一步的，所述步骤a2中将获取的每个像素的深度与空场景下的深度图中对应像素位置的深度进行比较，表示为：
13、；
14、其中， depthdist表示深度差值；dcurr表示人体候选框中每个像素的深度；dstatic表示空场景下的深度图中对应像素位置的像素深度；r,g,b表示人体候选框中每个像素三个通道的颜色分量；threshold1表示第一预设阈值；x，y表示二维彩色图像中像素的坐标；xleft、xright表示人体候选框的最小、最大水平坐标；ytop、ybottom表示人体候选框的最小、最大垂直坐标。
15、进一步的，所述步骤s2具体为：
16、b1.提取配准后的彩色图中的人体候选框；
17、b2.提取人体候选框内的所有像素点，将提取的所有像素点与配准后的深度图进行计算，得到所有三维点；
18、b3.通过相机到物理空间的变换矩阵将所有三维点进行变换处理，得到变换后的所有三维点；
19、b4.判断变换后的所有三维点的高度是否存在低于第二预设阈值的三维点，若是，则将低于第二预设阈值的三维点对应的像素设置为零，得到空间过滤遮罩；
20、b5.将得到的空间过滤遮罩添加至配准后的彩色图中，并在添加了空间过滤遮罩的彩色图的人体候选框中提取二维人体骨架。
21、进一步的，所述步骤s3中将得到的二维人体骨架与配准后的深度图进行计算以及步骤b2中将提取的所有像素点与配准后的深度图进行计算均表示为：
22、；
23、其中，pc表示三维点；x,y,z表示三维点的坐标；d表示配准后的深度图中与人体候选框中的每个像素深度对应像素位置的深度值；u,v表示二维点的坐标；fx,fy,cx,cy表示相机内部的参数。
24、进一步的，所述步骤b3中通过相机到物理空间的变换矩阵将所有三维点进行变换处理，表示为：
25、 p w= { r| t}*{ x, y, z,1}
26、 t c2w={ r| t}
27、 p c={ x, y, z,1}
28、其中，pw表示物理空间的三维点的齐次坐标形式；tc2w 表示相机坐标系到物理空间坐标系的变换矩阵；r、t表示相机的旋转和平移信息；x,y,z表示三维点的坐标。
29、进一步的，所述步骤b4中判断变换后的所有三维点的高度是否存在低于第二预设阈值的三维点，表示为：
30、；
31、其中，r,g,b表示人体候选框中每个像素三个通道的颜色分量；pw.z 表示三维点在物理坐标系下的高度信息； threshold2表示第二预设阈值。
32、进一步的，所述步骤s4具体为：
33、s41.构建得到本文档来自技高网...
【技术保护点】
1.一种基于深度相机三维人体骨架识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于深度相机三维人体骨架识别方法，其特征在于，所述步骤S2具体为：
3.根据权利要求2所述的一种基于深度相机三维人体骨架识别方法，其特征在于，所述步骤A2中将获取的每个像素的深度与空场景下的深度图中对应像素位置的深度进行比较，表示为：
4.根据权利要求1所述的一种基于深度相机三维人体骨架识别方法，其特征在于，所述步骤S2具体为：
5.根据权利要求4所述的一种基于深度相机三维人体骨架识别方法，其特征在于，所述步骤S3中将得到的二维人体骨架与配准后的深度图进行计算以及步骤B2中将提取的所有像素点与配准后的深度图进行计算均表示为：
6.根据权利要求5所述的一种基于深度相机三维人体骨架识别方法，其特征在于，所述步骤B3中通过相机到物理空间的变换矩阵将所有三维点进行变换处理，表示为：
7.根据权利要求6所述的一种基于深度相机三维人体骨架识别方法，其特征在于，所述步骤B4中判断变换后的所有三维点的高度是否存在低于第二预设阈值的三维点
8.根据权利要求1所述的一种基于深度相机三维人体骨架识别方法，其特征在于，所述步骤S4具体为：
9.一种基于深度相机三维人体骨架识别装置，用于执行权利要求1-8任一项所述的一种基于深度相机三维人体骨架识别方法，其中识别装置包括处理器，其特征在于，所述处理器内设置有：
10.根据权利要求9所述的一种基于深度相机三维人体骨架识别装置，其特征在于，所述处理器上连接有用于存储数据或指令的存储器。
...【技术特征摘要】
1.一种基于深度相机三维人体骨架识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于深度相机三维人体骨架识别方法，其特征在于，所述步骤s2具体为：
3.根据权利要求2所述的一种基于深度相机三维人体骨架识别方法，其特征在于，所述步骤a2中将获取的每个像素的深度与空场景下的深度图中对应像素位置的深度进行比较，表示为：
4.根据权利要求1所述的一种基于深度相机三维人体骨架识别方法，其特征在于，所述步骤s2具体为：
5.根据权利要求4所述的一种基于深度相机三维人体骨架识别方法，其特征在于，所述步骤s3中将得到的二维人体骨架与配准后的深度图进行计算以及步骤b2中将提取的所有像素点与配准后的深度图进行计算均表示为：
6.根据权利要求5所述的一种基于深...
【专利技术属性】
技术研发人员：胡斌，金永庆，郭骏杰，陈都，朱文韵，
申请(专利权)人：中安镜像杭州科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。