一种基于毫米波雷达点云的步态识别方法技术

本发明专利技术公开了一种基于毫米波雷达点云的步态识别方法，包括：1)对雷达输出的原始点云进行聚类、追踪获取目标点；2)坐标转换；3)使用随机采样的方法固定每一帧的目标点云数量；4)使用PointNet与双向LSTM获取步态的时间特征向量，使用T

【技术实现步骤摘要】
一种基于毫米波雷达点云的步态识别方法


[0001]本专利技术涉及毫米波雷达点云应用的
，尤其是指一种基于毫米波雷达点云的步态识别方法。

技术介绍

[0002]随着各类传感器的发展，提取人体的各种生物特征以进行身份识别的相关技术百花齐放，例如以光学、超声波为代表的指纹识别技术和以结构光为代表的人脸识别技术得到了广泛的应用。相比于指纹识别易受伪造、汗渍影响，人脸识别在疫情大环境下易被口罩阻挡，步态特征，由于是人在行走过程中由步幅、步长、步宽以及人体各个关节、肌肉周期性的运动产生的一种隐性生物特征，在静止状态下不会显现，具备唯一性、难伪造、可远距无感知采集的优点。这使得步态特征在医疗健康、智能家居、安防监控等领域有广阔的应用场景。目前，步态数据的获取有两大方案，一类是通过动作捕捉技术(Motion Capture System，简称MOCAP)重建场景下的3D人体模型，进而获得步态数据，此类方案不仅需要在测试环境中安装摄像机，往往还要求测试者在身上穿戴特制的紧身衣、传感器等设备。其优点在于步态信息丰富且精确，重建的3D人体模型包含人的轮廓、骨架、关节运动轨迹等信息，但成本较高，采集条件较苛刻，因此多用于电影特效制作、科学研究等领域。另一类则是利用单一类别的传感器来获取人在行走过程中某个部位的运动数据，包括但不限于足部压力传感器、可穿戴式惯性传感器、光学相机。该方案的成本较低，易于部署安装，但相对的步态信息较单一。例如在步态识别领域，以银河水滴公司为代表的工业界通过安装光学相机，抓拍人在行走经过特定路线时的照片序列，提取人体轮廓图来获取步态特征。该方案虽然降低了部署MOCAP的成本，但光学相机始终会受到光照、水汽等外界环境因素干扰，增加了从RGB图像提取轮廓图的难度。此外，轮廓图与人物的衣着打扮、以及相机安装角度相关，因此同一个人，穿不同的衣服、戴不同的饰品、背包，在不同角度的相机下，生成的轮廓图都会产生变化，对步态识别算法是很大的挑战；另一方面，在数据量上，RGB图像中的有效数据仅仅是目标的轮廓图，这需要实时运行轮廓图提取的预处理算法，额外的硬件算力完成对图片冗余数据的剔除以提取步态特征。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于毫米波雷达点云的步态识别方法，解决现有步态识别方法之中，MOCAP部署要求复杂，无法做到用户无感知，采集条件严苛且成本高昂；而采用光学相机容易受到环境光照、水汽等条件影响，同时图片需要更高的硬件算力实时预处理生成轮廓图，但提取轮廓图学习步态特征容易被目标衣着、装备干扰的这些技术问题。
[0004]为实现上述目的，本专利技术所提供的技术方案为：一种基于毫米波雷达点云的步态识别方法，包括以下步骤：
[0005]1)对毫米波雷达在目标行走过程中输出的原始点云分两步进行处理；第一步，以
椭圆形建模目标，使用DBSCAN算法进行聚类，去除背景噪点以及多径反射的镜像点，得到目标的初步检测结果；第二步，使用扩展卡尔曼滤波器，将当前帧目标的初步检测结果与前一帧目标的修正结果进行关联，输出当前帧目标的修正结果P，其中P是包含一组点的列表，即目标点云；
[0006]2)根据毫米波雷达在真实空间中的位置，对目标点云P在以毫米波雷达为原点的球坐标系下的三维坐标进行转换，获得以毫米波雷达在真实空间水平面上的投影为原点的直角坐标系下的三维坐标；
[0007]3)使用随机采样的方法处理连续M帧的目标点云P
i
|
i∈{1,2,
…
,M}
，所述i为帧数的索引序号，固定每一帧的目标点云P
i
|
i∈{1,2,
…
,M}
都包含N个点；
[0008]4)连续M帧的目标点云P
i
|
i∈{1,2,
…
,M}
，并行输入PointNet神经网络中，得到M个特征向量Feat
i
|
i∈{1,2,
…
,M}
；前面过程中点的三维坐标单独经过PointNet神经网络的T
‑
Net网络进行变换，获得M个中间张量Tensor
i
|
i∈{1,2,
…
,M}
；
[0009]5)Feat
i
|
i∈{1,2,
…
,M}
经双向LSTM网络与平均值池化AvgPool后得到步态的时间特征向量Vec
t
；同时，把Tensor
i
|
i∈{1,2,
…
,M}
在帧数维度合并为张量Tensor
M
，张量Tensor
M
输入一个不包含T
‑
Net网络的PointNet神经网络中，输出空间特征向量Vec
s
；时间特征向量Vec
t
与空间特征向量Vec
s
通过向量合并函数Concat合并为全局特征向量Vec
g
；
[0010]6)计算与全局特征向量Vec
g
距离最短的Cj所对应的身份类别索引j
opt
作为连续M帧目标点云P
i
|
i∈{1,2,
…
,M}
所属的身份类别，其中，所述Cj为已有身份类别集{C1,C2,
…
,CK}内身份类别j的全局特征向量，所述K为所述身份类别的总数。
[0011]进一步，在步骤4)中，连续M帧的目标点云P
i
|
i∈{1,2,
…
,M}
是并行输入PointNet神经网络中的，即M个PointNet神经网络同时对M帧进行计算，且这M个PointNet神经网络之间的参数共享。
[0012]进一步，在步骤5)中，M个中间张量Tensor
i
|
i∈{1,2,
…
,M}
输入不包含T
‑
Net网络的PointNet神经网络，该不包含T
‑
Net网络的PointNet神经网络与步骤4)中所述PointNet神经网络之间参数不共享；步骤4)中所述PointNet神经网络计算结果为M个特征向量Feat
i
|
i∈{1,2,
…
,M}
，以及M个中间张量Tensor
i
|
i∈{1,2,
…
,M}
，而步骤5)中所述不包含T
‑
Net网络的PointNet神经网络的计算结果为空间特征向量Vec
s
。
[0013]本专利技术与现有技术相比，具有如下优点与有益效果：
[0014]1、本专利技术采用毫米波雷达采集人行走过程中的步态信息，降低了环境本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于毫米波雷达点云的步态识别方法，其特征在于，包括以下步骤：1)对毫米波雷达在目标行走过程中输出的原始点云分两步进行处理；第一步，以椭圆形建模目标，使用DBSCAN算法进行聚类，去除背景噪点以及多径反射的镜像点，得到目标的初步检测结果；第二步，使用扩展卡尔曼滤波器，将当前帧目标的初步检测结果与前一帧目标的修正结果进行关联，输出当前帧目标的修正结果P，其中P是包含一组点的列表，即目标点云；2)根据毫米波雷达在真实空间中的位置，对目标点云P在以毫米波雷达为原点的球坐标系下的三维坐标进行转换，获得以毫米波雷达在真实空间水平面上的投影为原点的直角坐标系下的三维坐标；3)使用随机采样的方法处理连续M帧的目标点云P
i
|
i∈{1,2,
…
,M}
，所述i为帧数的索引序号，固定每一帧的目标点云P
i
|
i∈{1,2,
…
,M}
都包含N个点；4)连续M帧的目标点云P
i
|
i∈{1,2,
…
,M}
并行输入PointNet神经网络中，得到M个特征向量Feat
i
|
i∈{1,2,
…
,M}
；前面过程中点的三维坐标单独经过PointNet神经网络的T
‑
Net网络进行变换，获得M个中间张量Tensor
i
|
i∈{1,2,
…
,M}
；5)Feat
i
|
i∈{1,2,
…
,M}
经双向LSTM网络与平均值池化AvgPool后得到步态的时间特征向量Vec
t
；同时，把Tensor
i
|
i∈{1,2,
…
,M}
在帧数维度合并为张量Tensor
M
，张量Tensor
M
输入一个不包含T
‑
...

【专利技术属性】
技术研发人员：董守斌，杨杰，胡金龙，李文刚，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：