【技术实现步骤摘要】
本专利技术属于姿态估计领域，尤其涉及一种基于毫米波雷达的多人姿态估计方法。
技术介绍
1、姿态估计是指利用传感器推断人体关节点位置的任务，在健康监测、运动评估等领域有关键作用。现有的姿态估计算法主要使用摄像头作为传感器，但存在隐私泄露问题。基于惯性传感器的方法通过佩戴在用户身上的传感器进行姿态估计，存在舒适性差的问题。由于毫米波雷达主动发射的毫米波进行传感，具有无需光照和隐私保护的优点，在姿态估计中具有优势。现有的基于毫米波雷达的姿态估计算法主要分为使用毫米波点云的单人姿态估计算法和使用原始射频信号的多人姿态估计算法。毫米波点云具有轻量化的优点，但由于其稀疏性，在多人场景下姿态估计具有一定挑战性。原始射频信号包含完整的空间信息，但这种数据类型的文件尺寸较大，会给存储、传输和计算带来很大的负担。
技术实现思路
1、本专利技术的目的在于解决现有技术中存在的问题，并提供一种基于毫米波雷达的多人姿态估计方法，该方法使用毫米波雷达采集的点云作为输入数据，应用聚类算法分离每个人的点云，运用神经网络估计人体姿态，适用于有隐私保护需求的场景。
2、为了实现上述专利技术目的，本专利技术具体采用如下技术方案：
3、一种基于毫米波雷达的多人姿态估计方法，包括以下步骤：
4、s1.获取原始多人点云数据以及实时关节点数据，对原始多人点云数据以及实时关节点数据进行校准，使得原始多人点云数据以及实时关节点数据在相同的三维空间坐标系下，得到实时关节点的三维坐标，将实时关节点的三
5、s2.利用基于密度的聚类算法处理原始多人点云数据，将原始多人点云数据中的噪声点去除并将每个人的点云分离，得到分离后的多人点云数据，分离后的多人点云数据中包含每个人的独立点云数据，由每个人的独立点云数据和标签数据构建数据集；
6、s3.对待处理的独立点云数据进行预处理，得到预处理的独立点云数据，将预处理的独立点云数据输入到经过训练的基于点云的姿态估计神经网络，得到实时关节点的三维坐标预测值；所述姿态估计神经网络由空间嵌入层、第一特征提取层、第二特征提取层、全局特征提取层以及多分支的全连接层依次级联而成，所述姿态估计神经网络在所述数据集上训练。
7、在上述方案基础上，各步骤可以采用如下优选的具体方式实现。
8、作为优选，步骤s1中，在获取原始多人点云数据以及实时关节点数据时，预先部署好毫米波雷达和kinect传感器设备，由毫米波雷达获取原始多人点云数据，由kinect传感器设备获取实时关节点数据。
9、作为优选，步骤s1中，在对原始多人点云数据以及实时关节点数据进行校准时，将原始多人点云数据作为参考，将实时关节点数据以坐标平移的方式转换到原始多人点云数据的三维空间坐标系下，坐标平移的距离与毫米波雷达和kinect传感器设备之间的空间距离相等。
10、作为优选，步骤s1中，实时关节点数据总共21个，包括：脊椎底部、脊椎中部、颈部、头部、左肩、左肘、左腕、左手、右肩、右肘、右腕、右手、左髋、左膝、左踝、左脚、右髋、右膝、右踝、右脚和肩部中心。
11、作为优选，步骤s3中，所述预处理的具体过程为：由属于预设时间段内的待处理的独立点云数据组成点云序列，对点云序列进行滑动窗口处理，将预设窗口长度范围内的待处理的独立点云数据相加，相加结果作为得到待处理的融合点云，将待处理的融合点云填充至预设大小，填充时不足的部分使用待处理的独立点云数据中心点补足，得到预处理的独立点云数据。
12、作为优选，步骤s3中，所述姿态估计神经网络中的具体处理流程如下：
13、s31、将预处理的独立点云数据输入到所述空间嵌入层进行空间嵌入，得到空间嵌入向量；
14、s32、将空间嵌入向量依次经过第一特征提取层和第二特征提取层，得到深层次的局部姿态特征；
15、s33、将深层次的局部姿态特征输入到全局特征提取层，得到最终的全局姿态特征；
16、s34、将最终的全局姿态特征输入到多分支的全连接层，输出实时关节点的三维坐标预测值。
17、作为优选，步骤s3中，第一特征提取层和第二特征提取层中的具体处理流程相同，在每个特征提取层中，对输入的数据进行最远点采样，将最远点采样后得到的数据点作为采样点，在三维空间坐标系中依次计算每个采样点与预处理的独立点云数据中每个数据点的空间距离，将空间距离计算结果在给定值之内的所有数据点作为聚合结果，将聚合结果经过一个特征共享的多层感知机，通过最大池化操作选取聚合结果中最显著的特征作为每个采样点的特征，将所有采样点的特征作为特征提取层输出的特征。
18、作为优选，步骤s3中，全局特征提取层中的具体处理流程如下：将深层次的局部姿态特征输入到特征共享的全连接层，得到初始的全局姿态特征，对初始的全局姿态特征通过最大池化操作，得到最终的全局姿态特征。
19、作为优选，步骤s3中，所述空间嵌入层采用单层感知机实现。
20、作为优选，步骤s3中，多分支的全连接层共有21分支，每个分支用来预测一个实时关节点的三维坐标，每个分支的输出结果为一个实时关节点的三维坐标预测值。
21、本专利技术相对于现有技术而言，具有以下有益效果：
22、毫米波雷达点云作为传感数据形式，达到传输轻量化和隐私保护的效果。同时使用基于点云的神经网络预测关节点位置，达到实时多人姿态估计的效果。
本文档来自技高网...【技术保护点】
1.一种基于毫米波雷达的多人姿态估计方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于毫米波雷达的多人姿态估计方法，其特征在于，步骤S1中，在获取原始多人点云数据以及实时关节点数据时，预先部署好毫米波雷达和Kinect传感器设备，由毫米波雷达获取原始多人点云数据，由Kinect传感器设备获取实时关节点数据。
3.如权利要求2所述的一种基于毫米波雷达的多人姿态估计方法，其特征在于，步骤S1中，在对原始多人点云数据以及实时关节点数据进行校准时，将原始多人点云数据作为参考，将实时关节点数据以坐标平移的方式转换到原始多人点云数据的三维空间坐标系下，坐标平移的距离与毫米波雷达和Kinect传感器设备之间的空间距离相等。
4.如权利要求1所述的一种基于毫米波雷达的多人姿态估计方法，其特征在于，步骤S1中，实时关节点数据总共21个，包括：脊椎底部、脊椎中部、颈部、头部、左肩、左肘、左腕、左手、右肩、右肘、右腕、右手、左髋、左膝、左踝、左脚、右髋、右膝、右踝、右脚和肩部中心。
5.如权利要求1所述的一种基于毫米波雷达的多人姿态估计方法
6.如权利要求1所述的一种基于毫米波雷达的多人姿态估计方法，其特征在于，步骤S3中，所述姿态估计神经网络中的具体处理流程如下：
7.如权利要求6所述的一种基于毫米波雷达的多人姿态估计方法，其特征在于，步骤S3中，第一特征提取层和第二特征提取层中的具体处理流程相同，在每个特征提取层中，对输入的数据进行最远点采样，将最远点采样后得到的数据点作为采样点，在三维空间坐标系中依次计算每个采样点与预处理的独立点云数据中每个数据点的空间距离，将空间距离计算结果在给定值之内的所有数据点作为聚合结果，将聚合结果经过一个特征共享的多层感知机，通过最大池化操作选取聚合结果中最显著的特征作为每个采样点的特征，将所有采样点的特征作为特征提取层输出的特征。
8.如权利要求7所述的一种基于毫米波雷达的多人姿态估计方法，其特征在于，步骤S3中，全局特征提取层中的具体处理流程如下：将深层次的局部姿态特征输入到特征共享的全连接层，得到初始的全局姿态特征，对初始的全局姿态特征通过最大池化操作，得到最终的全局姿态特征。
9.如权利要求1所述的一种基于毫米波雷达的多人姿态估计方法，其特征在于，步骤S3中，所述空间嵌入层采用单层感知机实现。
10.如权利要求4所述的一种基于毫米波雷达的多人姿态估计方法，其特征在于，步骤S3中，多分支的全连接层共有21分支，每个分支用来预测一个实时关节点的三维坐标，每个分支的输出结果为一个实时关节点的三维坐标预测值。
...【技术特征摘要】
1.一种基于毫米波雷达的多人姿态估计方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于毫米波雷达的多人姿态估计方法，其特征在于，步骤s1中，在获取原始多人点云数据以及实时关节点数据时，预先部署好毫米波雷达和kinect传感器设备，由毫米波雷达获取原始多人点云数据，由kinect传感器设备获取实时关节点数据。
3.如权利要求2所述的一种基于毫米波雷达的多人姿态估计方法，其特征在于，步骤s1中，在对原始多人点云数据以及实时关节点数据进行校准时，将原始多人点云数据作为参考，将实时关节点数据以坐标平移的方式转换到原始多人点云数据的三维空间坐标系下，坐标平移的距离与毫米波雷达和kinect传感器设备之间的空间距离相等。
4.如权利要求1所述的一种基于毫米波雷达的多人姿态估计方法，其特征在于，步骤s1中，实时关节点数据总共21个，包括：脊椎底部、脊椎中部、颈部、头部、左肩、左肘、左腕、左手、右肩、右肘、右腕、右手、左髋、左膝、左踝、左脚、右髋、右膝、右踝、右脚和肩部中心。
5.如权利要求1所述的一种基于毫米波雷达的多人姿态估计方法，其特征在于，步骤s3中，所述预处理的具体过程为：由属于预设时间段内的待处理的独立点云数据组成点云序列，对点云序列进行滑动窗口处理，将预设窗口长度范围内的待处理的独立点云数据相加，相加结果作为得到待处理的融合点云，将待处理的融合点云填充至预设大小，填充时不足的部分使用待处理的独立点云数据中心点补足，得到预处理...
【专利技术属性】
技术研发人员：冯玥瑄，周渝林，王朝，吴超，回晓楠，章献民，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。