【技术实现步骤摘要】
本专利技术涉及多人动作识别技术，尤其涉及一种基于多任务深度学习的毫米波多人动作识别技术。
技术介绍
1、随着物联网和人工智能的发展，基于无线信号和深度学习的动作识别已成为可能，并在智能监控、人机交互等领域获得广泛应用。尤其是基于毫米波雷达的无线感知技术，由于毫米波高频率高带宽的特点，能够实现高精度识别。但现有动作识别技术大多针对单人场景，在多人场景下难以进行正确识别。少量针对多人动作识别的方法几乎都基于单任务学习模型或传统信号处理方法，在面对复杂多变环境时，尤其是多人同时进行不同动作的情况下，识别准确率显著下降。
技术实现思路
1、本专利技术所要解决的技术问题是，提出一种基于单个毫米波雷达同时处理多个相关任务的多任务学习模型，在预先未知人数和动作模式情况下基于同一模型同时实现单人动作识别、多人独立动作识别和多人交互动作识别的方法。
2、本专利技术为解决上述问题所采用的技术方案是，一种基于多任务学习的毫米波多人动作识别方法，包括步骤：
3、数据采集步骤：接收监测环境中毫米波雷达反射信号并转化为点云数据；
4、点云去噪步骤：点云数据首先通过基于密度的聚类算法dbscan进行去噪处理，对未被簇包含的点云数据进行去除，将dbscan去噪得到的点云数据输出至轨迹片段与压缩多普勒图输出步骤；
5、点云聚类步骤：对动作模式判别为多人独立动作的去噪后的点云数据进行k-means聚类，将k-means聚类得到的每一个簇的点云数据分别输出至轨迹片段与压缩
6、轨迹片段与压缩多普勒图输出步骤：对输入的点云数据匹配关联数据点形成若干轨迹，再统一轨迹的长度和数量形成轨迹片段；同时，依据输入的点云数据得到对应的位置信息，按照位置信息对毫米波雷达反射信号的三维距离多普勒数据进行分割得到局部三维距离多普勒数据，再对局部三维距离多普勒数据进行速度维度压缩得到二维压缩多普勒图；
7、特征提取与融合步骤：分别对轨迹片段和二维压缩多普勒图进行特征提取并融合得到动作特征；
8、任务特征提取步骤：完成训练的多任务学习模型的任务特征提取部分接收输入的动作特征；共享特征提取层从动作特征中提取所有任务中共享的通用信息输出共享特征至各任务特征提取层的门控机制中；任务特征提取层包括动作模式判别任务特征提取层、独立动作识别任务特征提取层和交互动作识别任务特征提取层；任务特征提取层从动作特征中分别提取动作模式判别任务特征、独立动作识别任务特征和交互动作识别任务特征并输出至对应的门控机制中；门控机制对接收到的共享特征和对应任务特征进行加权过滤后输出至多任务学习模型的动作识别部分中相应的任务分类器中；
9、动作识别步骤：多任务学习模型动作识别部分的动作模式分类器接收来自于动作模式判别任务门控机制输出的加权过滤后的特征，独立动作分类器接收来自于独立动作识别任务门控机制输出的加权过滤后的特征，交互动作分类器接收来自于交互动作识别任务门控机制输出的加权过滤后的特征；当动作模式分类器输出的动作模式为单人动作，则直接采用独立动作分类器输出的动作类别作为最终的动作识别结果；当动作模式分类器输出的动作模式为多人交互动作，则直接采用交互动作分类器输出的动作类别作为最终的动作识别结果；当动作模式分类器输出的动作模式为多人独立动作，则重新点云聚类步骤。
10、本专利技术提出一种基于多任务深度学习模型的多人实时动作识别方法。利用毫米波雷达采集动作数据，通过聚类分割点云数据获得多人数据。分割后的数据经过预处理生成点云轨迹和压缩多普勒图，通过特征提取获得时序和空间特征信息，融合后得到动作特征表征。动作特征通过多任务学习模型中的多任务特征提取结构和门控机制进行进一步特征提取与加权过滤后，由多个任务分类器实现不同场景下的动作识别。
11、相比于传统的单任务学习，多任务学习模型能够同时处理多个相关任务，从而提高模型的精确性、鲁棒性和实时性。本专利技术提出的多任务深度学习模型通过对不同任务数据进行共享表示和独立表示，能够在同一模型中同时实现动作模式判别、独立动作识别和交互动作识别三个任务，从而实现在预先未知人数和动作模式情况下的单人动作识别、多人独立动作识别、多人交互动作识别，既能提高毫米波多人动作识别的准确性，也能保证识别过程中的效率。
12、本专利技术的有益效果是：基于单个毫米波雷达，就能够实现多人场景下的独立动作和交互动作识别。在未知人数和动作模式的情况下，基于同一个深度学习模型就能根据输入样本自动进行动作模式判别，并识别单人动作类别、多人独立动作类别和多人交互动作类别，解决了业界无线多人识别的难题。通过设计有效的数据预处理方法和采用先进的特征提取模型，确保了动作识别的精准性。通过设计多任务特征提取模型结构、区分共享特征提取和任务特征提取、采用门控机制，能够动态选择任务特征提取模型并调整输入到任务特征提取模型的特征流，实现信息共享和任务平衡，最终实现不同场景下的精确的多人动作识别。
13、验证实验中，单人动作识别准确率能够达到99％，双人独立动作识别准确率能够达到91％，双人交互动作识别准确率能够达到99％。
本文档来自技高网...【技术保护点】
1.一种基于多任务学习的毫米波多人动作识别方法，其特征在于，包括以下步骤：
2.如权利要求1所述方法，其特征在于，毫米波雷达反射信号为调频连续波FMCW信号。
3.如权利要求1所述方法，其特征在于，轨迹片段与压缩多普勒图输出步骤中，采用匈牙利算法对输入的点云数据匹配关联数据点形成若干初始轨迹片段，再统一轨迹片段的长度和数量形成轨迹片段；轨迹片段的筛选或复制依据其重要性进行。
4.如权利要求1所述方法，其特征在于，特征提取与融合步骤中通过Transformer模型对轨迹片段进行特征提取，通过ConvNeXt模型对二维压缩多普勒图进行特征提取。
5.如权利要求1所述方法，其特征在于，特征提取与融合步骤中采用交叉注意力机制进行特征融合；融合时，将二维压缩多普勒特征作为查询向量Q，将轨迹片段特征作为键K和值V。
6.如权利要求1所述方法，其特征在于，所述共享特征提取层包括4个特征提取网络，每个特征提取网络的结构均为多层前馈神经网络。
7.如权利要求1所述方法，其特征在于，动作模式判别任务特征提取层、独立动作识别任务特
8.如权利要求1所述方法，其特征在于，各门控机制采用一个单层前馈神经网络，激活函数为Softmax。
9.如权利要求1所述方法，其特征在于，所述二维压缩多普勒图为三通道数据，一个通道为原始的速度维度压缩后的二维多普勒数据，另两个通道分别为原始的速度维度压缩后的二维多普勒数据中提取的出来正值部分和负值部分。
10.如权利要求1所述方法，其特征在于，模型训练时通过构建任务掩码定义多任务组合损失函数；任务掩码定义为：mask＝[动作模式，独立动作，交互动作]，相应位满足则置1，不满足则置0。
...【技术特征摘要】
1.一种基于多任务学习的毫米波多人动作识别方法，其特征在于，包括以下步骤：
2.如权利要求1所述方法，其特征在于，毫米波雷达反射信号为调频连续波fmcw信号。
3.如权利要求1所述方法，其特征在于，轨迹片段与压缩多普勒图输出步骤中，采用匈牙利算法对输入的点云数据匹配关联数据点形成若干初始轨迹片段，再统一轨迹片段的长度和数量形成轨迹片段；轨迹片段的筛选或复制依据其重要性进行。
4.如权利要求1所述方法，其特征在于，特征提取与融合步骤中通过transformer模型对轨迹片段进行特征提取，通过convnext模型对二维压缩多普勒图进行特征提取。
5.如权利要求1所述方法，其特征在于，特征提取与融合步骤中采用交叉注意力机制进行特征融合；融合时，将二维压缩多普勒特征作为查询向量q，将轨迹片段特征作为键k和值v。
6.如权利要求1所述方法，其特征在于，所述共享特征...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。