【技术实现步骤摘要】
应用于随机干扰场景下的毫米波雷达动态手势识别方法
[0001]本专利技术属于毫米波雷达手势识别
，涉及雷达信号处理和深度学习技术，具体涉及一种应用于随机干扰场景下的毫米波雷达动态手势识别方法。
技术介绍
[0002]近年来，非接触式的手势识别在智能家居、辅助手语交流、无接触式外科手术等领域得到广泛应用。毫米波雷达具有穿透障碍物和捕获细微动作的能力，可以在无光照环境下工作，通常被选作无接触式手势识别的传感器，如谷歌公司开发的应用于人机交互的Project Soli传感器。
[0003]从毫米波雷达信号中获取目标的特征是识别动态手势的关键。在早期阶段，研究人员主要是利用雷达回波对手势的距离、多普勒和角度等低维特征进行参数估计，从而得到各种手势特征谱图，然后将特征谱图以图片数据集的形式输入支持向量机或卷积神经网络(Convolutional Neural Networks，CNN)等分类器进行识别。例如，文献“S.Ryu,J.Suh,S.Baek,S.Hong and J.Kim,"Feature
‑
Based Hand Gesture Recognition Using an FMCW Radar and its Temporal Feature Analysis,"in IEEE Sensors Journal,vol.18,no.18,pp.7593
‑
7602,15Sept.15,2018.”利用FMCW雷达获取距离
‑
多普勒图(Range>‑
Doppler Map，RDM)，通过量子进化算法(quantum
‑
inspired evolutionary algorithm，QEA)进行特征选择，并依靠RDM特征集中提取的特征子集分类动态手势。文献“S.Hazra and A.Santra,"Short
‑
Range Radar
‑
Based Gesture Recognition System Using 3D CNN With Triplet Loss,"in IEEE Access,vol.7,pp.125623
‑
125633,2019.”提出一种基于距离维特征的元学习方法，以3D
‑
CNN模型为框架，采用k最近邻(kNN)算法对已知手势进行分类，距离阈值用于拒绝未知手势，并用聚类法添加新的自定义手势，而无需对模型重新训练。然而，这些方法依靠从时频分布中进行人工选择和提取特征，人为构建的频谱图数据破坏了手势数据的整体性，使识别模型由数据驱动转变成了特征驱动，其性能受特征利用率的影响较大。
[0004]相比之下，深度学习方法提取的特征是从数据中训练出来的，具有学习高维特征(如特征重要性，时间相关性等)的能力。而且，诸如递归神经网络(RNN)和注意力机制等方法也已被用来开发雷达回波中的时间信息。基于此，文献“S.Hazra and A.Santra,"Robust Gesture Recognition Using Millimetric
‑
Wave Radar System,"in IEEE Sensors Letters,vol.2,no.4,pp.1
‑
4,Dec.2018,Art no.7001804.”针对距离多普勒图像序列建立了一种混合神经网络，设计全卷积神经网络用于提取谱图中的特征，并采用LSTM层进行时间序列建模，最后通过全连接层输出手势分类标签。文献“C.Du,L.Zhang,X.Sun,J.Wang and J.Sheng,"Enhanced Multi
‑
Channel Feature Synthesis for Hand Gesture Recognition Based on CNN With a Channel and Spatial Attention Mechanism,"in IEEE Access,vol.8,pp.144610
‑
144620,2020.”针对复杂环境下的手势识别，提出了一种基于空间多普勒注意机制的神经网络模型。该模型首先通过快速傅里叶变换(FFT)和数字
波束形成构建多特征谱图的时间序列，采用基于时间分布的卷积神经网络学习特征，然后通过多普勒注意机制抑制干扰以获得有效手势信息，最后传递到LSTM层进行时间建模和分类。最近，一些研究专注于从原始雷达信号中提取时间相关性和抑制噪声，并且已成功应用于人类活动识别。例如，文献“Chen,H.,and W.Ye."Classification of Human Activity Based on Radar Signal Using 1
‑
D Convolutional Neural Network."IEEE Geoscience and Remote Sensing Letters PP.99(2019):1
‑
5.”首次提出了一种以雷达原始回波序列为输入的端到端一维CNN，利用一维卷积层替代提取特征的STFT算法，用于识别雷达信号中的人类活动。文献“R.Zhao,X.Ma,X.Liu and F.Li,"Continuous Human Motion Recognition Using Micro
‑
Doppler Signatures in the Scenario With Micro Motion Interference,"in IEEE Sensors Journal,vol.21,no.4,pp.5022
‑
5034,15Feb.15,2021.”设计了一种信号预处理结构，采用经验模态分解(Empirical Mode Decomposition，EMD)去除雷达原始信号中的微运动干扰，并通过多窗口时频表示(Multiwindow Time
‑
Frequency Representation，MTFR)进行时频分析，得到高度集中的时频分布(the time
‑
frequency distribution，TFD)，然后从TFD中识别出连续的人体运动。
[0005]但是，大多数研究主要集中在无干扰情况下的动态手势识别。在实际应用中往往存在人为干扰的情况，此时有效手势特征是我们关注的对象，因此特征的关联性和重要性将对识别起决定性作用。传统识别方法将动态手势的雷达回波表示到时频域(如TFD或RDM)，时频分析等方法仅能对信号进行降噪处理，难以捕捉有效手势的特征关联性。而且，在接收的雷达回波信号中，随机动态干扰信号会与手势信号混合而难以分辨。
技术实现思路
[0006]专利技术目的：为了克服现有技术中存在的随机干扰的情况下难以分辨干扰信号和手势信号的问题，提供一种应用于随机干扰场景下的基于自注意时序神经网络(Self
‑
attention 本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.应用于随机干扰场景下的毫米波雷达动态手势识别方法，其特征在于，包括如下步骤：S1：通过毫米波雷达捕获手势信息，解析雷达原始回波序列，按雷达原始回波的时域结构构建输入数据块；S2：通过基于时间分布层的包装器、一维卷积与全局池化层和Inception V3网络结构搭建卷积神经网络模块；S3：利用卷积神经网络模块的一维时序卷积神经网络对雷达回波进行特征信息提取；S4：通过帧间自注意机制为提取的特征分配权重值，获得序列的帧间相关性并抑制随机干扰；S5：通过全局平均池化层和全连接层将前面提取的特征经过非线性变换映射到标签集，并输出识别结果。2.根据权利要求1所述的应用于随机干扰场景下的毫米波雷达动态手势识别方法，其特征在于，所述步骤S1中雷达原始回波序列的解析方法为：读入采集的雷达原始回波，按接收天线划分序列，设定每个序列长度，并按照实部和虚部分割，再根据帧划分序列，重组后得到结构为帧
×
序列
×
通道的输入数据块。3.根据权利要求1所述的应用于随机干扰场景下的毫米波雷达动态手势识别方法，其特征在于：所述步骤S2中卷积神经网络模块的搭建方法为：采用基于时间分布的一维卷积层和池化层进行计算，采用一维卷积层和全局平均池化层搭建TD
‑
Inception子网组。4.根据权利要求1所述的应用于随机干扰场景下的毫米波雷达动态手势识别方法，其特征在于：所述步骤S4中帧间自注意机制根据帧序列中底层特征的关联性，计算帧与帧之间的特征距离，并为每一帧序列片段分配权重。5.根据权利要求4所述的应用于随机干扰场景下的毫米波雷达动态手势识别方法，其特征在于：所述权重的计算和分配方法为：A1：通过全连接层初始化参数矩阵，定义帧序列映射：键(Key)、查询(Query)和值(Value)；A2：根据向量点积的几何意义，计算Query与Key之间的帧间相关性，得到注意力得分；A3：通过softmax函数对注意力得分进行归一化处理获得得分权重，并按得分权重对value进行加权求和。6.根据权利要求5所述的应用于随机干扰场景下的毫米波雷达动态手势识别方法，其特征在于：所述步骤A1中键(Key)、查询(Query)和值(Value)的表达式为：其中，Query为输入帧序列的标准，用Key匹配这个标准得到每一帧的得分，最后将得分按比例分配给Value，W
iK
表示匹配给第i帧序列得分的参数矩阵，W
iQ
表示给第i帧序列的标准的参数矩阵，W
iV
表示分配给第i帧序列Value的参数矩阵，x
i
为输入的第i帧的序列。7.根据权利要求5所述的应用于随机干扰...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。