动态手势雷达识别方法和装置制造方法及图纸

本发明专利技术公开了一种动态手势雷达识别方法和装置。该方法包括：采集预设数量的时域回波信号作为样本数据，其中，样本数据中包括每个类型的动态手势归一化的时频图和该动态手势的类型；对样本数据进行预处理，得到样本归一化的时频图；根据样本归一化的时频图进行建模，得到动态手势识别模型的模型参数；根据动态手势识别模型对待识别的动态手势进行识别，得到待识别的动态手势的类型。通过本发明专利技术，达到了提高动态手势雷达识别准确率的效果。

【技术实现步骤摘要】
动态手势雷达识别方法和装置
本专利技术涉及人机交互领域，具体而言，涉及一种动态手势雷达识别方法和装置。
技术介绍
使用雷达观测目标，具有长距离、全天时全天候的优势。雷达微多普勒效应是指在目标质心运动导致的多普勒效应的基础上，由目标相对质心的震动、转动等引起的附加多普勒效应.目标的微多普勒频移随时间的变化规律，即微多普勒时频图，能够反映目标的运动姿态与结构信息，从而作为目标识别的特征，用于飞行器识别、人体姿态识别、手势识别等应用场景。基于微多普勒特征的经典目标识别算法通常分为特征提取和分类两个步骤，即算法首先从多普勒时频图中提取具有数据特异性的经验特征，或不具有数据特异性的数学变换特征，再将上述特征输入经典分类器(如支持向量机、朴素贝叶斯分类器、近邻分类器)得到识别结果。卷积神经网络是一种近年来兴起的模式识别算法，它在视觉、语音等领域的多种识别任务中获得了超越经典识别算法的识别准确率，且无需领域内专业人员选择经验特征，具有技术研发速度快、普适性好的特点。收发天线位于同一位置，且仅具有一对收发天线的雷达系统称为单通道雷达；具有多个收(或发)天线，并在空间中按一定间距排布的雷达系统则称为多通道雷达。单通道雷达的显著缺点是仅能获取径向多普勒信息，而对与径向垂直的横向多普勒分量不具有感知能力，因此不能获得完整的目标运动信息.对于手势识别任务，手部运动通常不会局限于径向，无法感知横向多普勒分量将会极大地限制手势识别精度。而多通道雷达具有多条收发路径，能够从不同角度同时观测目标，从而同时获得目标的径向、横向运动信息。其中，一个关键问题是如何融合来自不同节点或收发路径的数据。结合卷积神经网络的算法优势和多通道雷达的雷达体制优势是一个具有前景的发展方向。文献Z.Chen,G.Li,F.Fioranelli,andH.Griffiths,“Dynamichandgestureclassificationbasedonmultistaticradarmicro-Dopplersignaturesusingconvolutionalneuralnetwork,”IEEERadarConf.,Boston,MA,2019.公开了一种基于多通道雷达微多普勒的手势识别方法。该方法所使用的多通道雷达具有一个位于中心的发射天线和四个位于四角的接收天线，该方法将各接收天线所获得信号的微多普勒时频图输入一个卷积神经网络，以实现对六种手势的分类。针对如何融合来自不同接收天线数据的问题，该方法设计了一种多路输入单路输出模型，其中多条输入支路在一个预先指定的位点进行单层信息融合。为寻找最优融合位点，该方法对卷积神经网络进行了多次训练，遍历了所有可能的单层融合位点。该方法的突出缺点在于，其一，遍历所有融合位点耗费大量训练时间；其二，在神经网络中的某一个位置做单层融合，对手势的识别效果不佳。针对相关技术中基于多通道雷达微多普勒的手势识别方法识别效果差的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术的主要目的在于提供一种动态手势雷达识别方法和装置，以解决基于多通道雷达微多普勒的手势识别方法识别效果差的问题。为了实现上述目的，根据本专利技术的一个方面，提供了一种动态手势雷达识别方法，该方法包括：采集预设数量的时域回波信号作为样本数据，其中，所述样本数据中包括每个类型的动态手势归一化的时频图和该动态手势的类型；对所述样本数据进行预处理，得到样本归一化的时频图；根据所述样本归一化的时频图进行建模，得到动态手势识别模型的模型参数，其中，所述动态手势识别模型为卷积神经网络模型，所述卷积神经网络模型具有N路输入和一路输出，N路输入分别对应N路时域回波信号的归一化多分辨率时频图，所述卷积神经网络模型的N路输入经过特征融合网络融合为一路，再经过分类网络得到一路输出，所述一路输出用于表征动态手势在各个手势种类的概率分布中概率最大的种类；根据所述动态手势识别模型对待识别的动态手势进行识别，得到所述待识别的动态手势的类型。进一步地，根据所述动态手势识别模型对待识别的动态手势进行识别包括：获取所述待识别的动态手势的时域回波信号；对所述时域回波信号进行数据处理，得到归一化多分辨率时频图；将所述归一化多分辨率时频图输入到所述卷积神经网络模型进行识别，得到所述待识别的动态手势的类型。进一步地，根据所述动态手势识别模型对待识别的动态手势进行识别，得到所述待识别的动态手势的类型包括：根据所述动态手势识别模型对待识别的动态手势进行识别，得到所述待识别的动态手势归属的类型和对应于该类型的概率；将概率最大值对应的类型确定为所述待识别的动态手势的类型。进一步地，所述特征融合网络具有N路输入和一路输出，包括处理模块、融合模块和加权融合节点构成，每个处理模块具有一路输入和一路输出，每个融合模块具有N路输入和一路输出，每个加权融合节点具有两路输入和一路输出，且输入输出关系为：zl＝xl，1·wl+xl，2·(1-wl)，其中，xl，1为加权融合节点Vl的第一输入，xl，2为加权融合节点Vl的第二输入，zl为加权融合节点Vl的输出。进一步地，所述卷积神经网络模型的每个支路的输入的第一维、第二维、第三维分别对应归一化多分辨率时频图的自变量t，f和k，根据所述分类网络输出个手势种类的概率分布确定概率分布与每个类型的动态手势之间的交叉熵损失函数，通过随机梯度下降方法对所述交叉熵损失函数进行最小化计算，得到所述动态手势识别模型的模型参数。为了实现上述目的，根据本专利技术的另一方面，还提供了一种动态手势雷达识别装置，该装置包括：采集单元，用于采集预设数量的时域回波信号作为样本数据，其中，所述样本数据中包括每个类型的动态手势归一化的时频图和该动态手势的类型；处理单元，用于对所述样本数据进行预处理，得到样本归一化的时频图；建模单元，用于根据所述样本归一化的时频图进行建模，得到动态手势识别模型的模型参数，其中，所述动态手势识别模型为卷积神经网络模型，所述卷积神经网络模型具有N路输入和一路输出，N路输入分别对应N路时域回波信号的归一化多分辨率时频图，所述卷积神经网络模型的N路输入经过特征融合网络融合为一路，再经过分类网络得到一路输出，所述一路输出用于表征动态手势在各个手势种类的概率分布中概率最大的种类；识别单元，用于根据所述动态手势识别模型对待识别的动态手势进行识别，得到所述待识别的动态手势的类型。进一步地，所述识别单元包括：获取模块，用于获取所述待识别的动态手势的时域回波信号；处理模块，用于对所述时域回波信号进行数据处理，得到归一化多分辨率时频图；第一识别模块，用于将所述归一化多分辨率时频图输入到所述卷积神经网络模型进行识别，得到所述待识别的动态手势的类型。进一步地，所述识别单元包括：第二识别模块，用于根据所述动态手势识别模型对待识别的动态手势进行识别，得到所述待识别的动态手势归属的类型和对应于该类型的概率；确定模块，用于将概率最大值对应的类型确定为所述待识别的动态手势的类型。为了实现上述目的，根据本专利技术的另一方面，还提供了一种存储介质，包括本文档来自技高网...

【技术保护点】
1.一种动态手势雷达识别方法，其特征在于，包括：/n采集预设数量的时域回波信号作为样本数据，其中，所述样本数据中包括每个类型的动态手势归一化的时频图和该动态手势的类型；/n对所述样本数据进行预处理，得到样本归一化的时频图；/n根据所述样本归一化的时频图进行建模，得到动态手势识别模型的模型参数，其中，所述动态手势识别模型为卷积神经网络模型，所述卷积神经网络模型具有N路输入和一路输出，N路输入分别对应N路时域回波信号的归一化多分辨率时频图，所述卷积神经网络模型的N路输入经过特征融合网络融合为一路，再经过分类网络得到一路输出，所述一路输出用于表征动态手势在各个手势种类的概率分布中概率最大的种类；/n根据所述动态手势识别模型对待识别的动态手势进行识别，得到所述待识别的动态手势的类型。/n

【技术特征摘要】
1.一种动态手势雷达识别方法，其特征在于，包括：
采集预设数量的时域回波信号作为样本数据，其中，所述样本数据中包括每个类型的动态手势归一化的时频图和该动态手势的类型；
对所述样本数据进行预处理，得到样本归一化的时频图；
根据所述样本归一化的时频图进行建模，得到动态手势识别模型的模型参数，其中，所述动态手势识别模型为卷积神经网络模型，所述卷积神经网络模型具有N路输入和一路输出，N路输入分别对应N路时域回波信号的归一化多分辨率时频图，所述卷积神经网络模型的N路输入经过特征融合网络融合为一路，再经过分类网络得到一路输出，所述一路输出用于表征动态手势在各个手势种类的概率分布中概率最大的种类；
根据所述动态手势识别模型对待识别的动态手势进行识别，得到所述待识别的动态手势的类型。


2.根据权利要求1所述的方法，其特征在于，根据所述动态手势识别模型对待识别的动态手势进行识别包括：
获取所述待识别的动态手势的时域回波信号；
对所述时域回波信号进行数据处理，得到归一化多分辨率时频图；
将所述归一化多分辨率时频图输入到所述卷积神经网络模型进行识别，得到所述待识别的动态手势的类型。


3.根据权利要求1所述的方法，其特征在于，根据所述动态手势识别模型对待识别的动态手势进行识别，得到所述待识别的动态手势的类型包括：
根据所述动态手势识别模型对待识别的动态手势进行识别，得到所述待识别的动态手势归属的类型和对应于该类型的概率；
将概率最大值对应的类型确定为所述待识别的动态手势的类型。


4.根据权利要求1所述的方法，其特征在于，所述特征融合网络具有N路输入和一路输出，包括处理模块、融合模块和加权融合节点构成，每个处理模块具有一路输入和一路输出，每个融合模块具有N路输入和一路输出，每个加权融合节点具有两路输入和一路输出，且输入输出关系为：zl＝xl，1·wl+xl，2·(1-wl)，其中，xl，1为加权融合节点Vl的第一输入，xl，2为加权融合节点Vl的第二输入，zl为加权融合节点Vl的输出。


5.根据权利要求4所述的方法，其特征在于，所述卷积神经网络模型的每个支路的输入的第一维、第二维、第三维分别对应归一化多分辨率时频图的自变量t，f和k，根据所述分类网络输出个手势种类的概率分布确定概...

【专利技术属性】
技术研发人员：丁玉国，陈兆希，
申请(专利权)人：北京清雷科技有限公司，
类型：发明
国别省市：北京;11