【技术实现步骤摘要】
本专利技术涉及手势识别，具体是一种基于双向距离-多普勒信息融合的手势识别方法。
技术介绍
1、手势识别技术是人机交互领域的典型代表。近年来，手势识别技术在人机交互领域具有重要的应用价值，广泛地用于智能车载、家居家电、康养医疗、智慧城市等多种应用场景。其中，基于毫米波雷达的手势识别技术具有隐私性高、穿透性强、全天时、全天候使用等优势，是目前研究最为广泛的手势识别方式。
2、目前，基于毫米波雷达的手势识别技术，研究方向主要集中在手势特征提取和识别算法。德州仪器公司的greg malysa使用77ghz雷达测量了6种手势，并利用隐型马尔可夫模型进行分类，准确率可达83.3％。加利福尼亚州立大学的yangwook kim使用多普勒雷达采集七种手势回波信号，并利用深度卷积神经网络进行分类，准确率可达87.12％。nvida研究中心的pavlo molchanov利用短程调频连续波对驾驶员动态手势进行识别，具有较好识别效果。b.dekker等研究人员将多普勒－时间谱的实部和虚部作为两个通道的输入数据，采用深度卷积神经网络手势分类，测试集上达到了99％的分类准确率。infineon公司人员利用60ghz毫米波雷达提取5种小幅度运动的手势的距离多普勒特征图像，通过长循环全卷积模型神经网络进行训练，手势识别效果较好，准确率达到93.34％。江苏科技大学的靳标等人基于毫米波雷达获取动态手势的原始回波，利用1维卷积、池化操作提取手势特征，输入1维inception v3结构，接入长短期记忆(lstm)网络聚合1维特征，准确率可达96％以上
3、然而，上述现有的研究成果主要对径向距离及多普勒特征具有较好识别度，而对横向信息提取效果不佳，使得一些手势由于在一个方向上具有相似的距离和多普勒特征而无法区分。
技术实现思路
1、针对上述现有技术中的不足，本专利技术提供一种基于双向距离-多普勒信息融合的手势识别方法，通过提取水平、竖直两个方向上的距离多普勒特征进行手势识别，从而提高手势识别的准确率。
2、为实现上述目的，本专利技术提供一种基于双向距离-多普勒信息融合的手势识别方法，在待测手势的水平方向上布置1个调频连续波雷达，在待测手势的竖直方向上布置1个调频连续波雷达；
3、所述手势识别方法包括如下步骤：
4、步骤1，获取水平方向上调频连续波雷达的水平方向回波信号，以及获取竖直方向上调频连续波雷达的竖直方向回波信号；
5、步骤2，获取每一帧所述水平方向回波信号对应的水平方向上的距离-多普勒图，以及获取每一帧所述竖直方向回波信号对应的竖直方向上的距离-多普勒图
6、步骤3，基于多帧水平方向上的距离-多普勒图构建水平多普勒-时间图、水平距离-时间图，以及基于多帧竖直方向上的距离-多普勒图构建竖直多普勒-时间图、竖直距离-时间图；
7、步骤4，基于所述水平多普勒-时间图、所述水平距离-时间图、所述竖直多普勒-时间图、所述竖直距离-时间图构建融合双方向距离多普勒信息的时间序列图；
8、步骤5，基于融合双方向距离多普勒信息的时间序列图进行手势识别，得到并输出手势识别结果。
9、在其中一个实施例，步骤1中，在获取所述水平方向回波信号、所述竖直方向回波信号的过程中，控制两个所述调频连续波雷达交替发射多帧线性调频信号，从而交替获取所述水平方向回波信号与所述竖直方向回波信号。
10、在其中一个实施例，步骤2中，所述水平多普勒-时间图、所述水平距离-时间图的构建过程为：
11、调频连续波雷达在水平方向连续发射调频连续波信号，获取每一帧所述水平方向回波信号，构建水平回波矩阵；
12、对所述水平回波矩阵按列进行傅里叶变换，再按行进行傅里叶变换，得到水平方向上的距离-多普勒图；
13、在每一帧所述水平方向回波信号对应的距离-多普勒图图中搜索最大值点，在最大值处，将图片沿距离门进行切片，得到每一帧所述水平方向回波信号对应手势动作的doppler信息；
14、将多帧所述水平方向回波信号对应的doppler信息按时间先后顺序进行排列组合，即得到所述水平多普勒-时间图。
15、在其中一个实施例，所述水平距离-时间图的构建过程为：
16、在每一帧所述水平方向回波信号对应的距离-多普勒图中搜索最大值点，将该最大值点所对应距离门作为手势动作的距离信息，将多帧所述水平方向回波信号对应的距离信息按时间先后顺序进行排列组合，即得到所述水平距离-时间图。
17、在其中一个实施例，所述构建融合双方向距离多普勒信息的时间序列图具体为：
18、将所述竖直多普勒-时间图放到rgb图像的1号通道，将所述水平多普勒-时间图放到rgb图像的2号通道，将所述水平距离-时间图、所述竖直距离-时间图放到rgb图像的3号通道，即得到融合双方向距离多普勒信息的时间序列图，其中：
19、所述1号通道为r通道，所述2号通道为g通道，所述1号通道为b通道；或
20、所述1号通道为r通道，所述2号通道为b通道，所述1号通道为g通道；或
21、所述1号通道为g通道，所述2号通道为r通道，所述1号通道为b通道；或
22、所述1号通道为g通道，所述2号通道为b通道，所述1号通道为r通道；或
23、所述1号通道为b通道，所述2号通道为g通道，所述1号通道为r通道；或
24、所述1号通道为b通道，所述2号通道为r通道，所述1号通道为g通道。
25、在其中一个实施例，将所述水平距离-时间图、所述竖直距离-时间图放到rgb图像的3号通道的过程为：
26、在rgb图像的3号通道内，从左至右3号通道每一列代表对应时刻的距离大小，上半部分对应所述竖直距离-时间图，下半部分对应所述水平距离-时间图；或
27、在rgb图像的3号通道内，从左至右3号通道每一列代表对应时刻的距离大小，上半部分对应所述水平距离-时间图，下半部分对应所述竖直距离-时间图。
28、在其中一个实施例，步骤4中，基于卷积神经网络对融合双方向距离多普勒信息的时间序列图进行手势识别。
29、在其中一个实施例，所述卷积神经网络在训练阶段的损失函数为：
30、
31、其中，l为损失函数，n为训练样本的数量，c为手势分类类别的数量，为卷积神经网络对于样本i属于类别j的预测概率值；yi,j表示样本i是否属于类别j，若是则yi,j＝1，否则yi,j＝0。
32、与现有技术相比，本专利技术具有如下有益技术效果：
33、1.本专利技术通过采用双向雷达系统同时采集径向与横向手势信息，并进行多维融合，极大地扩展了能有效识别手势类型；
34、2.本本文档来自技高网...
【技术保护点】
1.一种基于双向距离-多普勒信息融合的手势识别方法，其特征在于，在待测手势的水平方向上布置1个调频连续波雷达，在待测手势的竖直方向上布置1个调频连续波雷达；
2.根据权利要求1所述的基于双向距离-多普勒信息融合的手势识别方法，其特征在于，步骤1中，在获取所述水平方向回波信号、所述竖直方向回波信号的过程中，控制两个所述调频连续波雷达交替发射多帧线性调频信号，从而交替获取所述水平方向回波信号与所述竖直方向回波信号。
3.根据权利要求1所述的基于双向距离-多普勒信息融合的手势识别方法，其特征在于，步骤2中，所述水平多普勒-时间图、所述水平距离-时间图的构建过程为：
4.根据权利要求3所述的基于双向距离-多普勒信息融合的手势识别方法，其特征在于，所述水平距离-时间图的构建过程为：
5.根据权利要求1至4任一项所述的基于双向距离-多普勒信息融合的手势识别方法，其特征在于，所述构建融合双方向距离多普勒信息的时间序列图具体为：
6.根据权利要求5所述的基于双向距离-多普勒信息融合的手势识别方法，其特征在于，将所述水平距离-时间图、所述
7.根据权利要求1至4任一项所述的基于双向距离-多普勒信息融合的手势识别方法，其特征在于，步骤4中，基于卷积神经网络对融合双方向距离多普勒信息的时间序列图进行手势识别。
8.根据权利要求7所述的基于双向距离-多普勒信息融合的手势识别方法，其特征在于，所述卷积神经网络在训练阶段的损失函数为：
...【技术特征摘要】
1.一种基于双向距离-多普勒信息融合的手势识别方法，其特征在于，在待测手势的水平方向上布置1个调频连续波雷达，在待测手势的竖直方向上布置1个调频连续波雷达；
2.根据权利要求1所述的基于双向距离-多普勒信息融合的手势识别方法，其特征在于，步骤1中，在获取所述水平方向回波信号、所述竖直方向回波信号的过程中，控制两个所述调频连续波雷达交替发射多帧线性调频信号，从而交替获取所述水平方向回波信号与所述竖直方向回波信号。
3.根据权利要求1所述的基于双向距离-多普勒信息融合的手势识别方法，其特征在于，步骤2中，所述水平多普勒-时间图、所述水平距离-时间图的构建过程为：
4.根据权利要求3所述的基于双向距离-多普勒信息融合的手势识别方法，其特征在于...
【专利技术属性】
技术研发人员：李悦丽，宋懿轩，张晟锴，胡巧晔，周泽宏，黎胜航，张鲁卫，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。