一种基于距离‑速度特征的手势识别方法技术

一种基于距离‑速度特征的手势识别方法，步骤如下：1，使用调频连续波雷达作为手势传感器，对接收到的差拍信号进行截取和排列，得到雷达回波信号2维矩阵；2，对步骤1中的雷达回波矩阵，分别沿快时间维和慢时间维进行二维FFT；3，利用R‑D图序列训练卷积神经网络；4，将实时的R‑D序列输入卷积神经网络模型，进行识别测试，最终得到的卷积神经网络的测试正确率超过98％；5，实现对电脑端的操作及实物的控制；本发明专利技术能在没有光照和不穿戴传感器的情况下进行手势识别，实现了与电脑端和实物的交互；本发明专利技术加入了实时检测，巧妙的解决了数据截取位置不确定造成的识别困难的问题，实现了实时的手势识别和控制，具有较好的实用价值。

【技术实现步骤摘要】
一种基于距离-速度特征的手势识别方法
本专利技术提供一种基于距离-速度特征的手势识别方法，是一种基于雷达信号处理-卷积神经网络的手势识别方法，属于雷达
和人机交互

技术介绍
对手势动作进行自动识别是机器理解人类手势语言的前提条件。手势识别是指利用某种传感器采集手势信息，然后通过数学算法对手势进行识别，其最终目的是进行设备操控和人机交互。随着计算机技术的发展，手势识别将成为继鼠标、键盘等传统输入工具之后的另一种人机交互方式。目前的手势识别方法包括穿戴传感器设备、光学图像识别等办法，但前者在使用中需要一直穿戴着设备，不仅十分不方便，而且应用范围受到一定的限制；光学图像识别方法容易受到环境的影响，当环境光照发生变化时，识别的错误率会大大增加。通过雷达进行手势识别是一种新的途径。雷达向目标发送调频电磁波，同时接收被目标反射回来的电磁波，然后通过分析处理解调频后的信号，得到关于目标的距离、速度等信息，再经过进一步的处理得到不同手势的特征信息，达到识别手势的目的。使用雷达进行手势识别不需要穿戴繁杂的设备，不受光照等环境因素的影响，抗干扰能力强，可全天候工作。此外还具有集成度高、体积小、功耗低、成本低、实时性好等优点。对调频连续波雷达接收到的差频信号进行二维FFT(快速傅里叶变换)处理，可以得到目标的距离-速度信息矩阵(简称为R-D图)。二维FFT的具体处理过程为：首先积累一定调频周期的差拍信号并排列成矩阵，每一行包含一个调频周期，然后分别对每一行和每一列进行FFT，即得到目标的R-D图。这种处理方法可以解除目标速度和多普勒之间的耦合，提高参数估计的精度。不同的手势动作具有不同的R-D特征，据此特征即可以完成手势识别。卷积神经网络即CNN出现在20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时提出了CNN。CNN无需对图像进行复杂的前期处理，通过局部感受野和参数共享能有效降低网络参数数目，提高训练效率。深度CNN具有多层卷积结构，能够通过卷积层自动获得图像的特征，并完成目标的自动识别。深度CNN具有很强的学习能力，已经成为众多学科领域的研究热点，在模式识别、语音分析等领域得到了广泛应用。
技术实现思路
1.目的：本专利技术专利的目的是提供一种基于距离-速度特征进行手势识别的方法。该方法通过对手势雷达回波进行二维FFT变换，得到目标的R-D图，以此作为深度CNN的输入，对不同的手势进行识别。该方法能够对多种手势进行高精度的实时识别，同时不受环境光照等因素的影响。2.技术方案：一种基于距离-速度特征的手势识别方法本专利技术是一种基于距离-速度特征的手势识别方法，利用电磁波进行非接触式手势识别。通过雷达发射线性调频连续波信号，接收目标回波信号并解调频，得到差拍信号，经采样后发送到PC端进行处理；PC端积累一定时长的差拍信号后进行二维FFT处理，得到目标的R-D图像；根据R-D图像进行动目标检测，检测到运动目标后，将R-D序列输入训练好的卷积神经网络进行实时的手势识别。本专利技术是一种基于距离-速度特征的手势识别方法，该方法具体步骤包括：步骤1，使用调频连续波雷达作为手势传感器，对接收到的差拍信号按慢时间的顺序进行排列，得到雷达回波信号2维矩阵，每行对应一个调频周期(慢时间)，每列对应一个距离单元(快时间)；步骤2，对步骤1中的雷达回波矩阵，分别沿快时间维和慢时间维进行快速傅里叶变换即FFT，得到包含目标距离和速度信息的R-D图；二维FFT的计算公式如式(1)，式中，X(l,k)是二维FFT变换的结果，NF表示慢时间维的采样点数，Ns表示快时间维的采样点数，xm(n)表示回波矩阵中第m个调频周期中的第n个采样；步骤3，经试验统计，当目标进入雷达波束后，回波信号强度会发生明显变化，据此变化即可检测出运动目标是否存在；设定动目标检测阈值，当回波强度超过检测阈值时，即认为运动目标存在；检测到运动目标后，系统连续采集12帧差拍信号并进行二维FFT变换，得到R-D图序列；步骤4，随机选取步骤3得到的4种手势的R-D序列，分为训练集和测试集；将训练集输入深度卷积神经网络进行训练，用经过训练的卷积神经网络对测试集进行识别测试；经过10000次迭代训练，最终得到的卷积神经网络的测试正确率超过98％；步骤5，按步骤3的方法实时采集雷达回波信号并检测运动目标，当检测到手势动作时将R-D序列存储并发送给卷积神经网络进行识别，实时输出识别结果，可以实现对电脑端的操作或者是实物的控制。其中，在步骤2中所述的“对步骤1中的雷达回波矩阵，分别沿快时间维和慢时间维进行快速傅里叶变换即FFT”，其作法如下：首先，对回波矩阵的每一行进行FFT(快时间维)计算，然后依次对每一列进行FFT(慢时间维)计算，最后对整个矩阵的每个元素求模值得到二维FFT的结果。其中，在步骤3中所述的“检测到运动目标后，系统连续采集12帧差拍信号并进行二维FFT变换，得到R-D图序列”，其作法如下：程序中每次会统计R-D矩阵的“总功率”，即对整个R-D矩阵模值求和的结果，然后计算与上一次R-D矩阵“总功率”的差值，如果超过了一定阀值，就认为有动作发生，然后连续采集12帧数据，分别进行二维FFT变化后得到R-D序列，如果没有超过阀值，则不采集数据，继续检测。其中，在步骤4中所述的“将训练集输入深度卷积神经网络进行训练，用经过训练的卷积神经网络对测试集进行识别测试”，其作法如下：将采集到的数据按4:1的比例分成训练集和测试集，对训练集中每组手势数据添加标签，然后送入卷积神经网络进行训练，同时每完成一次训练集上的训练就用测试集检测其预测准确度，如果准确度未达到要求就继续训练，否者停止训练。其中，在步骤5中所述的“实时输出识别结果，可以实现对电脑端的操作或者是实物的控制”，是指我们将识别结果转化为控制信号，实现了对电脑端的控制，包括浏览网页、查看地图等功能，我们还实现了对机械臂等实物的控制，实现了一种新的人机交互方式。通过以上步骤，我们实现了不依靠摄像头和传感器设备的手势识别，可以在没有光照和不穿戴传感器的情况下进行手势识别，并且实现了与电脑端和实物的交互，本专利技术能作为一种可靠的、新颖的人机互接口。本专利技术加入了实时检测，巧妙的解决了数据截取位置不确定造成的识别困难的问题，实现了实时的手势识别和控制，具有较好的实用价值。3、优点及效果：本专利技术是一种非接触式的手势识别方法，具有以下几个优点：(1)本专利技术利用调频连续波雷达识别手势，避免了环境光照等因素对识别的影响，提高了识别系统在不同环境状况下工作的可靠性，使得人机交互更加稳定和方便。(2)本专利技术通过分析雷达信号的距离-速度特征来对不同手势进行识别，同时通过12帧R-D序列来描述一个手势动作，提高了不同手势的区分度。(3)本专利技术采用深度卷积神经网络进行手势识别，能够学习到不同手势动作之间的微小差异，提高了手势识别的正确率。(4)本专利技术采用运动目标检测和检测到动作后连续采集12帧R-D序列的方法，即避免了持续采集R-D图可能导致的动作混叠，又提高了准确率，实现了高精度的手势实时检测和识别。附图说明图1是本专利技术所述手势识别方法流程框图。图2是本专利技术实施例中4种手势示意图。具体实施方式下面结合附图和实施本文档来自技高网...

【技术保护点】
一种基于距离‑速度特征的手势识别方法，其特征在于：该方法具体步骤包括：步骤1，使用调频连续波雷达作为手势传感器，对接收到的差拍信号按慢时间的顺序进行排列，得到雷达回波信号2维矩阵，每行对应一个调频周期即慢时间，每列对应一个距离单元即快时间；步骤2，对步骤1中的雷达回波矩阵，分别沿快时间维和慢时间维进行快速傅里叶变换即FFT，得到包含目标距离和速度信息的R‑D图；二维FFT的计算公式如式(1)，

【技术特征摘要】
1.一种基于距离-速度特征的手势识别方法，其特征在于：该方法具体步骤包括：步骤1，使用调频连续波雷达作为手势传感器，对接收到的差拍信号按慢时间的顺序进行排列，得到雷达回波信号2维矩阵，每行对应一个调频周期即慢时间，每列对应一个距离单元即快时间；步骤2，对步骤1中的雷达回波矩阵，分别沿快时间维和慢时间维进行快速傅里叶变换即FFT，得到包含目标距离和速度信息的R-D图；二维FFT的计算公式如式(1)，式中，X(l,k)是二维FFT变换的结果，NF表示慢时间维的采样点数，Ns表示快时间维的采样点数，xm(n)表示回波矩阵中第m个调频周期中的第n个采样；步骤3，经试验统计，当目标进入雷达波束后，回波信号强度会发生明显变化，据此变化即能检测出运动目标是否存在；设定动目标检测阈值，当回波强度超过检测阈值时，即认为运动目标存在；检测到运动目标后，系统连续采集12帧差拍信号并进行二维FFT变换，得到R-D图序列；步骤4，随机选取步骤3得到的4种手势的R-D序列，分为训练集和测试集；将训练集输入深度卷积神经网络进行训练，用经过训练的卷积神经网络对测试集进行识别测试；经过10000次迭代训练，最终得到的卷积神经网络的测试正确率超过98％；步骤5，按步骤3的方法实时采集雷达回波信号并检测运动目标，当检测到手势动作时将R-D序列存储并发送给卷积神经网络进行识别，实时输出识别结果，能实现对电脑端的操作及实物的控制；通过以上步骤，我们实现了不依靠摄像头和传感器设备的手势识别，能在没有光照和不穿戴传感器的情况下进行手势识别，并且实现了与电脑端和实物的交互，能作为一种可靠的、新颖的人机互接口；本发明加入了实时检测，巧妙的解决了数据截取位置不确定造成的识别困难的问题，实现了实时的手势识别和控制，具...

【专利技术属性】
技术研发人员：樵明朗，王昊臣，王健伊，王俊，孙忠胜，张松阳，杨伟群，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11