基于调频连续波雷达的多特征图像融合的手势识别方法技术

本发明专利技术涉及基于雷达的手势识别技术领域，公开了一种基于调频连续波雷达的多特征图像融合的手势识别方法，包括如下步骤：步骤1、在雷达端实时采集手势数据，并所述手势数据进行预处理得到所述手势数据的中频信号；步骤2、对所述中频信号进行特征参数计算，得到手势连续的运动参数；步骤3、对连续的所述运动参数的数据段进行不相干物体滤除以及感兴趣数据段提取，得到包含手势信息的感兴趣数据段；步骤4、根据所述感兴趣数据段构建手势特征图像，将所述手势特征图像输入至浅层卷积神经网络进行实时识别分类。本发明专利技术能够实时生成手势的三种特征图像，并根据特征图像对手势进行实时识别分类。分类。分类。

【技术实现步骤摘要】
基于调频连续波雷达的多特征图像融合的手势识别方法


[0001]本专利技术涉及基于雷达的手势识别
，具体涉及基于调频连续波雷达的多特征图像融合的手势识别方法。

技术介绍

[0002]随着传感器和机器学习技术的发展，手势动作凭借其方便快捷、含义丰富、通俗易懂的特点使手势识别技术成为人机交互领域的一个热门研究方向。相较于目前应用广泛的基于光学图像的手势识别方法，基于雷达的手势识别方法具有不易受环境光照、延误、雾霾等环境因素影响，所需处理数据量小，不会泄露手势被采集者隐私信息等优点，这使得基于雷达的手势识别方法成为手势识别领域的一个研究热点。目前国内外雷达手势识别研究的主流方法是通过对雷达回波信号进行去斜、快速傅里叶变换、相干积累等处理，获得手势的距离、速度、角度等数据，并将这些数据作为输入样本输入到各种不同结构的卷积神经网络中进行分类识别。但在当前的研究中存在如下问题：
[0003]当前主流的雷达手势识别方法没有实现手势数据的实时采集处理以及识别。

技术实现思路

[0004]本专利技术提供一种基于调频连续波雷达的多特征图像融合的手势识别方法，能够对雷达手势识别方法实现手势数据的实时采集处理以及识别。
[0005]本专利技术通过下述技术方案实现：
[0006]一种基于调频连续波雷达的多特征图像融合的手势识别方法，包括如下步骤：
[0007]步骤1、在雷达端实时采集手势数据，并所述手势数据进行预处理得到所述手势数据的中频信号；
[0008]步骤2、对所述中频信号进行特征参数计算，得到手势连续的运动参数；
[0009]步骤3、对连续的所述运动参数的数据段进行不相干物体滤除以及感兴趣数据段提取，得到包含手势信息的感兴趣数据段；
[0010]步骤4、根据所述感兴趣数据段构建手势特征图像，将所述手势特征图像输入至浅层卷积神经网络进行实时识别分类。
[0011]作为优化，步骤1中，实时采集手势数据并对实时采集的手势数据进行预处理得到中频信号的具体步骤为：
[0012]步骤1.1、雷达端的射频模块产生发射信号依次通过倍频器、功率放大器和发射天线发出调频连续波雷达信号；
[0013]步骤1.2、所述调频连续波雷达信号遇到挥舞的手势发生反射产生回波信号，所述回波信号依次通过接收天线和低噪声放大器到达混频器；
[0014]步骤1.3、所述回波信号和发射信号通过混频器得到中频信号。
[0015]作为优化，还包括步骤1.4、所述中频信号经过模数转换模块得到手势数据的数字信号。
[0016]作为优化，步骤1.3中，所述回波信号和发射信号通过混频器得到中频信号的具体公式为：
[0017][0018]其中B为雷达有效调频带宽，T
c
为调频周期，R0为信号发射时手与雷达间的距离，v为手的速度，t为发射信号传递到手部所需的时间，c为光速，为回波信号的频移。
[0019]作为优化，步骤2中，所述手势连续的运动参数包括雷达到手势主体的距离参数、手势的速度参数和手势的水平角度参数。
[0020]作为优化，所述雷达到手势主体的距离参数的计算公式为：
[0021][0022]其中，B为雷达有效调频带宽，c为光速，f
IF
为中频信号，T为调频周期；
[0023]所述手势的速度参数的计算公式为：
[0024][0025]其中，λ为发射信号的波长，T
c
为调频周期，f
FFT
为多普勒频移，为回波信号的频移。
[0026]作为优化，步骤3中，对连续的所述运动参数的数据段进行不相干物体滤除的具体过程为：
[0027]步骤3.1、定义一个手势有N帧数据，每帧数据包括雷达监测到的物体个数、雷达到手势主体的距离参数、手势的速度参数以及手势的水平角度参数，其中，N为正整数；
[0028]步骤3.2、对连续的所述运动参数进行动态距离检测，取速度检测窗口的长度为N帧，所述速度检测窗口中速度最大值对应的是手势主体所在的主体距离值；
[0029]步骤3.3、取所述主体距离值前2厘米到后5厘米作为动态距离阈值。
[0030]作为优化，步骤3中，提取感兴趣数据段的具体步骤为：
[0031]步骤3.4、将所述速度检测窗口中的全部速度数据进行绝对值操作；
[0032]步骤3.5、查找所述速度检测窗口中速度绝对值由0增加到最大值再减小到0，且所述最大值大于0.7的数据段；
[0033]步骤3.6、取步骤3.5得到的数据段中的最大值所在的时间点前后各N/2帧所对应的数据段即为包含运动手势信息的感兴趣数据段。
[0034]作为优化，步骤4、根据所述感兴趣数据段构建手势特征图像的具体步骤为：
[0035]步骤4.1、将感兴趣数据段中的每一帧数据中的雷达到手势主体的距离参数、手势的速度参数以及手势的水平角度参数按照帧时间顺序进行拼接分别得到距离
‑
时间图、速度
‑
时间图、水平角度
‑
时间图；
[0036]步骤4.2、对所述距离
‑
时间图、速度
‑
时间图、水平角度
‑
时间图进行归一化、灰度化和缩放处理，得到64*64的手势特征图像。
[0037]作为优化，步骤4中，所述浅层卷积神经网络包括一个输入层、一个卷积层、一个池化层、两个全连接层和一个softmax层。
[0038]本专利技术与现有技术相比，具有如下的优点和有益效果：
[0039]本专利技术基于连续数据流的不相干物体滤除方法、感兴趣数据段提取方法以及浅层卷积神经网络结构，可以对预先设计的一套包含前推、后拉、左挥、右挥、上挥、下挥等六种手势动作进行实时数据采集处理，实时生成手势的三种特征图像，并根据特征图像对手势进行实时识别分类。
附图说明
[0040]为了更清楚地说明本专利技术示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
[0041]图1为本专利技术所述的一种基于调频连续波雷达的多特征图像融合的手势识别方法所用到的雷达手势识别系统的系统框图；
[0042]图2为雷达手势识别系统的工作流程图；
[0043]图3为中频信号产生原理图；
[0044]图4为挥手示意图；
[0045]图5为未处理速度数据图；
[0046]图6为对图5进行速度绝对值操作的速度数据图；
[0047]图7为右挥手的三种特征图像；
[0048]图8为浅层卷积神经网络的结构图。
具体实施方式
[0049]为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本专利技术作进一步的详细说本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于调频连续波雷达的多特征图像融合的手势识别方法，其特征在于，包括如下步骤：步骤1、在雷达端实时采集手势数据，将所述手势数据进行预处理得到所述手势数据的中频信号；步骤2、对所述中频信号进行特征参数计算，得到手势连续的运动参数；步骤3、对连续的所述运动参数的数据段进行不相干物体滤除以及感兴趣数据段提取，得到包含手势信息的感兴趣数据段；步骤4、根据所述感兴趣数据段构建手势特征图像，将所述手势特征图像输入至浅层卷积神经网络进行实时识别分类。2.根据权利要求1所述的一种基于调频连续波雷达的多特征图像融合的手势识别方法，其特征在于，步骤1中，实时采集手势数据并对实时采集的手势数据进行预处理得到中频信号的具体步骤为：步骤1.1、雷达端的射频模块产生发射信号依次通过倍频器、功率放大器和发射天线发出调频连续波雷达信号；步骤1.2、所述调频连续波雷达信号遇到挥舞的手势发生反射产生回波信号，所述回波信号依次通过接收天线和低噪声放大器到达混频器；步骤1.3、所述回波信号和发射信号通过混频器得到中频信号。3.根据权利要求2所述的一种基于调频连续波雷达的多特征图像融合的手势识别方法，其特征在于，还包括步骤1.4、所述中频信号经过模数转换模块得到手势数据的数字信号。4.根据权利要求2所述的一种基于调频连续波雷达的多特征图像融合的手势识别方法，其特征在于，步骤1.3中，所述回波信号和发射信号通过混频器得到中频信号的具体公式为：其中B为雷达有效调频带宽，T
c
为调频周期，R0为信号发射时手与雷达间的距离，v为手的速度，t为发射信号传递到手部所需的时间，c为光速，为回波信号的频移。5.根据权利要求4所述的一种基于调频连续波雷达的多特征图像融合的手势识别方法，其特征在于，步骤2中，所述手势连续的运动参数包括雷达到手势主体的距离参数、手势的速度参数和手势的水平角度参数。6.根据权利要求5所述的一种基于调频连续波雷达的多特征图像融合的手势识别方法，其特征在于，所述雷达到手势主体的距离参数的计算公式为：其中，B为雷达有效调频带宽，c为光速，f
IF
为中频信号，T为调频周期；所述手势的速度参数的计算公式为：
其中，λ为发射信号...

【专利技术属性】
技术研发人员：徐洋，隋昌瑞，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：