一种基于声波与传感器的手势识别系统及识别方法技术方案

本发明专利技术公开了一种基于声波与传感器的手势识别系统及方法，该系统包括一个麦克风与一块智能手表。其中智能手表佩戴于手腕，用于发射调制的超声波信号以及收集传感器中的手势运动信息；而麦克风负责接收手表发射的超声波信号；当麦克风接收到信号后，通过信道估计技术得到因手势运动而改变的信道变化；同时结合智能手表中记录的传感器信息；将两种信息融合输入到设计的神经网络模型中，输出各个手势的概率值，选择最大概率的手势作为识别手势。本发明专利技术在有限设备下，能够丰富用户的输入方式，提高用户体验，能够有效提高手势识别精度，为智能设备提供一种新的输入方式。智能设备提供一种新的输入方式。智能设备提供一种新的输入方式。

【技术实现步骤摘要】
一种基于声波与传感器的手势识别系统及识别方法


[0001]本专利技术属于无线传感
，尤其涉及一种基于声波与传感器的手势识别系统及识别方法。

技术介绍

[0002]用CIR(Channel Impulse Response，信道冲激响应)实现对信道状态估计的技术，主要是通过发射预先生成的同步码，然后经过反射后，由接收机接收，通过对发射信号与接收信号进行关联，能够估计出当前对应的信道信息。
[0003]通过此技术可以得到因手势运动改变的信道信息，因此可以利用这种特征进行手势识别。
[0004]现阶段的手势识别主要可以分为三种：
[0005](1)使用基于视觉的方法，通过对视频进行分析得到对应的手势类别，但是这种方法易受到光照环境的影响，而且对设备要求较高。
[0006](2)使用基于声波的方法，通过对发射的声波进行调制，计算距离特征，提取手势运动信息，但是这些方法易受到外界噪声的干扰。
[0007](3)使用基于IMU(惯性传感器)的方法，通过智能设备内置的传感器，记录手势的运动特征，然而这些方法往往需要佩戴特殊的智能设备，往往造价昂贵难以推广普及。

技术实现思路

[0008]专利技术目的：本专利技术的目的在于提供一种基于声波与传感器的手势识别系统及方法，利用信道估计技术，提取因手势运动而改变的信道信息，通过融合陀螺仪记录的数值，利用神经网络模型实现手势识别，从而为智能设备提供一种新型输入方式。
[0009]技术方案：本专利技术的基于声波与传感器的手势识别系统，包括信号发射器和信号接收器；所述信号发射器为佩戴于手腕的智能手表，智能手表佩戴于用户手腕上，发射调制的超声波，并记录陀螺仪数据；所述信号接收器为固定位置的麦克风；当麦克风接收到对应的声波信号后，通过互相关的方法进行信道估计，即手势的动态信息；融合陀螺仪记录的手势运动信息；利用神经网络模型提取并融合两种手势特征，并完成最终的手势分类。
[0010]进一步地，所述发射调制的超声波的公式为：
[0011]s(t)＝a(t)cos(2πf
c
t)
[0012]其中a(t)为巴克码序列，f
c
为调制载波；
[0013]所述麦克风接收到对应的声波信号表示为：
[0014][0015]τ
i
表示第i条路径对应的时延，n表示所有的路径数量；
[0016]对接收声波信号进行解调，公式为：
[0017][0018]其中R(t)为接收信号，然后经过低通滤波后，得到信号的实部与虚部，SingalI表示解调的实信号，SingalQ表示解调的虚信号；
[0019]最后利用互相关计算公式，得到信道信息：
[0020][0021]c(m)＝R
xy
(m
‑
N)m∈[1，2N
‑
1][0022]其中y，x分别表示解调后的接收信号于发射信号，c(m)为输出，N为信号长度；
[0023]为了获取手势的动态特征，进行前后两帧相减：
[0024]h(t)＝h(t)
‑
h(t
‑
1)
[0025]其中h(t)为当前时刻的信道信息，而h(t
‑
1)为上一时刻的信道信；
[0026]通过计算固定时刻内的信道信息，结合智能手表中记录的运动信息作为手势特征；设计一种基于CNN的神经网络模型，在离线训练后，可对当前的手势进行识别。
[0027]本专利技术还公开一种基于声波与传感器的手势识别系统的识别方法，包括如下步骤：
[0028](1)基于信道估计的手势特征提取：通过信道估计技术，提取因手势运动而改变的信道特征；
[0029](2)基于陀螺仪的特征提取：通过记录手表内置的陀螺仪的三轴特征，在经过卡尔曼滤波后能够得到手势的运动特征；
[0030](3)基于神经网络模型的手势分类：在收集数据后，进行网络模型训练得到对应的离线模型，然后对提取到的手势特征进行分类；
[0031](4)手势交互：通过识别手势丰富系统输入，提高用户体验。
[0032]进一步地，在步骤(1)中，通过发射器发射调制的巴克码，在接收机接收后，对信号进行滤波操作，然后进行IQ解调。利用发射信号与接收信号进行互相关操作，得到每个时刻的信道信息，然后利用前后两帧相减的方法得到因手势运动而变化的动态特征。所述步骤(1)具体包括：
[0033]首先手表发射调制后的声波信号公式：
[0034]s(t)＝a(t)cos(2πf
c
t)
[0035]其中a(t)为巴克码序列，f
c
为调制载波；
[0036]所述麦克风接收到对应的声波信号表示为：
[0037][0038]τ
i
表示第i条路径对应的时延，n表示所有的路径数量；
[0039]对接收声波信号进行解调，公式为：
[0040][0041]其中R(t)为接收信号，然后经过低通滤波后，得到信号的实部与虚部，SingalI表
示解调的实信号，SingalQ表示解调的虚信号；
[0042]最后利用互相关计算公式，得到信道信息：
[0043][0044]c(m)＝R
xy
(m
‑
N)m∈[1，2N
‑
1][0045]其中y，x分别表示解调后的接收信号于发射信号，c(m)为输出，N为信号长度；
[0046]为了获取手势的动态特征，进行前后两帧相减：
[0047]h(t)＝h(t)
‑
h(t
‑
1)
[0048]其中h(t)为当前时刻的信道信息，而h(t
‑
1)为上一时刻的信道信。
[0049]进一步地，步骤(2)中，通过一种能量检测的方法定位手势运动的位置，如公式：
[0050]E(t)＝x(t)2+y(t)2+z(t)2[0051]其中x(t)，y(t)，z(t)分别为陀螺仪三轴的数值；通过设置阈值找到超过该阈值的位置为手势运动的起点，然后利用卡尔曼滤波平滑数据，滤去因为手部本身的抖动而出现的噪声干扰。
[0052]进一步地，步骤(3)中，所述对提取到的手势特征进行分类为利用卷积神经网络模型进行分类，其方法如下：在提取到信道特征后，将其看作是一同到的图像。然后通过设置多个卷积核进一步提取特征，如公式：
[0053][0054]其中X，H，Y分别表示输入，卷积核以及输出。而k0,k1,k2分别表示输入特则的宽度，长度与通道数，*表示卷积操作；经过卷积后，选择激活函数：
[0055]ReLU(x)＝max(x，0)
[0056]其中x为输入，增强网络的拟合能力；将提取到的陀螺仪特征看作是三通道的图片，并利用相似的方法提取特征；将两种特征融合，然后利用一层全连接成作为输出，最后通过公式：...

【技术保护点】

【技术特征摘要】
1.一种基于声波与传感器的手势识别系统，其特征在于，包括信号发射器和信号接收器；所述信号发射器为佩戴于手腕的智能手表，智能手表佩戴于用户手腕上，发射调制的超声波，并记录陀螺仪数据；所述信号接收器为固定位置的麦克风；当麦克风接收到对应的声波信号后，通过互相关的方法进行信道估计，即手势的动态信息；融合陀螺仪记录的手势运动信息；利用神经网络模型提取并融合两种手势特征，并完成最终的手势分类。2.根据权利要求1所述的基于声波与传感器的手势识别系统，其特征在于，所述发射调制的超声波的公式为：s(t)＝a(t)cos(2πf
c
t)其中a(t)为巴克码序列，f
c
为调制载波频率；所述麦克风接收到对应的声波信号表示为：τ
i
表示第i条路径对应的时延，n表示所有的路径数量；对接收声波信号进行解调，公式为：其中R(t)为接收信号，然后经过低通滤波后，得到解调信号的实部与虚部，SingalI表示解调的实信号，SingalQ表示解调的虚信号；最后利用互相关计算公式，得到信道信息：c(m)＝R
xy
(m
‑
N)m∈[1，2N
‑
1]其中y，x分别表示解调后的接收信号与发射信号，c(m)为最终输出，N为信号长度；为了获取手势的动态特征，进行前后两帧相减：h(t)＝h(t)
‑
h(t
‑
1)其中h(t)为当前时刻的信道信息，而h(t
‑
1)为上一时刻的信道信息；通过计算固定时刻内的信道信息，结合智能手表中记录的运动信息作为手势特征；设计一种基于CNN的神经网络模型，在离线训练后，可对当前的手势进行识别。3.一种权利要求1所述的基于声波与传感器的手势识别系统的识别方法，其特征在于，包括如下步骤：(1)基于信道估计的手势特征提取：通过信道估计技术，提取因手势运动而改变的信道特征；(2)基于陀螺仪的特征提取：通过记录手表内置的陀螺仪的三轴特征，在经过卡尔曼滤波后能够得到手势的运动特征；(3)基于神经网络模型的手势分类：在收集数据后，进行网络模型训练得到对应的离线模型，然后对提取到的手势特征进行分类；(4)手势交互：通过识别手势丰富系统输入，提高用户体验。
4.根据权利要求3所述的基于声波与传感器的手势识别系统的识别方法，其特征在于，所述步骤(1)具体...

【专利技术属性】
技术研发人员：赵彦超，蒋文豪，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：