基于声波成像的手势识别方法技术

本发明专利技术属于目标识别技术领域，公开了基于声波成像的手势识别方法，包括以下步骤：利用扬声器和麦克风发送和接收特制声音信号；将接收信号根据直射信号转化成接收信号矩阵；去除接收信号矩阵中的直射信号和静态物体回波信号；对处理后的接收信号矩阵进行脉冲压缩和运动补偿，并利用时频联合分析获得多张手势手型的距离多普勒图像；利用深度学习分类方法，实现手势手型的分类识别。本发明专利技术具有设备依赖性低和鲁棒性强的优点，可解决现有技术识别手势种类少和误操作多的问题。种类少和误操作多的问题。种类少和误操作多的问题。

【技术实现步骤摘要】
基于声波成像的手势识别方法


[0001]本专利技术属于目标识别
，涉及基于声学信号的目标成像技术，特别涉及基于声波成像的手势识别方法。

技术介绍

[0002]随着科技的发展和人们生活水平的提升，在工作和生活中需要与各种各样的智能设备进行交互。但是，传统的触摸交互不能适应所有的应用场景，而且会受触摸区域大小限制，所以需要一种隔空交互方案。考虑到用户的使用体验和交互的方便，被动式隔空交互方案成为了领域中的热点。这里的主动和被动区别在于，是否需要用户佩戴专门的硬件设备。
[0003]目前，最常见的交互方案是基于视觉的交互方案，其通过摄像头实现对用户手部的追踪和对手型的识别来完成交互。虽然已经存在很多成熟的基于视觉的隔空交互方案，但是对于像智能手表和音箱等没有摄像头的设备，基于视觉的方案是不适用的。而且，基于视觉的方案为了提高精度，通常需要多个摄像头的配合，或集成深度传感器，方案的实施需要对硬件进行更改，成本高。并且，基于视觉的方案的识别精度会受环境光照条件的强烈影响，无法在黑暗环境完成交互。除此之外，对于用户来说，摄像头的增加同时也带来了隐私泄露等安全问题。
[0004]基于声学的解决方案，可利用智能手机、手表和音箱等设备都有的扬声器和麦克风即可实现，且不受光照等条件的影响，而且不会有隐私泄露问题，成为现在的研究热点。但是，现有的声学解决方案只通过声波追踪手势轨迹，获得手的位置信息进行交互，对手型本身无法进行识别。这不仅导致识别手势种类有限，而且因为机器无法自动开始和结束识别，常出现误操作的问题。r/>[0005]因此，本专利技术设计基于声波成像的手势识别方法，希望利用智能现有扬声器和麦克风发射和接收声音信号，像相机一样对移动物体进行成像，从而实现对移动目标的识别，弥补已有方案的不足。

技术实现思路

[0006]针对现有技术存在的不足，本专利技术提供一种基于声波成像的手势识别方法，通过构建信号矩阵，去除直射信号和静态物体回波，通过对距离像运动补偿，消除物体大幅度移动，获得多张手势手型的距离多普勒图像；本专利技术具有设备依赖性低和鲁棒性强等优点，可与已有声学方案相互独立运行，可解决已有方案识别手势种类少和误操作多等问题。
[0007]为了解决上述技术问题，本专利技术采用的技术方案是：
[0008]基于声波成像的手势识别方法，包括以下步骤：
[0009]S1、利用扬声器和麦克风发送和接收特制声音信号，所述麦克风的接收信号包括直接从扬声器发出的直射信号、经静止物体反射的静态物体回波信号和经移动手势反射的声音信号；
[0010]S2、将接收信号根据直射信号转化成接收信号矩阵；
[0011]S3、去除步骤S2获得的接收信号矩阵中的直射信号和静态物体回波信号，只保留经移动手势反射的声音信号；
[0012]S4、对经过步骤S3处理后的接收信号矩阵进行脉冲压缩和运动补偿，并利用时频联合分析获得多张手势手型的距离多普勒图像；
[0013]S5、利用深度学习分类方法，实现手势手型的分类识别。
[0014]进一步的，步骤S1中，首先通过若干个扬声器发送具有强自相关性和弱互相关性的声音信号，此类声音信号可通过将具有强自相关和弱互相关的序列经过不同种调制获得，然后通过若干个麦克风接收并记录这种声音信号，获得接收信号。
[0015]进一步的，步骤S2是，取接收的连续声音信号，通过与发送信号进行自相关，以自相关结果最大值下标将连续声音信号均匀切分，并沿着时间顺序依次纵向排列组成矩阵；矩阵横向的间隔是一个超声信号周期，纵向间隔是一个采样周期。
[0016]进一步的，步骤S2中构建信号矩阵的具体方法是：
[0017](1)首先，使用Dechirp方法确定直射信号到达时间：先在接收信号中取长度为发送信号周期长度的信号，将其与发送信号相乘，得到混频信号；随后，对混频信号进行FFT后，获得混频信号的频谱，频谱中的最大值点下标，表示直射信号与发送信号的频差，根据延时和频差的关系，即可得到直射信号到达时间的下标；
[0018](2)随后，因为信号为周期发送，所以根据其中一个直射信号到达时间累加发送信号周期，可以获得所有的直射信号到达时间；(3)最后，先根据直射信号到达时间将连续接收信号均匀切分，再纵向放置沿时间顺序横向排列，即可获得接收信号矩阵。
[0019]进一步的，步骤S3是，取接收信号矩阵的不同列，加权组成新的矩阵，时域上，该操作可以让静态物体回波信号相互抵消；频域上，该操作相当于建立了一个频率梳妆滤波器，将不包含多普勒频移的直射信号和静态物体回波信号去除；具体方法是，加权具有不同延时的信号：原始信号
‑
4*延时T的信号+6*延时2T的信号
‑
4*延时3T的信号+延时4T的信号，其中T表示发送信号周期。
[0020]进一步的，步骤S4是，首先对接收信号矩阵的列进行脉冲压缩，获得距离像；随后利用图像对比度完成运动补偿，消除物体大幅度移动；最后在完成补偿的距离像矩阵上，横向进行时频联合分析，获得多张手势手型的距离多普勒图像。
[0021]更进一步的，步骤S4具体步骤为：
[0022](1)首先依次将接收信号矩阵列与发送信号相乘进行混频，然后，沿混频矩阵的纵向进行FFT，完成脉冲压缩，获得距离像；
[0023](2)通过对距离像分析获得目标的运动参数，并进行运动补偿：首先通过对距离像进行拉东变换；随后通过取拉东变换结果中最大值点对应的角度，获得距离像中距离变化的平均倾角，由于距离变化的倾角与目标径向速度相等，所以目标的径向速度获得，目标距离移动的模型为
[0024][0025]其中，R0表示初始距离，v
R
即表示径向速度，a
R
表示径向加速度；
[0026]目标移动，对距离像的相位影响为
[0027][0028]其中，f
c
表示发送信号的载波频率，k表示线性调频信号的调频率，c表示声速，
[0029]在目标移动的加速度区间[a
R
MIN,a
R
MAX]内，依次选取加速度值与获得的v
R
一起对距离像进行补偿；将补偿后的距离像沿横向进行FFT获得距离
‑
多普勒图像并根据公式计算图像的对比度，当取值最大时，完成运动补偿，此时时，完成运动补偿，此时最后，利用v
R
和a
R
进行运动补偿获得经运动补偿后的距离像；
[0030](3)沿着进行运动补偿后的距离像的横向进行平滑伪魏格纳分布，可以获得多张手势手型的的距离多普勒图像。
[0031]进一步的，步骤S5是，多次采集手势手型数据并生成距离多普勒图像，将距离多普勒图像作为样本，使用深度学习的卷积神经网络并训练分类模型；在模型训练完成后，将需要识别手势手型的距离多普勒图像送入模型分类，最后得到手势手型分类结果，执行相应的手势。
[0032]进一步的，通过连续本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于声波成像的手势识别方法，其特征在于，包括以下步骤：S1、利用扬声器和麦克风发送和接收特制声音信号，所述麦克风的接收信号包括直接从扬声器发出的直射信号、经静止物体反射的静态物体回波信号和经移动手势反射的声音信号；S2、将接收信号根据直射信号转化成接收信号矩阵；S3、去除步骤S2获得的接收信号矩阵中的直射信号和静态物体回波信号，只保留经移动手势反射的声音信号；S4、对经过步骤S3处理后的接收信号矩阵进行脉冲压缩和运动补偿，并利用时频联合分析获得多张手势手型的距离多普勒图像；S5、利用深度学习分类方法，实现手势手型的分类识别。2.根据权利要求1所述的基于声波成像的手势识别方法，其特征在于，步骤S1中，首先通过若干个扬声器发送具有强自相关性和弱互相关性的声音信号，此类声音信号可通过将具有强自相关和弱互相关的序列经过不同种调制获得，然后通过若干个麦克风接收并记录这种声音信号，获得接收信号。3.根据权利要求2所述的基于声波成像的手势识别方法，其特征在于，步骤S2是，取接收的连续声音信号，通过与发送信号进行自相关，以自相关结果最大值下标将连续声音信号均匀切分，并沿着时间顺序依次纵向排列组成矩阵；矩阵横向的间隔是一个超声信号周期，纵向间隔是一个采样周期。4.根据权利要求3所述的基于声波成像的手势识别方法，其特征在于，步骤S2中构建信号矩阵的具体方法是：(1)首先，使用Dechirp方法确定直射信号到达时间：先在接收信号中取长度为发送信号周期长度的信号，将其与发送信号相乘，得到混频信号；随后，对混频信号进行FFT后，获得混频信号的频谱，频谱中的最大值点下标，表示直射信号与发送信号的频差，根据延时和频差的关系，即可得到直射信号到达时间的下标；(2)随后，因为信号为周期发送，所以根据其中一个直射信号到达时间累加发送信号周期，可以获得所有的直射信号到达时间；(3)最后，先根据直射信号到达时间将连续接收信号均匀切分，再纵向放置沿时间顺序横向排列，即可获得接收信号矩阵。5.根据权利要求3或4所述的基于声波成像的手势识别方法，其特征在于，步骤S3是，取接收信号矩阵的不同列，加权组成新的矩阵，时域上，该操作可以让静态物体回波信号相互抵消；频域上，该操作相当于建立了一个频率梳妆滤波器，将不包含多普勒频移的直射信号和静态物体回波信号去除；具体方法是，加权具有不同延时的信号：原始信号
‑
4*延时T的信号+6*延时2T的信号
‑<...

【专利技术属性】
技术研发人员：王鹏皓，刘超，蒋若冰，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：