一种基于智能手表的皮肤式手指手势识别方法技术

本发明专利技术公开了一种基于智能手表的皮肤式手指手势识别方法，包括：步骤1，信号采集：通过智能手表采集手指与手背皮肤之间摩擦产生的被动声学信号；步骤2，数据预处理：通过滤波处理去除噪音信号，得出待检测声学信号；步骤3，手势动作检测：通过手势检测处理将待检测声学信号分成多个独立手势声学信号；步骤4，特征提取：将多个独立手势声学信号转换为灰度图像表示声学信号的时频谱图和梅尔倒谱系数的图像作为特征值；步骤5，手势动作识别：以提取的各独立的手指动作的特征值作为输入数据，利用卷积神经网络模型对输入数据进行手指手势动作识别，得到对应的手指手势动作。该方法扩展了可穿戴设备的输入区域，而无需配备其他设备，具有简单，实时性好的优点。

A Skin-based Finger Gesture Recognition Method Based on Smart Watch

【技术实现步骤摘要】
一种基于智能手表的皮肤式手指手势识别方法
本专利技术涉及基于智能手表应用领域，尤其涉及一种基于智能手表的皮肤式手指手势识别方法。
技术介绍
目前，有大量研究已经开发了很多基于智能手表的新型软件并且提出了很多新的方法用于智能手表的交互。很多之前的研究就是利用了一些特殊的硬件或者传感器。比如，Google在项目Soli中开发了一个特制的芯片，利用60GHz雷达将正常的输入用手的动作来代替；WatchIt提供了一个扩展智能手环输入的设备原型；Mole提出了利用手表中自带的运动传感器去推测用户在写什么内容。人的皮肤可以作为一个随时可以使用的输入面，并且也有很多技术研究了这方面的内容，比如说现有已公开技术方案中设计了新型的皮肤佩戴的硬件。或者利用一些不同寻常的技术，比如说电信号、声音、甚至是光学投影等。iSkin提出了利用一个镀了生物相容性金属的小传感器在人体上进行输入。SkinTrack利用一个指环反射RF信号，并且测量出接收信号的相位偏移来跟踪手指。Skinput利用人的身体进行生物声音的传输，使得皮肤可以变成手臂上有一组传感器的输入面。SkinButton提出将小型的投影仪嵌入到手表中，将画像投影到皮肤上。但上述这些现有利用人体皮肤输入的方法中，存在需要特定的硬件或系统构成复杂等问题。
技术实现思路
基于现有技术所存在的问题，本专利技术的目的是提供一种基于智能手表的皮肤式手指手势识别方法，能利用佩戴的智能手表，以人体的手背作为输入面实现手写输入。本专利技术的目的是通过以下技术方案实现的：本专利技术实施方式提供一种基于智能手表的皮肤式手指手势识别方法，包括：步骤1，信号采集：手指在手背皮肤上摩擦划出手势时，通过智能手表的麦克风采集手指与手背皮肤之间摩擦产生的被动声学信号；步骤2，数据预处理：通过滤波处理去除所述步骤1采集的被动声学信号中的噪音信号，得出待检测声学信号；步骤3，手势动作检测：通过手势检测处理将所述步骤2预处理后得到的待检测声学信号分成多个独立手势声学信号；步骤4，特征提取：将多个独立手势声学信号转换为用灰度图像表示的声学信号的时频谱图和梅尔倒谱系数的图像作为每个独立的手指动作的特征值；步骤5，手势动作识别：以所述步骤4提取的各独立的手指动作的特征值作为输入数据，利用卷积神经网络模型对输入数据进行手指手势动作识别，得到对应的手指手势动作。由上述本专利技术提供的技术方案可以看出，本专利技术实施例提供的基于智能手表的皮肤式手指手势识别方法，其有益效果为：通过智能手表的麦克风采集手指在手背皮肤书写手势划动摩擦的声音，并对采集的声音进行处理，从中识别出书写的手指手势，可由手指在手背皮肤上进行可穿戴设备的交互输入，扩展了可穿戴设备的输入区域，而无需配备其他重型设备。具有简单，实时性好的优点。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的基于智能手表的皮肤式手指手势识别方法的流程图；图2为本专利技术实施例提供的识别方法的手势动作集示意图；图3为本专利技术实施例提供的识别方法的应用系统架构示意图；图4为本专利技术实施例提供的识别方法中处理的声学信号示意图，其中，(1)为本专利技术实施例提供的识别方法中处理的原始信号示意图；(2)为本专利技术实施例提供的识别方法中处理的带通滤波后信号示意图；图5为本专利技术实施例提供的识别方法中小波变换后的声学信号示意图；图6为本专利技术实施例提供的识别方法中四种标准手势动作的数据处理后图、频谱图及梅尔倒谱图。具体实施方式下面结合本专利技术的具体内容，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。如图1所述，本专利技术实施例提供一种基于智能手表的皮肤式手指手势识别方法，包括：步骤1，信号采集：手指在手背皮肤上摩擦划出手势时，通过智能手表的麦克风采集手指与手背皮肤之间摩擦产生的被动声学信号；步骤2，数据预处理：通过滤波处理去除所述步骤1采集的被动声学信号中的噪音信号，得出待检测声学信号；步骤3，手势动作检测：通过手势检测处理将所述步骤2预处理后得到的待检测声学信号分成多个独立手势声学信号；步骤4，特征提取：将多个独立手势声学信号转换为用灰度图像表示的声学信号的时频谱图和梅尔倒谱系数的图像作为每个独立的手指动作的特征值；步骤5，手势动作识别：以所述步骤4提取的各独立的手指动作的特征值作为输入数据，利用卷积神经网络模型对输入数据进行手指手势动作识别，得到对应的手指手势动作。上述方法的步骤2中，所用的滤波处理包括：通过FIR滤波器滤波(即带通滤波)去除所采集的被动声学信号中的低频和高频噪声，得到仅包含手指手势动作声学信号的待检测声学信号。上述通过FIR滤波器滤波去除所采集的被动声学信号中的低频和高频噪声为：利用多个FIR滤波器滤波输出得到的滤波后的信号作为去除带外噪声的待检测声学信号y[n]，y[n]为：bk＝bn+2-k,k＝1,2,...,n+1；其中，N是FIR滤波器的数量，设定N＝112；bi是第i个实例在FIR滤波器的第N层的频率响应值，即是该层FIR滤波器的系数；两个FIR滤波器的参数分别设置为两个通带截止频率为6000和14000Hz和两个阻带截止频率为5000和15000Hz，且原始信号的采样率为Fs＝44100Hz。上述方法的步骤3中，通过手势检测处理将所述步骤2预处理后得到的待检测声学信号分成多个独立手势声学信号包括：从待检测声学信号中检测出每个独立的手指手势的起点和终点，通过每个独立的手指手势的起点和终点提取有效片段，根据所述有效片段确认出多个独立手势声学信号。上述方法中，从待检测声学信号中检测出每个独立的手指手势的起点和终点，通过每个独立的手指手势的起点和终点提取有效片段的方式如下：通过滑动窗口将待检测声学信号y[n]分成多段数据，计算每段数据的短期平均能量其中，W是窗口大小，W设为882，步长设为750；通过判断平均能量E[n]与之间的第一个差异值是否超过经验阈值γ，确认手指手势的起始点n，即在估计的手势输入声音的两侧设置两个保护间隔和计算获得手势输入起始点的候选者，候选手势起点集为{n1,n2,...,nm}；这些点减去作为起点，加上作为结束点，即候选集更改为上述方法的步骤4中，将多个独立手势声学信号转换为灰度图像来得到手指动作的特征值的方式为：通过对各独立手势声学信号进行短时傅里叶变换计算得出时频谱图，并对各独立的手势声音信号进行梅尔倒谱的计算得到梅尔倒谱系数的图像，将短时傅里叶变换得到的时频谱图和进行计算得到的梅尔倒谱系数的图像结合后转换为灰度图像，通过所述灰度图像得到手势声学信号的特征值；其中，短时傅里叶变换STFT为：其中,w[t]是窗函数，Y[m,ω]是y[n]w[n-m]的傅里叶变换，设定大小为512的Hamming窗口，长度为512本文档来自技高网...

【技术保护点】
1.一种基于智能手表的皮肤式手指手势识别方法，其特征在于，包括：步骤1，信号采集：手指在手背皮肤上摩擦划出手势时，通过智能手表的麦克风采集手指与手背皮肤之间摩擦产生的被动声学信号；步骤2，数据预处理：通过滤波处理去除所述步骤1采集的被动声学信号中的噪音信号，得出待检测声学信号；步骤3，手势动作检测：通过手势检测处理将所述步骤2预处理后得到的待检测声学信号分成多个独立手势声学信号；步骤4，特征提取：将多个独立手势声学信号转换为用灰度图像表示的声学信号的时频谱图和梅尔倒谱系数的图像作为每个独立的手指动作的特征值；步骤5，手势动作识别：以所述步骤4提取的各独立的手指动作的特征值作为输入数据，利用卷积神经网络模型对输入数据进行手指手势动作识别，得到对应的手指手势动作。

【技术特征摘要】
1.一种基于智能手表的皮肤式手指手势识别方法，其特征在于，包括：步骤1，信号采集：手指在手背皮肤上摩擦划出手势时，通过智能手表的麦克风采集手指与手背皮肤之间摩擦产生的被动声学信号；步骤2，数据预处理：通过滤波处理去除所述步骤1采集的被动声学信号中的噪音信号，得出待检测声学信号；步骤3，手势动作检测：通过手势检测处理将所述步骤2预处理后得到的待检测声学信号分成多个独立手势声学信号；步骤4，特征提取：将多个独立手势声学信号转换为用灰度图像表示的声学信号的时频谱图和梅尔倒谱系数的图像作为每个独立的手指动作的特征值；步骤5，手势动作识别：以所述步骤4提取的各独立的手指动作的特征值作为输入数据，利用卷积神经网络模型对输入数据进行手指手势动作识别，得到对应的手指手势动作。2.根据权利要求1所述的基于智能手表的皮肤式手指手势识别方法，其特征在于，所述方法的步骤2中，所用的滤波处理包括：通过FIR滤波器滤波去除所采集的被动声学信号中的低频和高频噪声，得到仅包含手指手势动作声学信号的待检测声学信号。3.根据权利要求2所述的基于智能手表的皮肤式手指手势识别方法，其特征在于，所述方法中，通过FIR滤波器滤波消除所采集的被动声学信号中的低频和高频噪声为：利用多个FIR滤波器滤波输出得到的滤波后的信号作为去除带外噪声的待检测声学信号y[n]，y[n]为：bk＝bn+2-k,k＝1,2,...,n+1；其中，N是FIR滤波器的数量，设定N＝112；bi是第i个实例在FIR滤波器的第N层的频率响应值，即是该层FIR滤波器的系数；两个FIR滤波器的参数分别设置为两个通带截止频率为6000和14000Hz和两个阻带截止频率为5000和15000Hz，且原始信号的采样率为Fs＝44100Hz。4.根据权利要求1至3任一项所述的基于智能手表的皮肤式手指手势识别方法，其特征在于，所述方法的步骤3中，通过手势检测处理将所述步骤2预处理后得到的待检测声学信号分成多个独立手势声学信号包括：从待检测声学信号中检测出每个独立的手指手势的起点和终点，通过每个独立的手指手势的起点和终点提取有效片段，根据所述有效片段确认出...

【专利技术属性】
技术研发人员：杨盘隆，曹书敏，李向阳，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34