手势识别方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种手势识别方法、装置、电子设备及可读存储介质，属于生理信号识别技术领域。所述手势识别方法，包括：获取雷达热图，所述雷达热图含有目标手势的运动信息；将所述雷达热图输入训练好的神经网络模型，得到所述目标手势的手势内容信息。因此使用本发明专利技术中的雷达热图完全替代了现有技术中的高精度摄像，实现了在保护用户隐私的条件下以无感的方式进行手势识别，因此解决了现有技术中在获取并识别用户手势运动信息过程中不能有效保护用户个人隐私的问题。户个人隐私的问题。户个人隐私的问题。

【技术实现步骤摘要】
手势识别方法、装置、电子设备及可读存储介质


[0001]本专利技术属于生理信号识别
，尤其涉及一种手势识别方法、装置、电子设备及可读存储介质。

技术介绍

[0002]手势识别是一种计算过程，它试图通过使用数学算法来识别和解释人类的手势。手势识别是计算机科学发展的一个领域，随着该领域的不断发展，对它的利用方式也会不断发展。手势识别计算机过程被设计用来增强人机交互，并且可以通过多种方式发生，例如通过使用触摸屏、摄像头或外围设备。
[0003]然而，由于这些现有的手势识别技术对设备的要求很高，例如基于摄像头的手势识别技术需要布置多个高精度并且价格高昂的摄像头，虽然通过这些高精度摄像头可以准确的获取用户的手势运动信息，但同时用户手势运动过程中的背景画面也同时被高精度摄像头获取，如果处理不当将会造成用户隐私泄漏，特别是在潜在的敏感环境中，如卧室或浴室等环境下。
[0004]因此，如何能够准确获取并识别用户手势运动信息，并保护用户个人隐私成为关键问题。

技术实现思路

[0005](一)专利技术目的
[0006]本专利技术的目的是提供一种手势识别方法、装置、电子设备及可读存储介质以解决现有技术在获取并识别用户手势运动信息过程中不能有效保护用户个人隐私的问题。
[0007](二)技术方案
[0008]为解决上述问题，本专利技术提供了一种手势识别方法，包括：
[0009]获取雷达热图，所述雷达热图含有目标手势的运动信息；
[0010]将所述雷达热图输入训练好的神经网络模型，得到所述目标手势的手势内容信息。
[0011]在一个可选的实施例中，所述神经网络模型通过半监督学习方式训练得到。
[0012]在一个可选的实施例中，将所述雷达热图输入到训练好的神经网络模型，得到所述目标手势的手势内容信息之前包括：
[0013]将所述雷达热图中的目标手势运动信息的时间序列对齐到相同的帧数；
[0014]对带标签的数据和无标签的数据通过半监督学习方式处理，得到训练好的神经网络模型。
[0015]在一个可选的实施例中，对带标签的数据和无标签的数据通过半监督学习方式处理，得到训练好的神经网络模型包括：
[0016]将带标签的数据输入监督学习模型，得到带标签数据{x
i
,y
i
}的交叉熵损失；
[0017]将带标签的数据和无标签的数据输入半监督学习模型，得到无监督损失；
[0018]根据所述无监督损失和所述交叉熵损失计算得到总损失；
[0019]根据所述总损失，得到训练好的神经网络模型。
[0020]在一个可选的实施例中，将带标签的数据输入监督学习模型，得到带标签数据{x
i
,y
i
}的交叉熵损失包括：
[0021]使用交叉熵损失的公式计算得到交叉熵损失；其中，L
s
为交叉熵损失，C为类别数，z
i
为神经网络提取的特征。
[0022]在一个可选的实施例中，所述半监督学习模型为π
‑
model模型，所述半监督学习模型用于惩罚所述神经网络模型对同一输入向量的随机增强给出不同的预测。
[0023]在一个可选的实施例中，将带标签的数据和无标签的数据输入半监督学习模型，得到无监督损失包括：
[0024]使用无监督损失计算公式：计算得到无监督损失；
[0025]其中，|X|为带标签和无标签的数据总和，z
i
和分别为经过两次随机的数据增强后提取的特征。
[0026]在一个可选的实施例中，根据所述无监督损失和所述交叉熵损失计算得到总损失包括：
[0027]使用总损失公式：L
T
＝L
S
+w(t)L
U
计算得到总损失；
[0028]其中，L
T
为总损失，L
s
为交叉熵损失，w(t)为权重函数并用于分配交叉熵损失和无监督损失之间的比例。
[0029]在一个可选的实施例中，获取雷达热图，所述雷达热图含有目标手势的运动信息包括：
[0030]发射毫米波并接收含有目标手势运动的毫米波回波信号；
[0031]将所述毫米波回波信号进行距离傅里叶变换；
[0032]将所述毫米波回波信号中的静止物体或微小振动物体的信号过滤掉；
[0033]将所述毫米波回波信号进行速度傅里叶变换；
[0034]将所述毫米波回波信号进行角度傅里叶变换，获取雷达距离角度热图。
[0035]另外，本专利技术还提供了一种手势识别装置，包括：
[0036]获取单元，用于获取雷达热图，所述雷达热图含有目标手势的运动信息；以及
[0037]输入单元，用于将所述雷达热图输入训练好的神经网络模型，得到所述目标手势的手势内容信息。
[0038]另外，本专利技术还提供了一种电子设备，包括：处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现所述的手势识别方法的步骤。
[0039]另外，本专利技术还提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现所述的手势识别方法的步骤。
[0040](三)有益效果
[0041]本专利技术的上述技术方案具有如下有益的技术效果：
[0042]本专利技术中，仅仅利用获取含有目标手势的运动信息的雷达热图，将所述雷达热图输入训练好的神经网络模型，从而得到所述目标手势的手势内容信息，达到识别目标手势的目的，同时由于雷达热图是由雷达收发端发射雷达波(例如毫米波)并接收含有目标手势运动的雷达回波信号，并将雷达回波信号转换形成的，以使得相关的目标手势运动信息在雷达热图中更加集中，保证对目标手势运动信息获取的准确性，因此使用本专利技术中的雷达热图完全替代了现有技术中的高精度摄像，实现了在保护用户隐私的条件下以无感的方式进行手势识别，因此解决了现有技术中在获取并识别用户手势运动信息过程中不能有效保护用户个人隐私的问题。
附图说明
[0043]图1是本专利技术具体实施方式的所述手势识别方法的主要过程的流程示意图；
[0044]图2是本专利技术具体实施方式的所述手势识别方法的全部过程的流程示意图；
[0045]图3是本专利技术具体实施方式的所述手势识别方法中将毫米波回波信号转换为雷达热图的流程示意图；
[0046]图4是本专利技术具体实施方式的所述手势识别方法中根据所述雷达热图通过半监督学习方式训练神经网络模型的流程示意图。
具体实施方式
[0047]为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的区域。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势识别方法，其特征在于，包括：获取雷达热图，所述雷达热图含有目标手势的运动信息；将所述雷达热图输入训练好的神经网络模型，得到所述目标手势的手势内容信息。2.根据权利要求1所述的手势识别方法，其特征在于，所述神经网络模型通过半监督学习方式训练得到。3.根据权利要求1所述的手势识别方法，其特征在于，将所述雷达热图输入到训练好的神经网络模型，得到所述目标手势的手势内容信息之前包括：将所述雷达热图中的目标手势运动信息的时间序列对齐到相同的帧数；对带标签的数据和无标签的数据通过半监督学习方式处理，得到训练好的神经网络模型。4.根据权利要求3所述的手势识别方法，其特征在于，对带标签的数据和无标签的数据通过半监督学习方式处理，得到训练好的神经网络模型包括：将带标签的数据输入监督学习模型，得到带标签数据{x
i
,y
i
}的交叉熵损失；将带标签的数据和无标签的数据输入半监督学习模型，得到无监督损失；根据所述无监督损失和所述交叉熵损失计算得到总损失；根据所述总损失，得到训练好的神经网络模型。5.根据权利要求4所述的手势识别方法，其特征在于，将带标签的数据输入监督学习模型，得到带标签数据{x
i
,y
i
}的交叉熵损失包括：使用交叉熵损失的公式计算得到交叉熵损失；其中，L
s
为交叉熵损失，C为类别数，z
i
为神经网络提取的特征。6.根据权利要求4所述的手势识别方法，其特征在于，所述半监督学习模型为π
‑
model模型，所述半监督学习模型用于惩罚所述神经网络模型对同一输入向量的随机增强给出不同的预测。7.根据权利要求4所述的手势识别方法，其特征在于，将带标签的数据和无标签的数据输入半监督学习...

【专利技术属性】
技术研发人员：方震，闫百驹，赵荣建，何光强，
申请(专利权)人：南京润楠医疗电子研究院有限公司，
类型：发明
国别省市：