本发明专利技术公开了一种可克服PPG传感器偏移负面影响的手势识别方法，首先，对于单个用户，分批次采集带有充分传感器偏移信息的手势PPG数据，构建和训练具有传感器偏移特性的源网络；然后，构建与源网络具有相似结构的目标识别网络，将源网络参数迁移至目标识别网络，并在新的传感器位置下采集少量数据对目标识别网络进行微调，微调后的目标识别网络即可实现该单个特定用户在有传感器偏移影响下的手势交互应用中的高鲁棒性手势识别。本发明专利技术使得用户在实际应用中只需要做少量的几个手势即可完成分类器的校准，可提升分类器的鲁棒性，同时又极大地改善用户体验，为在可穿戴设备上实现基于PPG的手势交互应用所面临的传感器偏移问题提供新的解决思路。提供新的解决思路。提供新的解决思路。
【技术实现步骤摘要】
一种可克服PPG传感器偏移负面影响的手势识别方法
[0001]本专利技术涉及生物信号处理、模式识别与智能交互领域，尤其涉及一种可克服PPG(Photoplethysmography,PPG,光电容积描记术)传感器偏移负面影响的手势识别方法。
技术介绍
[0002]手势因具有语义清晰、简单易用等特点，被广泛应用于人机交互领域，为实现人与计算机之间的某种信息交流提供了一种新的方式。对于一个基于手势的交互应用来说，手势识别的准确性在很大程度上决定了其实用性和用户体验。因此，如何在实际应用中克服如传感器偏移、个体差异等问题，提高手势识别分类器的鲁棒性，减轻用户训练负担，一直是手势识别系统研究的热点话题。
[0003]PPG是一种利用光电手段检测活体组织中血容量变化的测量方法，通常被用于心率监测。因手势在执行过程中，一系列的肌肉会以不同程度地压缩动脉，导致PPG信号随着血流和血压的变化而变化，产生运动伪影，这种独特的运动伪影为使用PPG信号进行手势识别提供了一定的可行性。由于集成在可穿戴设备中的PPG传感器可以用来获取手势信息，因此基于PPG信号的手势识别在便携式人机交互场景中的潜在应用价值引起了学者们的广泛关注。近年来，不少研究者提出的模式识别方案在理想的实验室条件下取得了较高的识别精度。然而，与手势相关的PPG信号强度对传感器在手腕上的位置非常敏感，而在实际应用场景中不可避免地会发生交互设备的重复性佩戴，由于不能保证每次佩戴时PPG传感器的放置位置都完全相同，这种传感器偏移的存在将导致训练数据和测试数据之间的特征分布出现较大差异，从而使分类器的性能严重下降。因此，用户每次使用交互式设备时，都需要采集新的数据来训练分类器以保证系统性能，这将带来沉重的训练负担和糟糕的用户体验。
[0004]为了实现基于PPG技术的手势交互产品的落地，如何解决在传感器偏移的情况下模式识别算法鲁棒性低和用户训练负担重的问题是促进该项技术发展的关键。而在当前的相关研究中，由于设备佩戴所带来的传感器偏移问题对PPG手势识别性能的影响还没有得到足够的重视，用于克服传感器偏移问题的有效方法也几乎没有被讨论过。
技术实现思路
[0005]本专利技术技术解决问题：解决上述现有研究存在的不足之处，提供一种可克服PPG传感器偏移负面影响的手势识别方法，以期能利用深度学习网络的泛化能力从带有充分传感器偏移信息的多批次PPG数据中学习对位置信息不太敏感的手势相关特征，并迁移到新的传感器位置下进行识别，从而能使用户以尽可能小的训练负担实现新的传感器位置下的高鲁棒性的手势识别。
[0006]本专利技术首先，对于单个用户，分批次采集带有充分传感器偏移信息的手势PPG数据，构建和训练具有传感器偏移特性的源网络；然后，构建与源网络具有相似结构的目标识别网络，将源网络参数迁移至目标识别网络，并在新的传感器位置下采集少量数据对目标
识别网络进行微调，微调后的目标识别网络即可实现该单个特定用户在有传感器偏移影响下的手势交互应用中的高鲁棒性手势识别。
[0007]本专利技术的目的是通过以下技术方案实现的：一种可克服PPG传感器偏移负面影响的手势识别方法，包括以下步骤：
[0008](1)对于单个用户，使用PPG传感器设备分批次采集带有充分传感器偏移信息的手势PPG数据，对采集的手势PPG数据进行预处理，得到预处理后的手势PPG数据；所述PPG传感器设备通道数为Nc；
[0009](2)基于预处理后的手势PPG数据，构建基于LSTM网络模型的源网络，利用有监督学习方式训练具有传感器偏移特性的源网络；
[0010](3)构建与所述源网络具有相似结构的目标识别网络，将源网络的参数迁移至目标识别网络，作为特征提取网络，并在新的传感器位置下采集1
‑
2个手势PPG数据对目标识别网络进行微调，微调后的目标识别网络即可实现该单个特定用户在有传感器偏移影响下的手势交互应用中的高鲁棒性手势识别；所述手势包括能涉及腕关节和各指关节的多种状态的组合。
[0011]进一步的，所述步骤(1)使用PPG传感器设备分批次采集带有充分传感器偏移信息的手势PPG数据，包括：
[0012]用户每佩戴一次PPG传感器设备，所采集到的手势PPG数据记为一个批次；
[0013]传感器偏移包括能涉及上、下、左、右以及其它方位偏移的多种位置的组合；
[0014]在每一次传感器放置位置下，用户逐一执行预先设计的所有手势。
[0015]进一步的，所述步骤(1)对采集的手势PPG数据进行预处理，过程如下：
[0016](11)对手势PPG数据进行滤波以去除高频噪声；
[0017](12)从连续的手势PPG数据中分割出对应于手势重复的手势样本；
[0018](13)采用重采样方法将手势样本的大小归一化到一个固定值Ns，以确保输入网络的数据具有相同的尺度；
[0019](14)采用最大
‑
最小归一化方法将手势样本各通道幅值归一化，以消除奇异样本数据导致的不良影响。
[0020]进一步的，所述步骤(2)中，构建基于LSTM网络模型的源网络，利用有监督学习方式训练具有传感器偏移特性的源网络，具体如下：
[0021](21)源网络由N个LSTM块和一个Dense层构成，每个LSTM块包括一个LSTM单元、一个BN层和一个Dropout层，Dense层的激活函数选择Softmax函数，用于输出手势分类结果；
[0022](22)获取所有批次的手势样本及其标签，将不同传感器放置位置下的所有批次的数据全部用作源网络的训练数据；
[0023](23)将带有充分传感器偏移信息的多批次手势样本和相应的标签一并输入源网络，设置网络训练迭代次数和每次迭代的样本量，调整网络超参数，选择RMSprop优化算法作为网络训练优化器，交叉熵Cross
‑
entropy作为网络训练损失函数，通过随机梯度下降法训练网络直至训练误差收敛到设定范围，训练准确率稳定到较高水平，得到训练有素的具有传感器偏移特性的源网络，用于目标识别网络的迁移；
[0024]所述(23)中，RMSprop优化算法的更新规则如公式(1)、(2)所示：
[0025][0026]h
←
βh+(1
‑
β)g
⊙
g
ꢀꢀꢀ
(2)
[0027]式中，θ为设定的初始参数，α为设定的全局学习率，h为梯度累积变量，g为梯度，β为设定的衰减速率，通过基于梯度的更新规则不断迭代更新参数θ，达到最小化损失函数的目的；
[0028]所述(23)中，交叉熵Cross
‑
entropy损失函数的具体公式如(3)所示：
[0029][0030]式中，n为样本数，x为输入，y为真实输出，a为相应的预测输出，通过上述公式计算真实值与预测值之间的误差。
[0031]进一步的，所述步骤(3)中，构建与所述源网络具有相本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种可克服PPG传感器偏移负面影响的手势识别方法，其特征在于，包括以下步骤：(1)对于单个用户，使用PPG传感器设备分批次采集带有充分传感器偏移信息的手势PPG数据，对采集的手势PPG数据进行预处理，得到预处理后的手势PPG数据；所述PPG传感器设备通道数为N
c
；(2)基于预处理后的手势PPG数据，构建基于LSTM(Long Short
‑
Term Memory,LSTM,长短期记忆人工神经网络)网络模型的源网络，利用有监督学习方式训练具有传感器偏移特性的源网络；(3)构建与所述源网络具有相似结构的目标识别网络，将源网络的参数迁移至目标识别网络，作为特征提取网络，并在新的传感器位置下采集1
‑
2个手势PPG数据对目标识别网络进行微调，微调后的目标识别网络即可实现该单个特定用户在有传感器偏移影响下的手势交互应用中的高鲁棒性手势识别；所述手势包括能涉及腕关节和各指关节的多种状态的组合。2.根据权利要求1所述的一种可克服PPG传感器偏移负面影响的手势识别方法，其特征在于，所述步骤(1)使用PPG传感器设备分批次采集带有充分传感器偏移信息的手势PPG数据，包括：用户每佩戴一次PPG传感器设备，所采集到的手势PPG数据记为一个批次；传感器偏移包括能涉及上、下、左、右以及其它方位偏移的多种位置的组合；在每一次传感器放置位置下，用户逐一执行预先设计的所有手势。3.根据权利要求1所述的一种可克服PPG传感器偏移负面影响的手势识别方法，其特征在于，所述步骤(1)对采集的手势PPG数据进行预处理，过程如下：(11)对手势PPG数据进行滤波以去除高频噪声；(12)从连续的手势PPG数据中分割出对应于手势重复的手势样本；(13)采用重采样方法将手势样本的大小归一化到一个固定值N
s
，以确保输入网络的数据具有相同的尺度；(14)采用最大
‑
最小归一化方法将手势样本各通道幅值归一化，以消除奇异样本数据导致的不良影响。4.根据权利要求1所述的一种可克服PPG传感器偏移负面影响的手势识别方法，其特征在于，所述步骤(2)中，构建基于LSTM网络模型的源网络，利用有监督学习方式训练具有传感器偏移特性的源网络，具体如下：(21)源网络由N个LSTM块和一个Dense(全连接)层构成，每个LSTM块包括一个LSTM单元、一个BN(Batch Normalization,BN,批量归一化)层和一个Dropout层，Dense层的激活函数选择Softmax函数，用于输出手势分类结果；(22)获取所有批次的手势样本及其标签，将不同传感器放置位置下的所有批次的数据全部用作源网络的训练数据；(23)将带有充分传感器偏移信息的多批次手势样本和相应的标签一并输入源网络，设置网络训练迭代次数和每次迭代的样本量，调整网络超参数，选择RMSprop优化算法作为网络训练优化器，交叉熵Cross
‑
entropy作为网络训练损失函数，通过随机梯度下降法训练网络直至训练误差收敛到设定范围，训练准确率稳定到较高水平，得到训练有素的具有传感器偏移特性的源网络，用于目标识别网络的迁移；
所...
【专利技术属性】
技术研发人员：陈香，阮鑫，张旭，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。