基于手套的多模态数据采集系统技术方案

本发明专利技术公开了基于手套的多模态数据采集系统，涉及人机交互技术领域，包括采集电路模块，采集电路模块集成压力传感器、温湿度集成传感器、弯曲度传感器和姿态传感器分别用于多通道同步采集触觉信息；压力传感器和温湿度集成传感器均设置于手套指尖处，弯曲角度传感器设置于手套手指关节处，姿态传感器设置于手套手背部；采集电路模块包括主控电路、稳压电路、压力采集电路、温湿度采集电路、手指弯曲度采集电路、选通放大电路、IMU采集电路和蓝牙通讯电路；该系统具有稳定性强、可靠性好、集成度高、穿戴舒适等技术优势，可以作为VR/AR的虚拟手交互设备、智能机器人的灵巧手操作设备、人手指康复设备等。手指康复设备等。手指康复设备等。

【技术实现步骤摘要】
基于手套的多模态数据采集系统


[0001]本专利技术涉及人机交互
，具体涉及基于手套的多模态数据采集系统。

技术介绍

[0002]触觉作为人类五感之一，在我们理解和适应物理环境或者虚拟环境的过程中起着不可替代的作用。随着计算机科技的迅速发展，VR/AR人机交互中视/听觉信息技术得以快速更新且趋于成熟，但触觉信息技术还存在较大挑战，触觉交互可以增进人机交互的自然性，使普通用户能按其熟悉的感觉技能进行人机通讯，且有研究指出，触觉反馈在与视觉信息一致的情况下，对提升用户操控水平和降低错误率有帮助。
[0003]自然人、机器人和数字人之间基于触觉信息的手部人机交互是指以机械手或人手为信息沟通起点，穿戴数据采集手套系统进行操作，实时获取手部姿态信息、压力信息、环境温湿度信息等，通过远程传输技术将信息发送至另外个体，也可用于第三方的触觉复现。现有技术中，多源异构数据信息的实时同步采集是触觉信息技术的难点。
[0004]目前作为关注度较高的产品化数据采集手套5DT Data Glove(www.5dt.com)采用了光纤技术集成了18个弯曲传感器专注于手部运动数据的测量。研究方面，Feng Wen(Wen F,Zhang Z,He T,et al.AI enabled sign language recognition and VR space bidirectional communication using triboelectric smart glove[J].2021.)等人使用生态挠性纤维和起皱丁腈组成摩擦起电层，以导电织物为电极，制备了一种柔性薄摩擦电传感器，能偶获得手部姿态信息。赵裕沛(赵裕沛,费飞,杨德华,陈超.面向手部康复应用的数据手套技术研究[J].仪器仪表学报,2017,38(10):2415
‑
2421.)等人采用了9轴MEMS微惯性传感器，以11个传感器分布于不同关节以获取整只手的运动姿态。公开号为CN105446485A的中国专利文献公开了基于数据手套和位置跟踪仪的人手运动功能捕捉系统及方法。公开号为CN103955295A的中国专利文献公开了采用数据手套进行姿态获取并对虚拟手进行模拟抓取。
[0005]然而，人手作为与外界触觉环境进行交互的重要感知交互通道，除了运动姿态信息之外，还有温湿度，压力触感，和抓握时关节角度信息等都是十分关键的信息，同时采集以上多模态数据形式的手套，并对多通道多源异构数据进行采集分析的手套还十分少见。

技术实现思路

[0006]本专利技术提供了基于手套的多模态数据采集系统，实现了多通道多源异构数据的精确采集，包括指尖压力信息、环境温湿度信息、手掌姿态信息、手指关节运动数据，用于自然人、机器人和数字人之间基于触觉信息的手部人机交互，用于第三方的触觉复现。
[0007]具体采用的技术方案如下：
[0008]基于手套的多模态数据采集系统，包括采集电路模块，采集电路模块集成压力传感器、温湿度集成传感器、弯曲度传感器和姿态传感器分别用于多通道同步采集触觉信息；压力传感器和温湿度集成传感器均设置于手套指尖处，弯曲角度传感器设置于手套手指关
节处，姿态传感器设置于手套手背部；
[0009]采集电路模块包括主控电路、稳压电路、压力采集电路、温湿度采集电路、手指弯曲度采集电路、选通放大电路、IMU采集电路和蓝牙通讯电路；
[0010]主控电路通过ADC通道读取压力采集电路中压力传感器采集的电信号，并计算得到压力数据；主控电路通过I2C通道读取温湿度采集电路中温湿度集成传感器采集的数据位输出信号，计算得到湿度数据和温度数据；主控电路通过I2C通道读取IMU采集电路中的姿态传感器的测量值，得到手掌姿态数据；主控电路通过ADC通道和选通放大电路以遍历式轮询形式读取手指弯曲度采集电路中弯曲角度传感器采集的电信号，计算得到手指关节运动数据；蓝牙通讯电路负责主控电路的主控制器与上位机之间的通信，完成多模态数据的采集。
[0011]优选的，基于手套的多模态数据采集系统包括五个压力传感器、一个温湿度集成传感器、十个弯曲度传感器和一个姿态传感器；压力传感器设置于手套指尖处，温湿度传感器设置于手套食指指尖处，弯曲角度传感器分别设置于手套近指骨间关节处与手套掌指关节处，姿态传感器设置于手套手背部靠近腕关节处。
[0012]优选的，主控电路的主控制器首先对实时接收的电信号进行滤波处理、移动平均处理后，再将其映射为传感器压力数值F；最后，对压力数值F[F
min
，F
max
]进行最大和最小压力值的数据样本过滤以及线性函数归一化处理(将F归一化为0
‑
1的数值)得到压力数据；
[0013]优选的，主控电路的主控制器对实时接收的数据位输出信号进行滤波处理后，再进行转换处理，温湿度数据各占20位数据位，由温度和湿度的二进制数据值S
RH
,S
T
转换为十进制格式后通过公式进制格式后通过公式转换为实际温湿度值；再对湿度值RH和温度值T进行加权平均平滑化处理，权数ω按照近大远小，即ω
n
‑1<ω
n
<ω
n+1
来突出近期数据对温湿度测量的影响，来突出近期数据对温湿度测量的影响，提高传感器传输信号的准确性。
[0014]具体的，基于巴特沃斯滤波器模型进行滤波处理，基于巴特沃斯滤波器模型的传递函数为滤波频域为人体皮肤机械感受器敏感频域0.4
‑
1000Hz。
[0015]压力采集电路、温湿度采集电路信号采集电路在受到外界噪声干扰的情况下，易混入测量电路噪声、环境跳变性噪声等干扰，因此，本专利技术在主控电路的主控制器中加入了滤波算法，来有效抑制环境信号的干扰。
[0016]所述的手指关节运动数据包括掌指关节运动数据、近指骨间关节运动数据和远指骨间关节运动数据；优选的，所述的手指关节运动数据通过以下步骤得到：
[0017]主控电路的主控制器首先对实时接收的电信号进行数据样本过滤以及线性函数归一化处理(将V归一化为0
‑
1的数值)，基于电信号与存储掌指关节角度的掌
指关节运动数据R
掌
[R
掌min
,R
掌max
]、存储近指骨间关节角度的近指骨间关节运动数据R
近
[R
近min
,R
近max
]的映射关系获得归一化后电信号对应的掌指关节实时角度θ
掌
和近指骨间关节实时角度θ
近
，通过公式推演得到远指骨间关节实时角度θ
远
，对所有远指骨间关节实时角度汇总存储得到远指骨间关节运动数据R
远
[R
远min
,R
远max
]。
[0018]弯曲角度传感器采集的电信号由MOSFET管、电阻和运算放大器进行信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于手套的多模态数据采集系统，其特征在于，包括采集电路模块，采集电路模块集成压力传感器、温湿度集成传感器、弯曲度传感器和姿态传感器分别用于多通道同步采集触觉信息；压力传感器和温湿度集成传感器均设置于手套指尖处，弯曲角度传感器设置于手套手指关节处，姿态传感器设置于手套手背部；采集电路模块包括主控电路(1)、稳压电路(2)、压力采集电路(3)、温湿度采集电路(4)、手指弯曲度采集电路(5)、选通放大电路(6)、IMU采集电路(7)和蓝牙通讯电路(8)；主控电路(1)通过ADC通道读取压力采集电路(3)中压力传感器采集的电信号，并计算得到压力数据；主控电路(1)通过I2C通道读取温湿度采集电路(4)中温湿度集成传感器采集的数据位输出信号，计算得到湿度数据和温度数据；主控电路(1)通过I2C通道读取IMU采集电路(7)中的姿态传感器的测量值，得到手掌姿态数据；主控电路(1)通过ADC通道和选通放大电路(6)以遍历式轮询形式读取手指弯曲度采集电路(5)中弯曲角度传感器采集的电信号，计算得到手指关节运动数据；蓝牙通讯电路(8)负责主控电路(1)的主控制器与上位机之间的通信，完成多模态数据的采集。2.根据权利要求1所述的基于手套的多模态数据采集系统，其特征在于，包括五个压力传感器、一个温湿度集成传感器、十个弯曲度传感器和一个姿态传感器；压力传感器设置于手套指尖处，温湿度传感器设置于手套食指指尖处，弯曲角度传感器分别设置于手套近指骨间关节处与手套掌指关节处，姿态传感器设置于手套手背部靠近腕关节处。3.根据权利要求1所述的基于手套的多模态数据采集系统，其特征在于，压力数据通过以下步骤得到：主控电路(1)的主控制器首先对实时接收的电信号进行滤波处理、移动平均处理后，将其映射为传感器压力数值F；最后，对压力数值F[F
min
，F
max
]进行最大和最小压力值的数据样本过滤以及线性函数归一化处理得到压力数据。4.根据权利要求1所述的基于手套的多模态数据采集系统，其特征在于，湿度数据和温度数据通过以下步骤得到：主控电路(1)的主控制器对实时接收的数据位输出信号进行滤波处理后，再进行转换处理，将其映射为实际湿度值RH和温度值T，再对...

【专利技术属性】
技术研发人员：刘畅，梁宏博，陈铭，姚新伟，杨文珍，鲍虎军，
申请(专利权)人：之江实验室，
类型：发明
国别省市：