【技术实现步骤摘要】
本专利技术涉及机器人触觉感知，尤其涉及一种基于仿生触觉手指的多模态仿生触觉感知方法、系统、终端及计算机可读存储介质。
技术介绍
1、机器人的触觉感知能力在机器抓取、操作以及人机交互中起着非常重要的作用。根据人体指尖的结构、材料属性、功能等方面特征的指导，结合不同传感原理，设计拟人化的触觉手指，能够使机器人具有敏感度高的触觉感知能力。在机器人触觉感知过程中，包含形状、力、纹理等多种不同的属性，对于多种属性的触觉识别，在机器触觉感知方面具有重要作用，它对于触觉传感具有高要求。
2、目前，有很多种传感原理能够实现触觉信号的获取，主要包括压电式、光学式等，而单一类型传感器受限于各自原理，存在着有限的应用场景。基于两种及两种以上的传感原理，能够发挥不同传感原理的优势，实现不同传感模态之间的优势互补。相比于其它传感器原理，光学式传感结构简单紧凑，空间分辨率高，对于静态按压和低频接触具有高的敏感度，还能够用与磁共振成像技术共用于外科手术机器人的触觉传感。然而，基于相机的光学式传感器，也叫做视触觉传感器，它的时间响应速度取决于相机帧速，这又进一步限制了传感器的尺寸，在触觉手指尺度上，时间分辨率低。而压电传感器的一个突出优点是无需电源，同时具有灵敏度高、可靠性高、动态响应快等特点，其1hz-1khz的宽响应范围可以用于振动测量，然而由于静态力持续作用时电压会不断降低，压电传感器不适合静态力的测量，同时其空间分辨率低，温度稳定性差。
3、当前基于视触觉传感方法中，存在时间响应速度受限于帧速的问题，在压电式传感方法中，存在空间
4、因此，现有技术还有待于改进和发展。
技术实现思路
1、本专利技术的主要目的在于提供一种基于仿生触觉手指的多模态仿生触觉感知方法，旨在解决现有技术的单一传感器存在时间响应速度受限于帧速，及空间分辨率有限、静态响应差，而多模态触觉传感器缺少数据融合的过程的问题。
2、为实现上述目的，本专利技术提供一种基于仿生触觉手指的多模态仿生触觉感知方法及系统，所述基于仿生触觉手指的多模态仿生触觉感知方法包括如下步骤：
3、获取所述仿生触觉手指产生的电荷信号，对所述电荷信号进行预处理，得到压电数字信号；
4、获取所述仿生触觉手指拍摄的图像序列，对所述图像序列进行信号处理，得到视触觉信号；
5、对所述压电数字信号和所述视触觉信号进行融合处理，得到时空触觉信号，对所述时空触觉信号分别进行表面三维重建和频谱分析，得到多模态触觉信息。
6、可选地，所述的基于仿生触觉手指的多模态仿生触觉感知方法，其中，所述获取所述仿生触觉手指产生的电荷信号，对所述电荷信号进行预处理，得到压电数字信号，具体包括：
7、当检测到所述仿生触觉手指受到外界刺激产生电荷信号时，获取感知区域的电荷信号，对所述电荷信号进行信号放大，得到目标电荷信号，并对所述目标电荷信号进行转换处理，得到电压信号；
8、对所述电压信号进行滤波处理，得到目标电压信号，并对所述目标电压信号进行数字转化，得到压电数字信号。
9、可选地，所述的基于仿生触觉手指的多模态仿生触觉感知方法，其中，所述获取所述仿生触觉手指拍摄的图像序列，对所述图像序列进行信号处理，得到视触觉信号，具体包括：
10、当检测到所述仿生触觉手指受到外界刺激，且拍摄到对应标记点的图像序列时，获取感知区域的图像序列，并对所述图像序列进行分离处理，得到压电薄膜图像和标记点图像；
11、根据压电薄膜面积和排布的相对关系对所述压电薄膜图像进行区分处理，得到对应的空间位置信息，并根据所述空间位置信息和所述图像序列得到第一图像序列信息；
12、根据所述标记点图像记录每个标记点的位置信息，根据所有所述位置信息和所述图像序列得到第二图像序列信息，并根据所述第一图像序列信息和所述第二图像序列信息构建对应的视触觉信号。
13、可选地，所述的基于仿生触觉手指的多模态仿生触觉感知方法，其中，所述对所述压电数字信号和所述视触觉信号进行融合处理，得到时空触觉信号，具体包括：
14、对所述第一图像序列信息和所述第二图像序列信息进行信息比较，得到所述感知区域的空间坐标信息；
15、将所述压电数字信号的时间起点与所述视触觉信号的时间起点进行对齐处理，得到所述感知区域的时序信号；
16、根据所述空间坐标信息和所述时序信号得到时空触觉信号。
17、可选地，所述的基于仿生触觉手指的多模态仿生触觉感知方法，其中，所述时空触觉信号包括触觉空间信号和触觉时序信号；
18、所述对所述时空触觉信号分别进行表面三维重建和频谱分析，得到多模态触觉信息，具体包括：
19、对所述触觉空间信号对感知区域进行表面三维重建，得到三维重建结果；
20、设定目标时间间隔，根据所述目标时间间隔对所述触觉时序信号进行频谱转换，得到振动主频率信息；
21、根据所述三维重建结果和所述振动主频率信息得到多模态触觉信息。
22、可选地，所述的基于仿生触觉手指的多模态仿生触觉感知方法，其中，所述触觉空间信号的类型包括单镜面反射和多镜面反射；
23、所述对所述触觉空间信号对感知区域进行表面三维重建，得到三维重建结果，具体包括：
24、若所述触觉空间信号的类型为单镜面反射，则通过预设方式对所述感知区域的二维坐标进行三维重建，得到三维重建结果，其中，所述预设方式包括坐标点梯度积分和标记点面积缩放比例；
25、若所述触觉空间信号的类型为多镜面反射，则构建虚拟双目视觉系统，通过所述虚拟双目视觉系统计算所述感知区域的每个位置的三维坐标，并对所有三维坐标进行插值处理，得到三维重建结果。
26、可选地，所述的基于仿生触觉手指的多模态仿生触觉感知方法，其中，所述根据所述空间坐标信息和所述时序信号得到时空触觉信号，之后还包括：
27、根据所述空间坐标信息和所述时序信号对所述感知区域的目标信息进行识别感知，得到感知结果，其中，所述目标信息包括形状信息、纹理信息、静态力信息和动态力信息。
28、可选地，所述的基于仿生触觉手指的多模态仿生触觉感知方法，其中，所述的基于仿生触觉手指的多模态仿生触觉感知系统包括：仿生触觉手指、信号处理模块和融合分析模块；
29、所述仿生触觉手指包括仿生指纹模块、压电传感模块、视触觉传感模块和压电信号调制电路模块；
30、所述仿生指纹模块，用于与物体进行接触；
31、所述压电传感模块，用于当所述仿生指纹模块接触所述物体时，产生对应的电荷信号；
32、所述视触觉传感模块，用于当所述仿生指纹模块接触所述物体时，拍摄对应本文档来自技高网...
【技术保护点】
1.一种基于仿生触觉手指的多模态仿生触觉感知方法，其特征在于，所述基于仿生触觉手指的多模态仿生触觉感知方法包括：
2.根据权利要求1所述的基于仿生触觉手指的多模态仿生触觉感知方法，其特征在于，所述获取所述仿生触觉手指产生的电荷信号，对所述电荷信号进行预处理，得到压电数字信号，具体包括：
3.根据权利要求1所述的基于仿生触觉手指的多模态仿生触觉感知方法，其特征在于，所述获取所述仿生触觉手指拍摄的图像序列，对所述图像序列进行信号处理，得到视触觉信号，具体包括：
4.根据权利要求3所述的基于仿生触觉手指的多模态仿生触觉感知方法，其特征在于，所述对所述压电数字信号和所述视触觉信号进行融合处理，得到时空触觉信号，具体包括：
5.根据权利要求1所述的基于仿生触觉手指的多模态仿生触觉感知方法，其特征在于，所述时空触觉信号包括触觉空间信号和触觉时序信号；
6.根据权利要求5所述的基于仿生触觉手指的多模态仿生触觉感知方法，其特征在于，所述触觉空间信号的类型包括单镜面反射和多镜面反射；
7.根据权利要求4所述的基于仿生触觉手指的
8.一种基于仿生触觉手指的多模态仿生触觉感知系统，其特征在于，所述基于仿生触觉手指的多模态仿生触觉感知系统包括：仿生触觉手指、信号处理模块和融合分析模块；
9.一种终端，其特征在于，所述终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于仿生触觉手指的多模态仿生触觉感知程序，所述基于仿生触觉手指的多模态仿生触觉感知程序被所述处理器执行时实现如权利要求1-7任意一项所述基于仿生触觉手指的多模态仿生触觉感知方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机可读存储介质存储有基于仿生触觉手指的多模态仿生触觉感知程序，所述基于仿生触觉手指的多模态仿生触觉感知程序被处理器执行时实现如权利要求1-7任意一项所述基于仿生触觉手指的多模态仿生触觉感知方法的步骤。
...【技术特征摘要】
1.一种基于仿生触觉手指的多模态仿生触觉感知方法，其特征在于，所述基于仿生触觉手指的多模态仿生触觉感知方法包括：
2.根据权利要求1所述的基于仿生触觉手指的多模态仿生触觉感知方法，其特征在于，所述获取所述仿生触觉手指产生的电荷信号，对所述电荷信号进行预处理，得到压电数字信号，具体包括：
3.根据权利要求1所述的基于仿生触觉手指的多模态仿生触觉感知方法，其特征在于，所述获取所述仿生触觉手指拍摄的图像序列，对所述图像序列进行信号处理，得到视触觉信号，具体包括：
4.根据权利要求3所述的基于仿生触觉手指的多模态仿生触觉感知方法，其特征在于，所述对所述压电数字信号和所述视触觉信号进行融合处理，得到时空触觉信号，具体包括：
5.根据权利要求1所述的基于仿生触觉手指的多模态仿生触觉感知方法，其特征在于，所述时空触觉信号包括触觉空间信号和触觉时序信号；
6.根据权利要求5所述的基于仿生触觉手指的多模态仿生触觉感知方法，其特征在于，所述触觉空间信号的类型包括单镜面反射...
【专利技术属性】
技术研发人员：刘洪海，王小鑫，杨晨，刘子雍，盛译萱，王志永，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。