一种多模态触觉感知装置及其应用方法制造方法及图纸

本发明专利技术公开一种多模态触觉感知装置及其应用方法，包括特定方盒单元，气泵单元，柔性触觉传感器单元，光源单元，图像采集单元和加速度采集单元。其中气泵与装置通过管道连接，柔性触觉传感器单元安装在方盒不封闭的一面，光源单元包括RGB(红色，绿色和蓝色)三个灯珠分别安装在方盒的三侧内壁上，图像采集单元安装在方盒的底面，加速度采集单元安装在方盒的底部内壁上。本发明专利技术将柔性材料帆布作为触感装置的接触面，可同时触发两种异构触觉信息：分别为触觉序列和触觉图像，再通过拟合，定量的刻画物理世界中的触觉、滑觉等信息。本发明专利技术装置在与被测物体接触或者滑动时，能够同时感知到力触觉量、RGB图像、深度图像、加速度等多种模态的触觉信息。态的触觉信息。态的触觉信息。

【技术实现步骤摘要】
一种多模态触觉感知装置及其应用方法


[0001]本专利技术涉及机器人传感
，特别是涉及一种多模态触觉感知装置及其应用方法。

技术介绍

[0002]触觉是机器人感知外部环境的重要信息来源。随着触觉感知技术和交互技术的广泛应用,机器人触觉传感技术得到了机器人研发人员的高度关注。目前常见的触觉传感器有压阻式、电容式、光电式等，而它们大多存在密度难以提高、电路处理复杂等问题。为了克服以上不足，近年来出现了基于视觉的触觉传感装置，具有结构简单、信息丰富等优势,但现有触觉传感装置在信息弱配对和单一的触觉感知方式方面仍然有很大的提升空间。

技术实现思路

[0003]为了解决现有技术存在的问题，本专利技术提供了一种多模态触觉感知装置及其应用方法，本专利技术就是针对现有触觉传感装置存在信息弱配对和单一的触觉感知方式这两个共性问题，专利技术了一种多模态触觉感知装置。该装置主体为黑色方盒，其中一面不封闭，贴上帆布力触觉传感器，在使用过程中，利用气泵通过装置侧面的一个小口，给装置内部打气，使被测物与帆布力传感器接触时力触觉传感器的形变更加明显。该传感器的用法是：柔性触觉传感器垂直朝下压住被测物，水平移动装置使得帆布面与被测物接触并且产生形变，该触觉传感器表面的16个触点将读取的AD信号返回给MCU处理，同时装置上搭载了加速度传感器，可以获取我们测量过程中的加速度信号，在装置内部还放置了RGB灯珠提供红、绿、蓝三种颜色的光源，底部的双目摄像头可以读取物体在帆布力触觉传感器上滑动产生的RGB图像和深度图像，这些信息经过拟合，可以同时获取触觉序列、触觉图像和加速度信息，使装置在感知物体时不存在弱配对就可以获得多模态触觉信息。
[0004]为达此目的，本专利技术采用以下技术方案：
[0005]一种多模态触觉感知装置，包括方盒单元，气泵单元，柔性触觉传感器单元，光源单元，图像采集单元和加速度采集单元；所述气泵单元与所述方盒单元通过管道连接，所述柔性触觉传感器单元设置在所述方盒单元上，所述光源单元设置在所述方盒单元侧壁上，所述图像采集单元设置在所述方盒单元底部，所述加速度采集单元设置在所述方盒单元底部。
[0006]进一步地，所述方盒单元为长方体空心外壳，所述外壳为黑色亚克力板材料制成，所述长方体有一面不封闭。
[0007]进一步地，所述气泵单元为自动充气装置。
[0008]进一步地，所述的柔性触觉传感器单元包括帆布力触觉传感器和外围电路，所述帆布力触觉传感器安装在所述长方体不封闭一侧，所述外围电路外置。所述帆布力触觉传感器为纳米力敏材料与柔软的帆布结合，所述帆布力触觉传感器一共有五层，包括两层帆布层、两层薄膜层和纳米力敏材料层。
[0009]进一步地，所述的光源单元包括RGB(红色，绿色和蓝色)三个灯珠，分别用热熔胶贴在所述方盒单元三面侧壁。
[0010]进一步地，所述的图像采集单元为100万像素高清双目摄像头，安装在所述方盒单元底部。
[0011]进一步地，所述加速度采集单元为基于MPU6050芯片的WT61C传感器，安装在所述方盒单元底部。
[0012]进一步地，所述力敏材料层共有16个感应点区域，成4
×
4矩阵对称分布，每个感应点区域均匀分布等量纳米力敏材料。
[0013]一种多模态触觉感知装置的应用方法，包括以下步骤：
[0014]S1：首先12V通电，气泵开始工作并通过管道给装置内部充气，同时柔性触觉传感器单元上电开始工作；
[0015]S2：在柔性触觉传感器单元工作的同时，RGB光源单元持续提供红、绿、蓝三种光源，双目摄像头拍向当被测物与装置之间接触或者滑动时产生形变的帆布力触觉传感器，此时可以拍出被测物的形状信息，然后再通过上位机将拍到的RGB图像与深度图像保存为.jpg文件，加速度传感器也通过串口持续输出加速度信息给上位机，上位机将所有加速度信息保存为.txt文件；
[0016]S3：利用长短期记忆模型循环神经网络算法，将触觉序列.txt信息，加速度序列.txt信息，RGB图像.jpg信息，深度图像.jpg信息集中分析，然后经过拟合，得到被测物形状信息。
[0017]本专利技术的有益效果为：
[0018]本专利技术将柔性材料帆布作为触感装置的接触面，可同时触发两种异构触觉信息：分别为触觉序列和触觉图像，再通过拟合，定量的刻画物理世界中的触觉、滑觉等信息。该装置可以在和被测物体接触或者滑动时，得到力触觉量、RGB图像、深度图像、加速度等多种模态信息。本装置打破了传统触觉感知装置单模态信息采集的现状，可在同一感知装置中集成受力、加速度、滑动形状等信息的测量，获得高精度的接触纹理信息，实现了多模态信息的测量，并可将这些信息综合到对一个物体的识别、抓取操作中。本装置以下优点：
[0019]1.将现有触觉传感器中的凝胶感知层替换为帆布力触觉传感器，使触觉传感器在感知物体时可同时触发两种异构触觉信息：分别为触觉序列和触觉图像，解决了现有触觉传感器单一触觉感知方式造成的感知信息不足问题。
[0020]2.设计的多模态触觉感知装置同时配有压力传感器、加速度传感器、双目摄像头等多个传感器，且该装置在感知物体时同时收集物体的多模态触觉信息，避免传统多模态传感器收集数据时存在的多模态数据弱配对问题，即因传感器收集多模态数据时不同步导致数据融合时效果差。
[0021]3.设计的基于纳米力敏材料与帆布的柔性触觉传感器，与现有触觉传感器相比，柔软性更好，且在感知物体时可通过柔性触觉传感器中的帆布力触觉传感器的形状变化捕捉被测物体的触觉图像。
附图说明
[0022]图1为本专利技术所涉一种多模态触觉感知装置的机械结构图；
[0023]图2为本专利技术所涉一种多模态触觉感知装置的整体结构框图；
[0024]图3为本专利技术所涉帆布力触觉传感器的内部结构层次图(力敏材料层上有16个力触觉感应点区域)。
[0025]图中，1、PC端；2、电源与串口；3、单片机；4、柔性力触觉传感器；5、被测物黑色小球；6、蓝色LED灯珠；7、加速度传感器；8、深度摄像头；9、RGB摄像头；10、红色LED灯珠；11、绿色LED灯珠；12、气泵。
具体实施方式
[0026]为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本专利技术作进一步的详细说明，本专利技术的示意性实施方式及其说明仅用于解释本专利技术，并不作为对本专利技术的限定。
[0027]请参阅图1
‑
3，图中1为PC端，PC端接受所有传感器的数据，用户在PC端对这些数据处理，2为电源与串口，为整个系统提供电源并且连接PC与单片机，3为我们画的单片机最小系统，4是我们自主设计的柔性力触觉传感器，5为被测物黑色小球，6为蓝色LED灯珠，7为MPU6050加速度传感器，8为深度摄像头，9为RGB摄像头，10为红色LED灯珠，11为绿色LED灯珠，12为气泵。
[0028]方盒单元为黑色亚克力板材料的长方体空心盒子，该长方体有一面不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态触觉感知装置，其特征在于：包括方盒单元，气泵单元，柔性触觉传感器单元，光源单元，图像采集单元和加速度采集单元；所述气泵单元与所述方盒单元通过管道连接，所述柔性触觉传感器单元设置在所述方盒单元上，所述光源单元设置在所述方盒单元侧壁上，所述图像采集单元设置在所述方盒单元底部，所述加速度采集单元设置在所述方盒单元底部。2.如权利要求1所述的一种多模态触觉感知装置，其特征在于：所述方盒单元为长方体空心外壳，所述外壳为黑色亚克力板材料制成，所述长方体有一面不封闭。3.如权利要求1所述的一种多模态触觉感知装置，其特征在于：所述气泵单元为自动充气装置。4.如权利要求1所述的一种多模态触觉感知装置，其特征在于：所述的柔性触觉传感器单元包括帆布力触觉传感器和外围电路，所述帆布力触觉传感器安装在所述长方体不封闭一侧，所述外围电路外置。所述帆布力触觉传感器为纳米力敏材料与柔软的帆布结合，所述帆布力触觉传感器一共有五层，包括两层帆布层、两层薄膜层和纳米力敏材料层。5.如权利要求1所述的一种多模态触觉感知装置，其特征在于：所述的光源单元包括RGB(红色，绿色和蓝色)三个灯珠，分别用热熔胶贴在所述方盒单元三面侧壁。6.如权利要求1所述的一种多模态触觉感知装置，其特征在于：所述的图...

【专利技术属性】
技术研发人员：熊鹏文，尹一凡，童小宝，孙云鹏，张剑敏，陈志远，王月柔，韦琦，
申请(专利权)人：南昌大学，
类型：发明
国别省市：