【技术实现步骤摘要】
本专利技术涉及数据采集，特别涉及一种多模态的穿戴式人形机器人数据采集和遥操系统。
技术介绍
1、随着科技的发展，机器人应用领域越发广泛，在一些复杂和危险环境中，能够替代人类自身进入该场景的机器人对目标进行操作，为此，人形机器人应运而生。如今，大量的人形机器人已经被开发出来，它们被期望尽可能与人类相似，通过与环境中的对象进行交互，例如与环境中的人或者物体等对象进行交互，完成机器人工作。
2、然而，由于人形机器人与环境中的交互对象复杂多样，加之针对人形机器人的多模态数据的不足，这导致人形机器人在复杂且有突发事件的现场无法完全胜任自动化作业。
技术实现思路
1、本专利技术提供一种多模态的穿戴式人形机器人数据采集和遥操系统，以解决解决作业环境数据不足和通过人类实时遥操解决突发事件能力不足问题。
2、本专利技术实施例提供一种多模态的穿戴式人形机器人数据采集和遥操系统，包括：
3、可穿戴设备，用于采集真实的人体数据；
4、环境感知设备，用于采集真实环境数据；
5、通信设备，用于进行多模态数据传输；
6、存储设备，用于存储所述可穿戴设备和所述环境感知设备采集的数据，进行数据写入和数据读出；
7、计算设备，用于接受所述可穿戴设备和所述环境感知设备采集的数据，并进行计算，将人体数据映射为人形机器人数据，并生成人形机器人的控制指令；
8、人形机器人本体设备，用于根据所述控制指令执行对应的动作。
10、可选地，在本专利技术的一个实施例中，所述环境感知设备包括：彩色深度相机、红外测温相机、声源定位设备、激光测距设备，用于采集图像、声音、温度、点云的环境信息。
11、可选地，在本专利技术的一个实施例中，所述通信设备包含多级路由器或交换机。
12、可选地，在本专利技术的一个实施例中，所述人形机器人本体设备包括：一个至少2自由度的头部、2个至少6自由度的机械臂、2个至少6自由度的腿部、1个至少2自由度的躯干和2个至少6自由度的灵巧手或至少1自由度的夹持器。
13、可选地，在本专利技术的一个实施例中，所述姿态传感器设备由多个穿戴式mems传感器构成，通过多个穿戴式mems传感器获取人体各穿戴位置实时数据，利用所述计算设备对穿戴位置姿态进行初步解算和融合得到各穿戴位置姿态，通过数据转换得到人体躯干、大小臂及手部、大小腿、脚姿态四元数进行姿态数据映射得到人形机器人的仿人机械臂、下肢的实时控制指令。
14、可选地，在本专利技术的一个实施例中，vr头显设备的数据包括：
15、人体头部运动惯性测量数据、人体眼动仪测量数据、人体手部姿态数据、人体摇杆操作数据和vr设备摄像头采集到的图像数据；
16、姿态传感器设备采集的数据包括：陀螺仪数据、加速度数据和磁力计数据；
17、多数据手套设备采集的数据包括：手指弯曲度数据、加速度传感器数据、陀螺仪数据和指尖压力数据。
18、可选地，在本专利技术的一个实施例中，彩色深度相机采集的数据包括：彩色图像数据、深度图像数据和基于彩色和深度图对齐后的点云数据。
19、可选地，在本专利技术的一个实施例中，所述计算设备具体用于，对所述可穿戴设备和所述环境感知设备采集的多模态数据进行标定和滤波，建立人体运动学模型，利用采集的多模态数据进行人体运动解析，将人体运动数据转换为人形机器人数据，利用人形机器人数据生成人形机器人的控制指令，并将所述控制指令发送至人形机器人，并接受人形机器人的关节反馈数据，根据关捷反馈数据调整人形机器人数据。
20、本专利技术实施例的多模态的穿戴式人形机器人数据采集和遥操系统具有以下有益效果：
21、1、通过对人体姿态数据，特别是手部数据的精细的模仿学习，提高人形机器人姿态和动作的合理性，提高人形机器人在复杂的场景中学习相似任务完成率。
22、2、采用成熟的工业化设备，成本低，组织实施难度小，在数据的收集的质量和效益方面有着显著的优势。
23、本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
本文档来自技高网...【技术保护点】
1.一种多模态的穿戴式人形机器人数据采集和遥操系统，其特征在于，包括：
2.根据权利要求1所述的系统，其特征在于，所述可穿戴设备包括：VR头显设备、姿态传感器设备、数据手套设备和深度相机设备。
3.根据权利要求1所述的系统，其特征在于，所述环境感知设备包括：彩色深度相机、红外测温相机、声源定位设备、激光测距设备，用于采集图像、声音、温度、点云的环境信息。
4.根据权利要求1所述的系统，其特征在于，所述通信设备包含多级路由器或交换机。
5.根据权利要求1所述的系统，其特征在于，所述人形机器人本体设备包括：一个至少2自由度的头部、2个至少6自由度的机械臂、2个至少6自由度的腿部、1个至少2自由度的躯干和2个至少6自由度的灵巧手或至少1自由度的夹持器。
6.根据权利要求2所述的系统，其特征在于，所述姿态传感器设备由多个穿戴式MEMS传感器构成，通过多个穿戴式MEMS传感器获取人体各穿戴位置实时数据，利用所述计算设备对穿戴位置姿态进行初步解算和融合得到各穿戴位置姿态，通过数据转换得到人体躯干、大小臂及手部、大小腿、脚姿态四元数进
7.根据权利要求2所述的系统，其特征在于，VR头显设备的数据包括：
8.根据权利要求3所述的系统，其特征在于，彩色深度相机采集的数据包括：彩色图像数据、深度图像数据和基于彩色和深度图对齐后的点云数据。
9.根据权利要求1所述的系统，其特征在于，所述计算设备具体用于，对所述可穿戴设备和所述环境感知设备采集的多模态数据进行标定和滤波，建立人体运动学模型，利用采集的多模态数据进行人体运动解析，将人体运动数据转换为人形机器人数据，利用人形机器人数据生成人形机器人的控制指令，并将所述控制指令发送至人形机器人，并接受人形机器人的关节反馈数据，根据关捷反馈数据调整人形机器人数据。
...【技术特征摘要】
1.一种多模态的穿戴式人形机器人数据采集和遥操系统，其特征在于，包括：
2.根据权利要求1所述的系统，其特征在于，所述可穿戴设备包括：vr头显设备、姿态传感器设备、数据手套设备和深度相机设备。
3.根据权利要求1所述的系统，其特征在于，所述环境感知设备包括：彩色深度相机、红外测温相机、声源定位设备、激光测距设备，用于采集图像、声音、温度、点云的环境信息。
4.根据权利要求1所述的系统，其特征在于，所述通信设备包含多级路由器或交换机。
5.根据权利要求1所述的系统，其特征在于，所述人形机器人本体设备包括：一个至少2自由度的头部、2个至少6自由度的机械臂、2个至少6自由度的腿部、1个至少2自由度的躯干和2个至少6自由度的灵巧手或至少1自由度的夹持器。
6.根据权利要求2所述的系统，其特征在于，所述姿态传感器设备由多个穿戴式mems传感器构成，通过多个穿戴式mems传感...
【专利技术属性】
技术研发人员：陈张，李栗，高铮，产志飞，张兆渠，林欢，
申请(专利权)人：亿嘉和科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。