一种用于月表人机协同作业的穿戴式交互系统技术方案

一种用于月表人机协同作业的穿戴式交互系统，涉及载人月球探测开采技术领域，该穿戴式交互系统致力于月球探测机器人成为宇航员的得力助手，使其能够跟随宇航员外出进行人机协同作业，也能够独立自主地完成探测取样等任务。该交互设备能够实时显示宇航员与探测机器人的具体位置和机器人的工作状态，确保月面的作业安全；同时，该交互设备提供了手势控制、语音控制和触屏面板控制三种交互方式，三种方式形成互补，手势控制和语音控制使人机交互更加直观，实现了宇航员与探测机器人之间的实时交互，提高了人机交互的便捷性、准确性和可靠性。该穿戴式交互设备有力地支撑了未来载人登月进行月球探测开采任务，提高月球资源探测效率和开采成功率。对月球进行无人探月及载人登月，在科学、技术和经济等方面都具有重大意义。技术和经济等方面都具有重大意义。技术和经济等方面都具有重大意义。

【技术实现步骤摘要】
and Planetary Science Confere nce.2007.

技术实现思路

[0008]本专利技术要解决的技术问题是：
[0009]本专利技术针对未来载人登月进行月球资源的探测取样和开发利用，提出了一种基于穿戴式交互设备的月面人机交互方案，从而实现航天员登月时宇航员和机器人团队能在轨道上或行星表面共同工作。
[0010]本专利技术为解决上述技术问题所采用的技术方案为：
[0011]一种用于月表人机协同作业的穿戴式交互系统，宇航员与月球探测机器人组成人
‑
机团队在月表协同作业时，二者通过所述穿戴式交互系统(设备)进行交互；所述穿戴式交互系统包括IMU体感手套5及穿戴在宇航员小臂位置的交互主体部分；交互主体部分包括腕带11及安装在腕带11上的用于实现宇航员与探测机器人交互的部件；
[0012]所述穿戴式交互系统(穿戴式交互设备)为宇航员与探测机器人的交互至少提供三种交互方式：一是触控面板控制，通过触摸屏显示器中触控面板(控制面板)的各种动作和功能按钮给探测机器人下达任务指令；二是手势控制，宇航员通过IMU体感手套5感知并解算宇航员不同手势获取对应任务指令，探测机器人在完全没有视觉接触的情况下读取宇航员的动作指令；三是语音控制，探测机器人通过语音识别宇航员所下达的任务指令；
[0013]宇航员通过所述穿戴式交互系统与控制探测机器人进行交互从而实现人机协作：控制探测机器人自动跟随宇航员外出进行任务，协助宇航员完成月面探测与采样等任务；还控制探测机器人接受宇航员的任务指令，自主或半自主前往某个感兴趣地点进行勘探并完成复杂地理环境的钻取、搬运作业任务。
[0014]进一步地，宇航员通过所述穿戴式交互系统实现人机协作的具体流程为：
[0015]A、月球探测机器人跟随宇航员从着陆器基地出发前往感兴趣地点；B、到达目标地点，探测机器人为宇航员提供勘探、采样等作业工具和相应的作业帮助，进行人机协作；C、宇航员对某个感兴趣地点进行指向，命令探测机器人自主前往目标位置；D、探测机器人到达目标地点，宇航员通过交互设备下达任务指令；E、探测机器人自主或半自主完成勘探、钻取和搬运等作业任务，并反馈作业状态；F、完成任务，探测机器人自主返回着陆器基地或接收指令开展下一阶段任务。
[0016]进一步地，用于实现宇航员与探测机器人交互的部件包括IMU指向定位单元6、相机4(可选用CMOS相机)、旋转式相机画面显示器3、语音单元8、触摸屏显示器2、UWB定位单元7、通信单元9、信号指示灯10、开/关机按钮1和数据处理器(数据处理中心)；触摸屏显示器2为旋转式触摸屏显示器，其分为触控面板区12和图像显示区13；
[0017]触控面板区12包括多种功能按钮：跟随/解除按钮、跟随方式按钮、指向模式按钮、运动方向操作按钮、取样按钮；
[0018]所述数据处理器实现的控制过程如下：
[0019]图像显示区13用于显示月球探测机器人各种状态：联机状态、跟随状态、运动状态、取样作业状态；
[0020]开/关机按钮1用于控制IMU体感手套5和安装在腕带11上的用于实现宇航员与探测机器人交互的部件的启动与关闭，穿戴式交互系统启动后自动与月球探测机器人进行联
机；
[0021]在联机成功后，点击触控面板12上的跟随/解除按钮并选择跟随的方式，月球探测机器人能够跟随宇航员外出进行勘探、侦察、土壤取样等科研任务；UWB定位设备7提供探测机器人和宇航员的实时位置，在图像显示区13上实时显示探测机器人和宇航员在以月球着陆器为参考系的局部地图中的位置，并记录行动轨迹；
[0022]点击指向模式按钮进入指向模式，宇航员对某个感兴趣的目标方位利用手臂进行指向，通过融合IMU指向定位单元6的数据和相机4的视觉数据解算出目标方位和兴趣点所在的位置坐标，然后将目标位置信息发送给月球探测机器人进行后续的作业任务，旋转式相机画面显示器3上显示所指目标的图像。
[0023]月球探测机器人接收目标位置信息进行路径规划，在图像显示区13上显示基于先验完全信息进行全局路径规划的预先路径；探测机器人在前往目标过程中不断拍摄当地图像用来修正本地地图库，同时基于月球探测机器人上的导航相机、避障相机、激光雷达这些多维传感器信息进行实时地局部路径规划，在线修正预先路径，在图像显示区13上显示探测机器人的实际路径，在相机画面显示器3上显示探测机器人所拍摄的画面；
[0024]信号指示灯10的作用是发出可视化反馈信号反馈宇航员与月球探测机器人的交互情况，信号指示灯10不同的状态具有特定的含义：指示灯亮红灯，代表交互设备与探测机器人未联机；指示灯亮绿灯，代表二者联机成功。
[0025]完成任务后探测机器人自主返回月球着陆器基地或者跟随宇航员继续下一阶段任务。
[0026]进一步地，所述数据处理器配置有指向定位子系统14、指令控制子系统15、定位跟随子系统16；
[0027]指向定位子系统14用于解算出宇航员所指的方向和目标位置；
[0028]指向定位技术负责解算出宇航员所指的方向和目标位置，指向定位子系统14包括IMU指向定位模块17和视觉模块18，当进入指向模式后，宇航员使用穿戴交互设备的手臂对感兴趣的目标进行方位指向，IMU指向定位模块17利用IMU指向定位单元6(惯性测量元件IMU 6)解算出手臂的俯仰角和偏航角得到手臂姿态，即得到大致目标方位和兴趣点所在的位置坐标；与此同时，视觉模块18利用相机4对目标拍照并在旋转式相机画面显示器3上显示所指目标的图像，由于月面没有高精度地图和全局定位系统，所以在着陆器下降过程中拍摄了大量着陆区月表图像，构建以着陆点为中心作业范围的地图库，根据这些图像进行三维地形重建，并利用机器学习方法将目标作业位置的特征图片和月面着陆点周边的地图库进行智能匹配解算出作业点的相对坐标位置；然后指向定位子系统14融合IMU 6的方向信息和相机4的图像信息得到目标准确位置，并将目标位置信息发送给月球探测机器人，最后探测机器人采用特定的导航方法导航至目标区域，到达目标附近后以一定的范围自主进行搜寻和执行相应任务；
[0029]指令控制子系统15包括用于形成互补并提高人机交互可靠性的手势识别模块19、语音识别模块20和触控指令模块21；指令控制子系统15负责获取和解析宇航员下达的指令，以实现宇航员与月球探测机器人交互；手势识别控制是通过安装在宇航员五指上的IMU指向定位单元6(惯性测量单元IMU)，即IMU体感手套5来感知五指的动作和姿势，特定的动作和姿势会被手势识别模块19翻译成机器人的动作命令，使宇航员操作者无需在机器人的
视线范围内就能控制机器人，实现机器人在没有完全视觉接触的情况下读取宇航员的动作指令，进行人机交互；语音识别控制是通过语音识别模块20根据月球采样任务语音库将宇航员的语音指令解释为探测机器人能理解的指令，语音库包含拍照、抓取、挖取、钻取、搬运作业任务的语音命令，探测机器人接受语音指令后执行相应动作，语音识别控制和手势识别控制进行互补，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于月表人机协同作业的穿戴式交互系统，其特征在于，宇航员与月球探测机器人组成人
‑
机团队在月表协同作业时，二者通过所述穿戴式交互系统进行交互；所述穿戴式交互系统包括IMU体感手套(5)及穿戴在宇航员小臂位置的交互主体部分；交互主体部分包括腕带(11)及安装在腕带(11)上的用于实现宇航员与探测机器人交互的部件；所述穿戴式交互系统为宇航员与探测机器人的交互至少提供三种交互方式：一是触控面板控制，通过触摸屏显示器中触控面板的各种动作和功能按钮给探测机器人下达任务指令；二是手势控制，宇航员通过IMU体感手套(5)感知并解算宇航员不同手势获取对应任务指令，探测机器人在完全没有视觉接触的情况下读取宇航员的动作指令；三是语音控制，探测机器人通过语音识别宇航员所下达的任务指令；宇航员通过所述穿戴式交互系统与控制探测机器人进行交互从而实现人机协作：控制探测机器人自动跟随宇航员外出进行任务，协助宇航员完成月面探测与采样等任务；还控制探测机器人接受宇航员的任务指令，自主或半自主前往某个感兴趣地点进行勘探并完成复杂地理环境的钻取、搬运作业任务。2.根据权利要求1所述的一种用于月表人机协同作业的穿戴式交互系统，其特征在于，宇航员通过所述穿戴式交互系统实现人机协作的具体流程为：A、月球探测机器人跟随宇航员从着陆器基地出发前往感兴趣地点；B、到达目标地点，探测机器人为宇航员提供勘探、采样等作业工具和相应的作业帮助，进行人机协作；C、宇航员对某个感兴趣地点进行指向，命令探测机器人自主前往目标位置；D、探测机器人到达目标地点，宇航员通过交互设备下达任务指令；E、探测机器人自主或半自主完成勘探、钻取和搬运等作业任务，并反馈作业状态；F、完成任务，探测机器人自主返回着陆器基地或接收指令开展下一阶段任务。3.根据权利要求1或2所述的一种用于月表人机协同作业的穿戴式交互系统，其特征在于，用于实现宇航员与探测机器人交互的部件包括IMU指向定位单元(6)、相机(4)、旋转式相机画面显示器(3)、语音单元(8)、触摸屏显示器(2)、UWB定位单元(7)、通信单元(9)、信号指示灯(10)、开/关机按钮(1)和数据处理器；触摸屏显示器(2)为旋转式触摸屏显示器，其分为触控面板区(12)和图像显示区(13)；触控面板区(12)包括多种功能按钮：跟随/解除按钮、跟随方式按钮、指向模式按钮、运动方向操作按钮、取样按钮；所述数据处理器实现的控制过程如下：图像显示区(13)用于显示月球探测机器人各种状态：联机状态、跟随状态、运动状态、取样作业状态；开/关机按钮(1)用于控制IMU体感手套(5)和安装在腕带(11)上的用于实现宇航员与探测机器人交互的部件的启动与关闭，穿戴式交互系统启动后自动与月球探测机器人进行联机；在联机成功后，点击触控面板(12)上的跟随/解除按钮并选择跟随的方式，月球探测机器人能够跟随宇航员外出进行勘探、侦察、土壤取样等科研任务；UWB定位设备(7)提供探测机器人和宇航员的实时位置，在图像显示区(13)上实时显示探测机器人和宇航员在以月球着陆器为参考系的局部地图中的位置，并记录行动轨迹；点击指向模式按钮进入指向模式，宇航员对某个感兴趣的目标方位利用手臂进行指
向，通过融合IMU指向定位单元(6)的数据和相机(4)的视觉数据解算出目标方位和兴趣点所在的位置坐标，然后将目标位置信息发送给月球探测机器人进行后续的作业任务，旋转式相机画面显示器(3)上显示所指目标的图像。月球探测机器人接收目标位置信息进行路径规划，在图像显示区(13)上显示基于先验完全信息进行全局路径规划的预先路径；探测机器人在前往目标过程中不断拍摄当地图像用来修正本地地图库，同时基于月球探测机器人上的导航相机、避障相机、激光雷达这些多维传感器信息进行实时地局部路径规划，在线修正预先路径，在图像显示区(13)上显示探测机器人的实际路径，在相机画面显示器3上显示探测机器人所拍摄的画面；信号指示灯(10)的作用是发出可视化反馈信号反馈宇航员与月球探测机器人的交互情况，信号指示灯(10)不同的状态具有特定的含义：指示灯亮红灯，代表交互设备与探测机器人未联机；指示灯亮绿灯，代表二者联机成功。完成任务后探测机器人自主返回月球着陆器基地或者跟随宇航员继续下一阶段任务。4.根据权利要求1或2所述的一种用于月表人机协同作业的穿戴式交互系统，其特征在于，所述数据处理器配置有指向定位子系统(14)、指令控制子系统(15)、定位跟随子系统(16)；指向定位子系统(14)用于解算出宇航员所指的方向和目标位置；指向定位技术负责解算出宇航员所指的方向和目标位置，指向定位子系统(14)包括IMU指向定位模块(17)和视觉模块(18)，当进入指向模式后，宇航员使用穿戴交互设备的手臂对感兴趣的目标进行方位指向，IMU指向定位模块(17)利用IMU指向定位单元(6)解算出手臂的俯仰角和偏航角得到手臂姿态，即得到大致目标方位和兴趣点所在的位置坐标；与此同时，视觉模块(18)利用相机(4)对目标拍照并在旋转式相机画面显示器(3)上显示所指目标的图像，由于月面没有高精度地图和全局定位系统，所以在着陆器下降过程中拍摄了大量着陆区月表图像，构建以着陆点为中心作业范围的地图库，根据这些图像进行三维地形重建，并利用机器学习方法将目标作业位置的特征图片和月面着陆点周边的地图库进行智能匹配解算出作业点的相对坐标位置；然后指向定位子系统(14)融合IMU指向定位单元(6)的方向信息和相机(4)的图像信息得到目标准确位置，并将目标位置信息发送给月球探测机器人，最后探测机器人采用特定的导航方法导航至目标区域，到达目标附近后以一定的范围自主进行搜寻和执行相应任务；指令控制子系统(15)包括用于形成互补并提高人机交互可靠性的手势识别模块(19)、语音识别模块(20)和触控指令模块(21)；指令控制子系统(15)负责获取和解析宇航员下达的指令，以实现宇航员与月球探测机器人交互；手势识别控...

【专利技术属性】
技术研发人员：袁帅，张泽旭，谭康，周志成，刘毅，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：