【技术实现步骤摘要】
本专利技术涉及多移动机器人的协同控制，特别涉及一种多移动机器人的多模态融合感知架构及方法。
技术介绍
1、多台移动机器人共同运行于同一场景中时，特别是复杂、动态变化场景中时，每台机器人不仅要实现自身的精确定位，而且互相之间要实现协同作业能力，这就对机器人对所在场景的感知能力提出了较高的要求。当场景较复杂，同时有变化的情况存在时，机器人运动原本依据的场景地图信息如果不能实时更新，可能造成机器人移动定位误差变大、协作能力下降甚至失败，甚至可能导致机器人困于频繁的移动避障操作，造成机器人运行效率下降，在实际运行中需要极力避免此类情况发生。
2、为了实现多机器人运行时对复杂场景的正确感知，实时更新场景地图信息，现有技术往往依赖于个体机器人本体集成的传感数据进行多传感数据源的融合，最终形成对场景地图的重新构建，从而更新场景地图信息，提供给各机器人执行移动导航的决策算法采用。这种多传感数据的融合，多采用的同一类数据源的融合，如每台机器人的视觉传感器的数据进行融合在一起，形成对总体场景地图的信息更新。但是，机器人为了在实际场景中行走，不仅集成有视觉传感器，还往往集成有其他类型传感器，如激光雷达传感器，超声传感器，环境声音采集传感器等。这类传感器在机器人本体内进行相应的数据处理，最后形成机器人个体对所处场景的感知能力，从而辅助或提升个体机器人的移动、操作的能力。
3、然而，任何单一传感数据仅能反映的是该传感器对场景的检测数据，而同一空间时间维度内，如果能将所有多机器人本体集成的主要传感数据进行场景级、多模态的融合，即不仅
技术实现思路
1、为了将所有多机器人本体集成的主要传感数据进行场景级、多模态的融合，即不仅进行同一类型传感数据的融合，也进行不同传感数据的多模态互相融合，则形成对场景的多维度、全面感知能力数据，最终提供给每台机器人，从而提升整体机器人群的导航性能和协作性能，本专利技术中披露了一种多移动机器人的多模态融合感知架构及方法，本专利技术的技术方案是这样实施的：
2、一种多移动机器人的多模态融合感知架构，包括：n台机器人、服务器和群控调度系统；
3、其中，机器人包括多类型传感器系统、本体地图&更新单元、多模态融合计算单元、调度指令接收&解析单元、感知/决策计算控制单元、机器人运动控制单元和通信模块；
4、多模态融合计算单元用于对所述多类型传感器系统的多传感器数据进行多模态融合处理形成所述机器人的模态感知能力；
5、本体地图&更新单元用于实时更新场景地图；
6、调度指令接收&解析单元用于接受来自群控调度系统的导航任务指令和操作任务指令并解析；
7、感知/决策计算控制单元基于模态感知能力和解析后的指令规划机器人的导航行走路径和操作动作；
8、机器人运动控制单元用于控制机器人执行导航行走任务和操作任务；
9、所述通信模块用于与其他机器人、服务器和群控调度系统进行通讯；
10、所述服务器采集每台机器人的多类型传感器系统的多传感器数据并进行多模态融合处理，形成动态场景地图，并将动态场景地图实时下发至各台机器人和群控调度系统；
11、所述群控调度系统基于动态场景地图实时调度各台机器人的导航任务和操作任务。
12、一种多移动机器人的多模态融合感知方法，包括步骤如下：
13、s1，群控调度系统基于当前场景地图下发给各台机器人导航任务和操作任务；
14、s2，各个机器人执行导航任务和操作任务；
15、s3，每台机器人的多类型传感器系统实时获取多类型传感器数据，多模态融合计算单元基于多类型传感器数据形成模态感知能力；
16、s4，每台机器人通过通信模块将多类型传感器数据上传至服务器；
17、s5，服务器将所有机器人的多类型传感器数据进行多模态融合处理形成动态场景地图；
18、s6，服务器将动态场景地图下发给每台机器人供其采用，并同步将动态场景地图下发给群控调度系统；
19、s7，群控调度系统基于动态场景地图实时调度每台机器人的导航任务和操作任务。
20、优选地，所述s2中，机器人通过通信模块与其他机器人进行多传感器数据交互，多模态融合计算单元对多台机器人的多传感器数据进行多模态融合计算，形成协同操作的局部场景强感知能力。
21、优选地，所述s3中，服务器对每台机器人的每个类型的传感器数据进行预处理，将预处理后的每个类型的传感器数据合成数据集，最后将多个传感器对应的数据集进行多模态融合处理，并形成新的场景地图。
22、优选地，所述传感器数据包括激光雷达数据和视觉图像数据；
23、优选地，所述服务器对激光雷达数据和视觉图像数据进行多模态融合处理时采用帧最长时间戳长度重叠方法；
24、服务器对采集的激光雷达点云数据和视觉图像数据进行时间同步；
25、每路帧数据中，提取数据图像数据和激光点云数据的时间戳，并减去各自的帧平均时延和通讯时延后，根据两路各帧时间戳重叠区间，抽取最长时间戳重叠区间的帧数据作为时间对齐数据。
26、优选地，服务器将视觉图像数据映射到激光点云数据构成的激光点云地图中，随后再进行多模态融合处理。
27、优选地，所述通信模块还包括同步时钟模块。
28、本专利技术的技术方案解决了多机器人在复杂、动态变化场景中时，如何实现多模态场景地图构建的技术问题，本专利技术通过建立多机器人多模态融合感知的技术架构，形成对场景地图的实时、全面多模态感知能力，并将该多模态感知数据提供给场景内的个体机器人，个体机器人依据此多模态感知地图，能更优的实现移动导航和协同操作。
本文档来自技高网...【技术保护点】
1.一种多移动机器人的多模态融合感知架构，其特征在于，包括：n台机器人、服务器和群控调度系统；
2.一种多移动机器人的多模态融合感知方法，其特征在于，包括步骤如下：
3.根据权利要求2所述的方法，其特征在于，所述S2中，机器人通过通信模块与其他机器人进行多传感器数据交互，多模态融合计算单元对多台机器人的多传感器数据进行多模态融合计算，形成协同操作的局部场景强感知能力。
4.根据权利要求3所述的方法，其特征在于，所述S3中，服务器对每台机器人的每个类型的传感器数据进行预处理，将预处理后的每个类型的传感器数据合成数据集，最后将多个传感器对应的数据集进行多模态融合处理，并形成新的场景地图。
5.根据权利要求4所述的方法，其特征在于，所述传感器数据包括激光雷达数据和视觉图像数据。
6.根据权利要求5所述的方法，其特征在于，所述服务器对激光雷达数据和视觉图像数据进行多模态融合处理时采用帧最长时间戳长度重叠方法；
7.根据权利要求6所述的方法，其特征在于，服务器将视觉图像数据映射到激光点云数据构成的激光点云地图中，随后再
8.根据权利要求1所述的方法，其特征在于，所述通信模块还包括同步时钟模块。
...【技术特征摘要】
1.一种多移动机器人的多模态融合感知架构，其特征在于，包括：n台机器人、服务器和群控调度系统；
2.一种多移动机器人的多模态融合感知方法，其特征在于，包括步骤如下：
3.根据权利要求2所述的方法，其特征在于，所述s2中，机器人通过通信模块与其他机器人进行多传感器数据交互，多模态融合计算单元对多台机器人的多传感器数据进行多模态融合计算，形成协同操作的局部场景强感知能力。
4.根据权利要求3所述的方法，其特征在于，所述s3中，服务器对每台机器人的每个类型的传感器数据进行预处理，将预处理后的每个类型的传感器数据合成数...
【专利技术属性】
技术研发人员：张建政，韦鲲，董易，邹金沛，李洪涛，
申请(专利权)人：上海飒智智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。