【技术实现步骤摘要】
本专利技术涉及一种基于手绘场景图理解的机器人导航方法，属于计算机视觉和模式识别。
技术介绍
1、随着人工智能技术的发展，赋予机器人理解场景的能力逐渐成为了研究热点，其极大扩展了机器人在室内执行任务的复杂性和灵活性。例如，在由家庭服务机器人提供的物品递送服务中，机器人需要建立场景图，然后规划出一个最优的递送路线，从而代替人类完成自动化递送任务，使消费者感受到智能化设备带来的便利和舒适的体验。因此，构建准确的室内场景图增强机器人认知对推动机器的智能化有着重要的实际意义。
2、当下机器人室内场景建图技术主要是通过传感器获取数据，进行数据处理后提取特征建立初始地图。场景的多样性和复杂性意味着无法设计一种通用的建图方法适用于所有情况。每个场景都可能具有独特的特征、布局和障碍物，并且在建图过程中可能会遇到多种情况。例如，房门的存在可能导致机器人无法轻易通过，或者某些区域可能由于障碍物的存在而无法被传感器完全感知。这些问题导致机器人所建立的场景图可能出现不完整的情况，而在实际任务执行中可能会出现绕路、不可达等问题。而在动态环境的情况下，传感器数据的处理和特征提取需要一定的时间，建立的场景图无法实时更新，导致在执行任务时机器人认知的场景图与真实场景图不一致。并且，在一些未知环境中例如救援任务不能浪费大量时间去建立场景图或者没有建立场景图的条件，使得机器人只能通过探索这种低效率的方式来执行任务。
3、现有的机器人场景理解技术会受到传感器自身和外界复杂情况的影响，导致认知不完整从而影响导航任务的效率和成功率。
4
技术实现思路
1、专利技术目的：针对现有技术所存在的问题，本专利技术提供一种基于手绘场景图理解的机器人导航方法。
2、一种基于手绘场景图理解的机器人导航方法，包括以下步骤：
3、步骤s1：采集手绘场景图以及标准场景图的数据对，并标注机器人在手绘场景图中的位置以及任务起点和任务终点；
4、步骤s2：使用步骤s1的数据对训练手绘图转标准化图的神经网络模型，将手绘场景图、机器人的位置、任务起点和任务终点作为输入，使用所述手绘图转标准化图的神经网络模型生成标准场景图；
5、步骤s3：根据步骤s1的任务起点和任务终点构建强化学习模型，计算出标准化后任务起点和任务终点间的初始规划路径或者由人在手绘场景图上直接绘制任务行进路径，得到当前规划路径；
6、步骤s4：基于机器人的激光雷达信息建立激光雷达图，将t帧的激光雷达图与标准场景图进行匹配，调整标准场景图的方向和尺度使其与t帧的激光雷达图一致，调整机器人在标准场景图中的位置信息；
7、步骤s5：将步骤s2得到的标准场景图和步骤s4得到的位置信息输入到步骤s3得到的强化学习模型中，对当前规划路径进行优化，得到优化后的规划路径；
8、步骤s6：将步骤s5得到的优化后的规划路径的参数解析成机器人的运动参数，驱动机器人进行动作；
9、步骤s7：在时间间隔t0后，将t+n帧的激光雷达图与标准场景图进行匹配，调整标准场景图的方向和比例使其与t+n帧的激光雷达图一致，调整机器人在标准场景图中的位置信息，重复步骤s4-s6，实现机器人的路径迭代优化直至完成任务。
10、更进一步的，步骤s2中所述标准场景图为矢量图。
11、更进一步的，步骤s2中手绘图转标准化图的神经网络模型为controlnet模型。
12、更进一步的，步骤s3中强化学习模型为基于ppo算法的强化学习模型。强化学习模型需要保证2个输入，一个是对标准化场景的认知图，另一个是上一帧的规划结果特征。任务规划包含两种模式：机器人通过强化学习自主规划任务路线以及通过用户自行绘制行进路线后解析。
13、更进一步的，步骤s4和s7中将激光雷达图与标准场景图进行匹配，具体的：使用hariss3d算法提取激光雷达图的角点特征，将标准场景图与激光雷达图的角点特征进行角点匹配。
14、更进一步的，步骤s6中使用大语言模型将步骤s5得到的优化后的规划路径的参数解析成机器人的运动参数，驱动机器人进行运动。使用大语言模型作为机器人的神经控制中枢，训练大语言模型解析机器人规划的路径以及手绘的规划路径，将其解析成每帧机器人的运动参数后控制机器人运动。基于大语言模型的编程能力，指导大语言模型生成通过调用相关解析api得到最终控制参数并输入到机器人的程序。
15、有益效果：本专利技术的基于手绘场景图理解的机器人导航方法根据手绘场景图为机器人提供场景的基本认知，规划出初始路径后结合激光雷达结果与标准场景图匹配修正机器人的定位信息，从而规划出更高效的任务路线。
本文档来自技高网...【技术保护点】
1.一种基于手绘场景图理解的机器人导航方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于手绘场景图理解的机器人导航方法，其特征在于，步骤S2中所述标准场景图为矢量图。
3.如权利要求1所述的基于手绘场景图理解的机器人导航方法，其特征在于，步骤S2中手绘图转标准化图的神经网络模型为ControlNet模型。
4.如权利要求1所述的基于手绘场景图理解的机器人导航方法，其特征在于，步骤S3中强化学习模型为基于PPO算法的强化学习模型。
5.如权利要求1所述的基于手绘场景图理解的机器人导航方法，其特征在于，步骤S4和S7中将激光雷达图与标准场景图进行匹配，具体的：使用Hariss3D算法提取激光雷达图的角点特征，将标准场景图与激光雷达图的角点特征进行角点匹配。
6.如权利要求1所述的基于手绘场景图理解的机器人导航方法，其特征在于，步骤S6中使用大语言模型将步骤S5得到的优化后的规划路径的参数解析成机器人的运动参数，驱动机器人进行运动。
【技术特征摘要】
1.一种基于手绘场景图理解的机器人导航方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于手绘场景图理解的机器人导航方法，其特征在于，步骤s2中所述标准场景图为矢量图。
3.如权利要求1所述的基于手绘场景图理解的机器人导航方法，其特征在于，步骤s2中手绘图转标准化图的神经网络模型为controlnet模型。
4.如权利要求1所述的基于手绘场景图理解的机器人导航方法，其特征在于，步骤s3中强化学习模型为基于p...
【专利技术属性】
技术研发人员：姜自茹，张朕通，
申请(专利权)人：南京思伽智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。