System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种声控语义导航方法、系统及装置制造方法及图纸_技高网

一种声控语义导航方法、系统及装置制造方法及图纸

技术编号:42651977 阅读:8 留言:0更新日期:2024-09-06 01:44
本发明专利技术提供一种声控语义导航方法、系统及装置,其中,该声控语义导航方法包括:获取当前环境数据,并根据所述当前环境数据构建环境栅格地图和物体语义图;所述物体语义图中包括若干语义物体;对所述环境栅格地图和所述物体语义图进行融合处理,在所述环境栅格地图中确定与每个所述语义物体对应的栅格值区域,得到二维语义栅格地图;根据每个所述语义物体在所述二维语义栅格地图上对应的栅格值区域,确定每个所述语义物体的位置数据;获取语音指令,根据所述语音指令确定目标物体的位置数据。通过本发明专利技术,能够解决现有技术中存在的机器人导航任务细致程度不佳的缺陷,实现对特定语义物体的精确导航。

【技术实现步骤摘要】

本专利技术涉及机器人导航,尤其涉及一种声控语义导航方法、系统及装置


技术介绍

1、随着深度学习技术的快速发展,语义导航领域已实现了显著的进步。目前的技术能够支持机器人在复杂的室内环境中进行有效导航,例如,实现从厨房到客厅等不同生活区域的自动移动。这种多场景语义导航技术主要依赖于环境中宽泛区域的语义信息,如房间的功能和布局。

2、尽管现有技术在场景理解和路径规划方面取得了一定成就,但在利用具体物体的详细语义信息来实现精确导航方面仍有较大的提升空间。目前的系统多数专注于区域间导航,而对于如何利用单个物体的语义信息,例如精确导航到客厅中的某一个垃圾桶或门等这方面研究较少,不适合机器人执行更细致的导航任务。

3、对于现有的相关技术中存在的机器人导航任务细致程度不佳的问题,目前还没有较好的解决方案。


技术实现思路

1、本专利技术提供一种声控语义导航方法、系统及装置,用以解决现有技术中存在的机器人导航任务细致程度不佳的缺陷,实现对特定语义物体的精确导航。

2、第一个方面,本专利技术提供一种声控语义导航方法,包括:

3、获取当前环境数据,并根据所述当前环境数据构建环境栅格地图和物体语义图;所述物体语义图中包括若干语义物体;

4、对所述环境栅格地图和所述物体语义图进行融合处理,在所述环境栅格地图中确定与每个所述语义物体对应的栅格值区域,得到二维语义栅格地图;

5、根据每个所述语义物体在所述二维语义栅格地图上对应的栅格值区域,确定每个所述语义物体的位置数据;

6、获取语音指令,根据所述语音指令确定目标物体的位置数据,并基于所述目标物体的位置数据发布导航指令。

7、根据本专利技术提供的一种声控语义导航方法,获取当前环境数据,根据所述当前环境数据构建环境栅格地图,包括:

8、基于所述当前环境数据,通过激光雷达和建图算法进行即时定位,构建环境栅格地图。

9、根据本专利技术提供的一种声控语义导航方法,所述当前环境数据包括环境图像;

10、构建所述物体语义图,包括:

11、基于目标检测算法识别所述环境图像中的每个语义物体的位置边界;

12、基于所述语义物体的位置边界,提取每个所述语义物体的深度信息,构建每个所述语义物体的点云数据;

13、对每个所述语义物体的点云数据进行映射,得到所述物体语义图。

14、根据本专利技术提供的一种声控语义导航方法,对所述环境栅格地图和所述物体语义图进行融合处理,包括:

15、对所述环境栅格地图和所述物体语义图进行坐标对齐;

16、向每个所述语义物体在所述环境栅格地图中的对应区域分配栅格值,确定与每个所述语义物体对应的栅格值区域;所述栅格值用于表征对应的所述语义物体的物体类别。

17、根据本专利技术提供的一种声控语义导航方法,根据每个所述语义物体在所述二维语义栅格地图上对应的栅格值区域,确定每个所述语义物体的位置数据,包括:

18、所述二维语义栅格地图进行二值化处理;

19、遍历每个所述语义物体对应的栅格值区域,确定每个所述语义物体的质心位置、编号以及安全导航点。

20、根据本专利技术提供的一种声控语义导航方法,确定每个所述语义物体的质心位置、编号以及安全导航点,包括:

21、提取所述二维语义栅格地图中每个所述语义物体对应的栅格值区域的轮廓;

22、遍历每个所述栅格值区域的轮廓,并确定每个所述栅格值区域的轮廓的矩;

23、根据每个所述栅格值区域的轮廓的矩确定所述语义物体的质心位置;

24、根据每个所述语义物体的质心位置进行排序,确定每个所述语义物体的编号;

25、在每个所述语义物体的质心位置周围设置若干候选点,确定每个所述语义物体的质心位置周围候选点的自由空间比率,将自由空间比率最高的候选点确定为所述语义物体的安全导航点。

26、根据本专利技术提供的一种声控语义导航方法,确定每个所述语义物体的质心位置、编号以及安全导航点之后,还包括:

27、将所述语义物体的物体类别、质心位置、编号以及安全导航点进行封装,存储至数据库。

28、根据本专利技术提供的一种声控语义导航方法,根据所述语音指令确定目标物体的位置数据,包括:

29、根据所述语音指令确定所述目标物体的物体类别和编号;

30、根据所述目标物体的物体类别和编号,对所述目标物体和语义物体进行匹配,确定所述目标物体的安全导航点。

31、第二个方面,本专利技术还提供一种声控语义导航系统,包括:

32、建图模块,用于获取当前环境数据,并根据所述当前环境数据构建环境栅格地图和物体语义图;所述物体语义图中包括若干语义物体;

33、融合模块,用于对所述环境栅格地图和所述物体语义图进行融合处理,在所述环境栅格地图中确定与每个所述语义物体对应的栅格值区域,得到二维语义栅格地图;

34、处理模块,用于根据每个所述语义物体在所述二维语义栅格地图上对应的栅格值区域,确定每个所述语义物体的位置数据;

35、导航模块,用于获取语音指令,根据所述语音指令确定目标物体的位置数据,并基于所述目标物体的位置数据发布导航指令。

36、第三个方面,本专利技术还提供一种声控语义导航装置,包括平台底盘,所述平台底盘上设置有主控机,所述主控机与所述平台底盘相连接,所述主控机用于实现上述第一个方面所述的声控语义导航方法;

37、所述平台底盘上海设置有激光雷达传感器和深度相机传感器,所述激光雷达传感器和所述深度相机传感器用于采集当前环境数据,并将当前环境数据传输至所述主控机。

38、第四个方面,本专利技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述第一个方面所述的方法。

39、第五个方面,本专利技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一个方面所述的声控语义导航方法。

40、第六个方面,本专利技术还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述第一个方面所述的声控语义导航方法。

41、与现有技术相比,本专利技术具有以下有益效果:

42、本专利技术提供的声控语义导航方法,通过构建语义信息丰富且可用于导航的二维语义栅格地图,并通过特定栅格值存储特殊障碍物的语义信息,结合语音识别功能,允许用户通过语音指令直接与机器人交互,实现对特定语义物体的精确导航。通过上述方法,能够复杂环境中精确定位并识别具体的语义物体,针对该语义物体的具体位置发布导航指令,指引机器人移动,提供了导航的精准性和目标性,也增强了机器人适应复杂环境的能力,解决了现有的相关技术中存在的执行导航任务时细致程度不佳的问题。

本文档来自技高网...

【技术保护点】

1.一种声控语义导航方法,其特征在于,包括:

2.根据权利要求1所述的声控语义导航方法,其特征在于,获取当前环境数据,根据所述当前环境数据构建环境栅格地图,包括:

3.根据权利要求1所述的声控语义导航方法,其特征在于,所述当前环境数据包括环境图像;

4.根据权利要求1所述的声控语义导航方法,其特征在于,对所述环境栅格地图和所述物体语义图进行融合处理,包括:

5.根据权利要求4所述的声控语义导航方法,其特征在于,根据每个所述语义物体在所述二维语义栅格地图上对应的栅格值区域,确定每个所述语义物体的位置数据,包括:

6.根据权利要求5所述的声控语义导航方法,其特征在于,确定每个所述语义物体的质心位置、编号以及安全导航点,包括:

7.根据权利要求5所述的声控语义导航方法,其特征在于,确定每个所述语义物体的质心位置、编号以及安全导航点之后,还包括:

8.根据权利要求5所述的声控语义导航方法,其特征在于,根据所述语音指令确定目标物体的位置数据,包括:

9.一种声控语义导航系统,其特征在于,包括:</p>

10.一种声控语义导航装置,包括平台底盘,其特征在于,所述平台底盘上设置有主控机,所述主控机与所述平台底盘相连接,所述主控机用于实现权利要求1-8任一项所述的声控语义导航方法;

...

【技术特征摘要】

1.一种声控语义导航方法,其特征在于,包括:

2.根据权利要求1所述的声控语义导航方法,其特征在于,获取当前环境数据,根据所述当前环境数据构建环境栅格地图,包括:

3.根据权利要求1所述的声控语义导航方法,其特征在于,所述当前环境数据包括环境图像;

4.根据权利要求1所述的声控语义导航方法,其特征在于,对所述环境栅格地图和所述物体语义图进行融合处理,包括:

5.根据权利要求4所述的声控语义导航方法,其特征在于,根据每个所述语义物体在所述二维语义栅格地图上对应的栅格值区域,确定每个所述语义物体的位置数据,包括:

6.根据权利要求...

【专利技术属性】
技术研发人员:蒋林辜忠波崔芯睿聂铭杰戴雨果汤勃
申请(专利权)人:武汉科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1