System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于四摄像头的目标跟踪方法、集群机器人和存储介质技术_技高网
当前位置: 首页 > 专利查询>西湖大学专利>正文

基于四摄像头的目标跟踪方法、集群机器人和存储介质技术

技术编号:42153172 阅读:7 留言:0更新日期:2024-07-27 00:06
本申请涉及智能机器人领域,特别是涉及一种基于四摄像头的目标跟踪方法、集群机器人和存储介质。该方法包括:基于四个所述摄像头所采集的图像,生成四面体模型;利用目标检测算法识别所述四面体模型中的蜂王机器人,得到所述蜂王机器人在所述四面体模型中的位置信息;基于所述位置信息,使用逆向的透视变换和摄像头参数将所述位置信息转换回对应摄像头的图像中,并将该摄像头确定为主摄像头,并控制所述主摄像头利用目标跟踪算法对所述蜂王机器人进行跟踪。本申请采用四个摄像头的图像生成四面体模型,能够更全面的对蜂王机器人进行识别,利于对蜂王机器人进行跟踪。同时,将位置信息转换回主摄像头的图像中,也能够对蜂王机器人更好的跟踪。

【技术实现步骤摘要】

本申请涉及智能机器人领域,特别是涉及一种基于四摄像头的目标跟踪方法、集群机器人和存储介质


技术介绍

1、集群机器人(swarm robotics)涉及大集群机器人的设计、建造和部署,它们能够相互协调并协同解决问题或者执行任务。在一些应用场景中,将集群机器人中的一个机器人作为蜂王机器人,其他机器人作为蜂群机器人,蜂群机器人跟踪蜂王机器人执行对应的任务。

2、现有的集群机器人,仅配备单个摄像头对蜂王机器人进行目标跟踪。这种方法虽然实现简单,但其视角受限,无法实现全方位的目标跟踪。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种基于四摄像头的目标跟踪方法、集群机器人和存储介质。

2、第一方面,本专利技术实施例提出一种基于四摄像头的目标跟踪方法,用于集群机器人,所述集群机器人均设有四个不同方向的摄像头,其中一个摄像头作为主摄像头,其它三个摄像头作为辅摄像头,所述方法包括:

3、基于四个所述摄像头所采集的图像,生成四面体模型;

4、利用目标检测算法识别所述四面体模型中的蜂王机器人,得到所述蜂王机器人在所述四面体模型中的位置信息;

5、基于所述位置信息,使用逆向的透视变换和摄像头参数将所述位置信息转换回对应摄像头的图像中,并将该摄像头确定为主摄像头,并控制所述主摄像头利用目标跟踪算法对所述蜂王机器人进行跟踪。

6、在一些实施例中,所述基于四个所述摄像头所采集的图像,生成四面体模型包括:

7、构建四个所述图像的平面表达式;

8、基于所述平面表达式,利用摄像头模型将四个所述图像中的点映射至四面体模版,得到四面体模型。

9、在一些实施例中,所述基于所述平面表达式,利用摄像头模型将四个所述图像中的点映射至四面体模版,得到四面体模型包括:

10、基于坐标转换关系将所述图像中的各点转为三维坐标点;

11、获取各所述三维坐标点到所述四面体模版的最小距离;

12、通过沿法向量方向移动最小距离,得到所述四面体模版中的各投影点,得到所述四面体模型。

13、在一些实施例中,所述利用目标检测算法识别所述四面体模型中的蜂王机器人,得到所述蜂王机器人在所述四面体模型中的位置信息包括:

14、将所述四面体模型输入至训练好的目标检测模型,得到所述蜂王机器人在所述四面体模型中的位置信息。

15、在一些实施例中,所述目标检测模型的训练包括:

16、获取四面体模型样本训练集,并对其中的各四面体模型样本中机器人的边界框和类别进行标注;所述机器人的类别包括蜂王机器人和蜂群机器人;

17、利用标注后的所述四面体模型样本训练集对初始三维检测模型进行训练,得到所述目标检测模型。

18、在一些实施例中,在所述主摄像头利用目标跟踪算法对所述蜂王机器人进行跟踪的过程中,各所述辅摄像头持续采集图像,利用目标检测算法识别所述蜂王机器人是否切换。

19、在一些实施例中,所述方法还包括:

20、当所述主摄像头跟踪不到所述蜂王机器人时,控制四个所述摄像头增加图像采集的角度或频率。

21、第二方面,本专利技术实施例提出一种集群机器人,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行第一方面所述的步骤。

22、所述方法包括:

23、基于四个所述摄像头所采集的图像,生成四面体模型;

24、利用目标检测算法识别所述四面体模型中的蜂王机器人,得到所述蜂王机器人在所述四面体模型中的位置信息;

25、基于所述位置信息,使用逆向的透视变换和摄像头参数将所述位置信息转换回对应摄像头的图像中,并将该摄像头确定为主摄像头,并控制所述主摄像头利用目标跟踪算法对所述蜂王机器人进行跟踪。

26、第三方面,本专利技术实施例提出一种计算机可读存储介质,其上存储有计算机程序,所述处理器执行所述计算机程序时实现第一方面所述的步骤。

27、所述方法包括:

28、基于四个所述摄像头所采集的图像,生成四面体模型;

29、利用目标检测算法识别所述四面体模型中的蜂王机器人,得到所述蜂王机器人在所述四面体模型中的位置信息;

30、基于所述位置信息,使用逆向的透视变换和摄像头参数将所述位置信息转换回对应摄像头的图像中,并将该摄像头确定为主摄像头,并控制所述主摄像头利用目标跟踪算法对所述蜂王机器人进行跟踪。

31、相比于现有技术,上述方法、装置、计算机设备和存储介质,通过基于四个所述摄像头所采集的图像,生成四面体模型,利用目标检测算法识别所述四面体模型中的蜂王机器人,得到所述蜂王机器人在所述四面体模型中的位置信息,基于所述位置信息,使用逆向的透视变换和摄像头参数将所述位置信息转换回对应摄像头的图像中,并将该摄像头确定为主摄像头,并控制所述主摄像头利用目标跟踪算法对所述蜂王机器人进行跟踪。由于采用四个摄像头的图像生成四面体模型,能够更全面、准确、快速的对蜂王机器人进行识别,利于对蜂王机器人进行跟踪。同时,将位置信息转换回主摄像头的图像中,也能够对蜂王机器人更好的跟踪。

本文档来自技高网...

【技术保护点】

1.一种基于四摄像头的目标跟踪方法,用于集群机器人,所述集群机器人均设有四个不同方向的摄像头,其中一个摄像头作为主摄像头,其它三个摄像头作为辅摄像头,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于四个所述摄像头所采集的图像,生成四面体模型包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述平面表达式,利用摄像头模型将四个所述图像中的点映射至四面体模版,得到四面体模型包括:

4.根据权利要求1所述的方法,其特征在于,所述利用目标检测算法识别所述四面体模型中的蜂王机器人,得到所述蜂王机器人在所述四面体模型中的位置信息包括:

5.根据权利要求4所述的方法,其特征在于,所述目标检测模型的训练包括:

6.根据权利要求1所述的方法,其特征在于,在所述主摄像头利用目标跟踪算法对所述蜂王机器人进行跟踪的过程中,各所述辅摄像头持续采集图像,利用目标检测算法识别所述蜂王机器人是否切换。

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.一种集群机器人,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现权利要求1至权利要求7中任一项所述的方法的步骤。

9.根据权利要求8所述的集群机器人,其特征在于,包括蜂王机器人和蜂群机器人,所述蜂王机器人和蜂群机器人通过设置不同颜色的指示灯进行区分。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1至权利要求7中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种基于四摄像头的目标跟踪方法,用于集群机器人,所述集群机器人均设有四个不同方向的摄像头,其中一个摄像头作为主摄像头,其它三个摄像头作为辅摄像头,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于四个所述摄像头所采集的图像,生成四面体模型包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述平面表达式,利用摄像头模型将四个所述图像中的点映射至四面体模版,得到四面体模型包括:

4.根据权利要求1所述的方法,其特征在于,所述利用目标检测算法识别所述四面体模型中的蜂王机器人,得到所述蜂王机器人在所述四面体模型中的位置信息包括:

5.根据权利要求4所述的方法,其特征在于,所述目标检测模型的训练包括:

6.根据权利要求1所...

【专利技术属性】
技术研发人员:林秀秀马昭赵世钰
申请(专利权)人:西湖大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1