System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 具备视觉标识异常处理的机器人制造技术_技高网

具备视觉标识异常处理的机器人制造技术

技术编号:42952895 阅读:0 留言:0更新日期:2024-10-11 16:09
本发明专利技术提供了一种具备视觉标识异常处理的机器人,包括:感知单元采集真实环境的拆码垛场景图像,并将采集到的拆码垛场景图像发送给处理单元,处理单元通过内置的深度学习模块识别和标注拆码垛场景图像中的物料位置,并将标注的物料位置在人机界面上进行显示;机器人本体在驱动单元的带动下,基于标注的物料位置,执行拆码垛任务。当真实环境下识别的物料位置出现错误时,机器人的人机界面以自动或者手动方式切换至Local helper界面,通过Local helper界面进行人工标注纠错,方便工程师对视觉标注结果进行编辑处理,保证视觉标识的准确性。在人机界面上可以提供丰富的物料标识编辑处理功能,可以适用各种异常处理情况。

【技术实现步骤摘要】

本专利技术涉及智能制造和高端制造,具体地,涉及一种具备视觉标识异常处理的机器人


技术介绍

1、在自动化领域中,工业机器人常用来完成搬运、装配、加工等作业。在某些实际的机器人码垛系统中,对机器人视觉识别要求很高。

2、目前,工业机器人通过自带的视觉传感器系统,对待码垛的物料进行定位和识别。具体地,通过拍摄物料的视频图像,然后通过标识算法自动框选出图像中物料的位置,从而可以基于物料的标识位置控制工业机器人的夹具完成针对物料的抓取,以及码放操作。

3、然而,视觉传感器系统的识别精度因受其自身算法、操作环境或者硬件设备精度的限制,经常会出现标识错误、漏标识等情况,如果不能对标识异常进行快速纠错处理,则会导致工业机器人后续控制出错,导致丢件、抓取掉落情况的发生。


技术实现思路

1、针对现有技术中的缺陷,本专利技术的目的是提供一种具备视觉标识异常处理的机器人。

2、本申请实施例提供一种具备视觉标识异常处理的机器人,包括:感知单元、处理单元、人机界面、输入单元、机器人本体、驱动单元,所述感知单元包括设置在多个不同角度的相机,所述相机用于采集真实环境的拆码垛场景图像,并将采集到的拆码垛场景图像发送给所述处理单元,所述处理单元通过内置的深度学习模块识别和标注拆码垛场景图像中的物料位置,并将标注的物料位置在所述人机界面上进行显示;所述机器人本体在所述驱动单元的带动下,基于标注的物料位置,执行拆码垛任务;其中:

3、当真实环境下识别的物料位置出现错误时,所述人机界面以自动或者手动方式切换至local helper界面,其中,所述local helper界面包括:操作提示区、垛型显示和标注区、标注工具栏;

4、所述输入单元接收针对垛型显示和标注区、标注工具栏的第一触发指示信号;

5、所述处理单元根据所述第一触发指示信号,对物料位置进行标识编辑处理,所述标识编辑处理包括:删除显示的标识区域、修改标识区域的位置、新增标识区域。

6、可选地,所述标识区域包括:多边形线框、多边形填充区域,用以适配物料的轮廓形状。

7、可选地,还包括:检测单元和发送单元;所述检测单元,用于检测是否存在垛盘异常,若存在异常,则确定垛盘异常的类型;其中,所述垛盘异常的类型包括:无垛盘、空垛盘;

8、所述发送单元,还用于向所述处理单元回报异常垛盘提醒。

9、可选地,还包括:调整单元;所述调整单元,用于在需要编辑的标识区域不能在垛型显示和标注区内完全显示时,通过所述输入单元接收针对垛型显示和标注区的第二触发指示信号;

10、根据所述第二触发指示信号执行标识区域的调整操作,所述调整操作包括以下任一种或者任多种操作的组合:

11、放大标识区域,或者缩小标识区域;

12、拖拽标识区域的位置;

13、全屏展示垛型显示和标注区。

14、可选地,在所述人机界面上还设置有跳转隐藏控件,在接收到针对所述跳转隐藏控件的第三触发指示信号时,将所述local helper界面进行跳转隐藏,并在所述显示单元的系统状态栏中显示local helper控件。

15、可选地,当所述local helper控件接收到触发操作时,从当前界面切换至所述local helper界面,其中,所述local helper界面保存之前的标注进度。

16、可选地,所述操作提示区中显示所述local helper界面的操作说明,所述操作说明包括:

17、修改标注结果,以使得标识区域正确覆盖物料的轮廓,点击所述标注工具栏中的绘制控件,以切换成绘制模式,双击选中错误的标注结果进行编辑或删除,以及绘制新的标识区域。

18、可选地,所述操作说明还包括:

19、对标识区域所在的图片进行放大或缩小,以及使用所述标注工具栏中的拖拽控件来移动标识区域的位置;

20、点击所述标注工具栏中的撤销按钮,撤销前一次所绘制的标识区域;

21、点击标注工具栏中的重做按钮,以清空本次所绘制的全部标识区域,回到初始状态。

22、可选地,所述操作说明还包括:

23、在标注完成后,点击发送标注结果控件,若垛盘上无物料,则回报无任务物体;若存在垛盘异常,则回报异常垛盘。

24、可选地,所述处理单元、感知单元、人机界面、输入单元中的任一个单元或者任多个单元与所述机器人本体组合成整体结构;或者,

25、所述处理单元、感知单元、人机界面、输入单元中的任一个单元或者任多个单元与所述机器人本体采用远程通信的方式连接;

26、所述机器人本体包括:至少一个末端执行器,在确定真实环境下的物料位置之后,由所述驱动单元控制所述末端执行器抓取标识出的物料,并放置在指定的位置。

27、与现有技术相比,本专利技术具有如下的有益效果:

28、本申请中的机器人通过感知单元采集真实环境的拆码垛场景图像,并将采集到的拆码垛场景图像发送给处理单元,处理单元通过内置的深度学习模块识别和标注拆码垛场景图像中的物料位置,并将标注的物料位置在人机界面上进行显示;机器人本体在驱动单元的带动下,基于标注的物料位置,执行拆码垛任务。当真实环境下识别的物料位置出现错误时,机器人的人机界面以自动或者手动方式切换至local helper界面,通过localhelper界面进行人工标注纠错,方便工程师对视觉标注结果进行编辑处理,保证视觉标识的准确性。在人机界面上可以提供丰富的物料标识编辑处理功能,使用方便,编辑效率高,可以适用各种异常处理情况。

本文档来自技高网...

【技术保护点】

1.一种具备视觉标识异常处理的机器人,其特征在于,包括:感知单元、处理单元、人机界面、输入单元、机器人本体、驱动单元,所述感知单元包括设置在多个不同角度的相机,所述相机用于采集真实环境的拆码垛场景图像,并将采集到的拆码垛场景图像发送给所述处理单元,所述处理单元通过内置的深度学习模块识别和标注拆码垛场景图像中的物料位置,并将标注的物料位置在所述人机界面上进行显示;所述机器人本体在所述驱动单元的带动下,基于标注的物料位置,执行拆码垛任务;其中:

2.根据权利要求1所述的具备视觉标识异常处理的机器人,其特征在于,所述标识区域包括:多边形线框、多边形填充区域,用以适配物料的轮廓形状。

3.根据权利要求1所述的具备视觉标识异常处理的机器人,其特征在于,还包括:检测单元和发送单元;所述检测单元,用于检测是否存在垛盘异常,若存在异常,则确定垛盘异常的类型;其中,所述垛盘异常的类型包括:无垛盘、空垛盘;

4.根据权利要求1所述的具备视觉标识异常处理的机器人,其特征在于,还包括:调整单元;所述调整单元,用于在需要编辑的标识区域不能在垛型显示和标注区内完全显示时,通过所述输入单元接收针对垛型显示和标注区的第二触发指示信号;

5.根据权利要求1所述的具备视觉标识异常处理的机器人,其特征在于,在所述人机界面上还设置有跳转隐藏控件,在接收到针对所述跳转隐藏控件的第三触发指示信号时,将所述Local helper界面进行跳转隐藏,并在所述显示单元的系统状态栏中显示Localhelper控件。

6.根据权利要求5所述的具备视觉标识异常处理的机器人,其特征在于,当所述Localhelper控件接收到触发操作时,从当前界面切换至所述Local helper界面,其中,所述Local helper界面保存之前的标注进度。

7.根据权利要求1-6中任一项所述的具备视觉标识异常处理的机器人,其特征在于,所述操作提示区中显示所述Local helper界面的操作说明,所述操作说明包括:

8.根据权利要求1-6中任一项所述的具备视觉标识异常处理的机器人,其特征在于,所述操作说明还包括:

9.根据权利要求1-6中任一项所述的具备视觉标识异常处理的机器人,其特征在于,所述操作说明还包括:

10.根据权利要求1-6中任一项所述的具备视觉标识异常处理的机器人,其特征在于,所述处理单元、感知单元、人机界面、输入单元中的任一个单元或者任多个单元与所述机器人本体组合成整体结构;或者,

...

【技术特征摘要】

1.一种具备视觉标识异常处理的机器人,其特征在于,包括:感知单元、处理单元、人机界面、输入单元、机器人本体、驱动单元,所述感知单元包括设置在多个不同角度的相机,所述相机用于采集真实环境的拆码垛场景图像,并将采集到的拆码垛场景图像发送给所述处理单元,所述处理单元通过内置的深度学习模块识别和标注拆码垛场景图像中的物料位置,并将标注的物料位置在所述人机界面上进行显示;所述机器人本体在所述驱动单元的带动下,基于标注的物料位置,执行拆码垛任务;其中:

2.根据权利要求1所述的具备视觉标识异常处理的机器人,其特征在于,所述标识区域包括:多边形线框、多边形填充区域,用以适配物料的轮廓形状。

3.根据权利要求1所述的具备视觉标识异常处理的机器人,其特征在于,还包括:检测单元和发送单元;所述检测单元,用于检测是否存在垛盘异常,若存在异常,则确定垛盘异常的类型;其中,所述垛盘异常的类型包括:无垛盘、空垛盘;

4.根据权利要求1所述的具备视觉标识异常处理的机器人,其特征在于,还包括:调整单元;所述调整单元,用于在需要编辑的标识区域不能在垛型显示和标注区内完全显示时,通过所述输入单元接收针对垛型显示和标注区的第二触发指示信号;

5.根据权利要求1...

【专利技术属性】
技术研发人员:陈坤张帅颖朱小生周佳骥李珏堃
申请(专利权)人:星猿哲科技上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1