当前位置: 首页 > 专利查询>牧今科技专利>正文

自动包裹配准系统、装置和方法制造方法及图纸

技术编号:24066163 阅读:77 留言:0更新日期:2020-05-09 00:08
一种操作包裹处理系统的方法包括:接收表示包裹表面的第一表面图像的第一图像数据;基于所述第一图像识别所述包裹表面的一对相交边缘;基于所述一对边缘确定最小可行区域,所述最小可行区域用于夹持和提升所述包裹;接收表示所述提升后的所述包裹的第二图像数据;以及基于所述第三图像数据创建配准数据。

Automatic package registration system, device and method

【技术实现步骤摘要】
自动包裹配准系统、装置和方法相关申请的交叉引用本申请要求2018年10月30日提交的美国临时专利申请序列号62/752,756的权益,该临时专利申请的全部内容以引用的方式并入本文。
技术介绍
通常情况下,包裹被码垛以便装运到卸垛包裹的目的地。有时候,包裹由工人卸垛,这可能成本高昂,并有造成人身伤害的风险。在工业环境中,卸垛操作通常由工业机器人(诸如机械臂)执行,其将包裹夹持、提升、运输和递送到释放点。而且,可以利用成像装置来捕获装载在托盘上的包裹堆垛的图像。系统可处理图像以确保机械臂高效地处理包裹,诸如通过将所捕获的图像与存储在配准数据源中的配准图像进行比较。有时,包裹的所捕获图像可与配准图像匹配。结果,所成像物体的物理特性(例如,包裹的尺寸、重量和/或质心的测量值)可能是未知的。未能正确识别物理特性可能导致各种不期望的结果。例如,此类故障可能导致停机,这可能需要手动配准包裹。此外,此类故障可能导致包裹处理不当,特别是如果包裹相对较重和/或偏斜。附图说明图1A示出了根据本技术的一些实施方案的配置有包裹配准机构的机器人系统。图1B是根据本技术的一些实施方案的机器人系统的功能框图。图2A示出了根据本技术的一些实施方案的力-力矩传感器。图2B示出了根据本技术的一些实施方案的夹持器。图3A示出了示例性包裹堆垛的透视图。图3B示出了示例性包裹堆垛的俯视图。图3C示出了根据本技术的一些实施方案的配准包裹的示例性符号。图4A示出了根据本技术的一些实施方案的第二示例性包裹堆垛的透视图。图4B示出了根据本技术的一些实施方案的第二包裹堆垛的俯视图。图4C示出了根据本技术的一些实施方案的已配准和未配准包裹的示例性符号。图4D示出了根据本技术的一些实施方案的不清晰边缘和最小可行区域(MVR)的示例。图4E示出了根据本技术的一些实施方案的已配准和未配准包裹的第二组示例性符号。图4F示出了根据本技术的一些实施方案的不清晰边缘和MVR的第二示例。图4G示出了根据本技术的一些实施方案的未配准包裹的第三组示例性符号。图4H示出了根据本技术的一些实施方案的夹持器系统在图4D的第一MVR上方的示例性放置。图4I示出了根据本技术的一些实施方案的未配准包裹的第四组示例性符号。图4J示出了根据本技术的一些实施方案的用于新处理的包裹的不清晰边缘和MVR的示例。图4K示出了根据本技术的一些实施方案的夹持器系统在图4F的MVR上方的示例性放置。图4L示出了根据本技术的一些实施方案的未配准包裹的第五组示例性符号。图4M示出了根据本技术的一些实施方案的用于新处理的包裹的不清晰边缘和MVR的示例。图4N示出了根据本技术的一些实施方案的夹持器系统在图4M的MVR上方的示例性放置。图4O示出了根据本技术的一些实施方案的夹持器系统在图4J的MVR上方的示例性放置。图4P示出了根据本技术的一些实施方案的夹持器系统在图4D的第二MVR上方的示例性放置。图4Q示出了根据本技术的一些实施方案的夹持器系统在图4D的第三MVR上方的示例性放置。图5示出了根据本技术的一些实施方案的用于操作图1A的机器人系统100的示例性方法的控制流程。具体实施方式在以下描述中,呈现了若干具体细节以提供对本文公开的专利技术构思的实施方案的透彻理解。然而,相关领域的技术人员将认识到,本文中公开的本技术的实施方案可以在没有一个或多个特定细节的情况下实施,或者与其他部件结合实施,等等。在其他情况下,众所周知的实现方式或操作未详细示出或描述,以避免模糊本文公开的本技术的各种实施方案的各方面。图1A和1B示出了根据本技术的一些实施方案的配置有包裹配准机构的机器人系统100。在一些实施方案中,机器人系统可包括卸垛平台110、接收平台120、机械臂系统130、末端执行器140、处理单元(PU)150、图像系统160、配准数据源(RDS)170、高度确定传感器(HDS)180和/或释放点传感器(RPS)190。卸垛平台110可包括任何平台、表面和/或结构,多个包裹112(单个地,“包裹112”)可在其上堆垛和/或布置并准备好运输到接收平台120。应当指出的是,尽管本文使用术语“包裹”,但该术语包括任何其他词语,如下面详细讨论的那样,其容器能够被夹持、提升、运输和递送,诸如但不限于“盒子”、“箱子”、“纸盒”或其任何组合。此外,尽管在本文公开的附图中示出了矩形箱子,但是箱子的形状不限于此类形状,而是包括能够被夹持、提升、运输和递送的任何规则或不规则的形状,如下面详细讨论的。与卸垛平台110类似,接收平台120可包括指定用于接收包裹112以进行进一步任务/操作的任何平台、表面和/或结构。在一些实施方案中,接收平台120可包括用于将包裹112从一个位置(例如,如下所述的释放点)运输到另一位置以进行进一步操作(例如,分类和/或储存)的传送系统。机械臂系统130可包括被配置为操纵(例如,传送和/或旋转或重新定向)包裹112的一组联接结构、接头、马达/致动器、传感器或其组合。机械臂系统130可包括机械臂132,本文为了说明的目的而非限制,机械臂132可为铰接六轴机械臂结构。尽管本文的讨论将被引用到机械臂系统130,但是本文公开的实施方案不限于此类系统,而是包括可被配置为执行本文公开的动作的任何机器人系统。末端执行器140可包括联接到机械臂132的远端的任何一个或多个部件,其被配置为与多个包裹112相互作用。例如,末端执行器140可包括被配置为夹持并保持包裹112的结构(例如,基于真空的夹持器)。在一些实施方案中,末端执行器140可包括力-力矩(F-T)传感器142、臂接口144、夹持器系统146和/或夹持器接口148(如图2A和2B所示)。图1B的PU150可为任何单元或电路,其被编程和/或被配置为不仅引导和控制机械臂系统130(包括末端执行器140)的运动和/或其他动作而且还处理其他相关数据。例如,PU150可从图像系统160接收表示包裹112的表面图像(SI)的图像数据,并根据RDS170提供的配准记录172确定SI的配准状态(下文讨论),即,包裹112是包裹112的配准实例还是包裹112的未配准实例(例如,包裹112的配准记录172不存在或不完整的实例)。而且,例如,PU150可将机械臂系统130引导到包裹112的配准实例。另外,PU150可在从RPS190接收到释放信号时将夹持控制信号施加到夹持器系统146、将臂引导到接收平台120,和/或在接收平台120上释放包裹112的配准实例。PU150可包括任何电子数据处理单元,其执行可永久地或暂时存储在数字存储器存储装置或非暂态计算机可读介质(通常是图1B的存储器152)中的软件或计算机指令代码,所述数字存储器存储装置或非暂态计算机可读介质包括但不限于随机存取存储器(RAM)、磁盘驱动器、磁存储器、只读存储器(ROM)、光盘(CD)本文档来自技高网...

【技术保护点】
1.一种用于在机器人包裹处理操作期间配准包裹的方法,所述方法包括:/n接收表示包裹表面的第一表面图像的第一图像数据;/n基于将所述第一表面图像与配准记录进行比较来确定所述包裹未配准;/n基于所述第一图像数据识别所述包裹表面的一对边缘,其中所述一对边缘沿着水平方向暴露并且彼此相交以形成所述包裹表面的角部;/n基于所述一对边缘确定最小可行区域,其中所述最小可行区域与所述一对边缘中的一个或两个重叠和/或重合;/n生成一个或多个命令,以用于(1)利用定位在所述最小可行区域上方的末端执行器夹持所述包裹,以及(2)提升所述包裹;/n接收表示所述提升后的所述包裹的第二图像数据;/n根据所述第一图像数据和所述第二图像数据确定第三图像数据;以及/n基于所述第三图像数据创建表示所述包裹的新配准记录的配准数据,以用于随后识别其他包裹。/n

【技术特征摘要】
20181030 US 62/752,756;20190301 US 16/290,741;20191.一种用于在机器人包裹处理操作期间配准包裹的方法,所述方法包括:
接收表示包裹表面的第一表面图像的第一图像数据;
基于将所述第一表面图像与配准记录进行比较来确定所述包裹未配准;
基于所述第一图像数据识别所述包裹表面的一对边缘,其中所述一对边缘沿着水平方向暴露并且彼此相交以形成所述包裹表面的角部;
基于所述一对边缘确定最小可行区域,其中所述最小可行区域与所述一对边缘中的一个或两个重叠和/或重合;
生成一个或多个命令,以用于(1)利用定位在所述最小可行区域上方的末端执行器夹持所述包裹,以及(2)提升所述包裹;
接收表示所述提升后的所述包裹的第二图像数据;
根据所述第一图像数据和所述第二图像数据确定第三图像数据;以及
基于所述第三图像数据创建表示所述包裹的新配准记录的配准数据,以用于随后识别其他包裹。


2.如权利要求1所述的方法,其还包括:
基于所述第一图像数据估计不清晰边缘,其中所述一对边缘和所述不清晰边缘对应于所述包裹表面的边界;并且
其中:
所述最小可行区域不与所述不清晰边缘重叠,以便夹持所述包裹,同时使所述包裹的暴露部分对应于所述估计的不清晰边缘。


3.如权利要求2所述的方法,其还包括:
基于所述第二图像数据识别一个或多个新边缘,其中所述新边缘表示所述包裹的对应于所述估计的不清晰边缘的实际暴露边缘;并且
其中:
所述第三图像数据包括所述一个或多个新边缘。


4.如权利要求3所述的方法,其中识别所述一个或多个新边缘包括基于在提升所述包裹之后测量的深度数据的差异来识别所述一个或多个新边缘。


5.如权利要求1所述的方法,其中确定所述第三图像数据包括:
计算所述第一图像数据和所述第二图像数据之间的差异;以及
将所述第一图像数据与所述计算的差异组合。


6.如权利要求1所述的方法,其还包括:
基于所述第一图像数据识别直线;
其中:
所述最小可行区域是排除所述直线的连续区域。


7.如权利要求1所述的方法,其还包括:
计算表示所述包裹沿着竖直方向的尺寸的高度;并且
其中:
所述配准数据包括所述计算的高度。


8.如权利要求7所述的方法,其中计算所述高度包括:
检测触发器,所述触发器表示所述包裹穿过与位于已知高度处的高度确定传感器相关联的水平检测平面时的时间;
确定与所述触发器相关联的竖直位置,其中所述竖直位置表示所述末端执行器在所述包裹穿过所述水平检测平面时的所述时间的竖直位置;以及
基于所述已知高度和所述竖直位置之间的差异来计算所述高度。


9.如权利要求1所述的方法,其还包括:
在提升所述包裹之后接收数据,其中所述数据表示来自连接到所述末端执行器或与所述末端执行器成一体的F-T传感器的力测量值;
基于所述接收的数据确定所述包裹的重量;并且
其中:
所述配准数据包括所述确定的重量。


10.如权利要求1所述的方法,其还包括:
在提升所述包裹之后接收数据,其中所述数据表示来自连接到所述末端执行器或与所述末端执行器成一体的F-T传感器的扭矩测量值;
基于所述接收的数据确定所述包裹的质心位置;并且
其中:
所述配准数据包括所述质心位置。


11.一种用于在机器人包裹处理操作期间配准未配准包裹的系统,所述系统包括:
至少一个处理器;和
至少一个存储器,所述至少一个存储器联接到所述至少一个处理器,所述存储器包括指令,所述指令能够由所述至少一个处理器执行以:
接收表示包裹表面的第一表面图像的第一图像数据;
基于将所述第一表面图像与配准记录进行比较来确定所述包裹未配准;
基于所述第一图像数据识别所述包裹表...

【专利技术属性】
技术研发人员:鲁仙·出杏光欢·刘旭涛·叶何塞·赫罗尼莫·莫雷拉·罗德里格斯良树·金本锦泽·余罗素·伊斯兰
申请(专利权)人:牧今科技
类型:发明
国别省市:日本;JP

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1