用于机器人纸箱卸载的3D-2D视觉系统技术方案

机器人纸箱装载器或卸载器结合三维（3D）和二维（2D）传感器来分别检测在诸如卡车拖车或装运集装箱之类的运输载体内的纸箱堆的3D点云和2D图像。使用3D点云，丢弃太小而不能成为诸如纸箱之类的产品的一部分的分段来执行边缘检测。太大不能对应于纸箱的分段被2D图像处理以检测附加边缘。在物料纸箱装载器或卸载器的已标定3D空间中转换来自3D和2D边缘检测的结果以执行运输载体的装载或卸载中的一个。图像处理也可以从机器人纸箱装载器或卸载器的输送器的单独可控区段检测产品序列的堵塞以用于单个化卸载。

3D-2D vision system for robot carton unloading

The robot carton loader or unloader combines three dimensional (3D) and two-dimensional (2D) sensors to detect 3D point clouds and 2D images of carton heap in transport carriers such as truck trailers or shipping containers. Edge detection is performed by using 3D point cloud and discarding too small a part of a product such as a carton. Too large can not correspond to carton segmentation by 2D image processing to detect additional edges. In the calibrated 3D space of the material carton loader or unloader, the results from the 3D and 2D edge detection are used to perform the loading or unloading of the carrier carrier. Image processing can also detect blockage of product sequences from individual controllable sections of conveyor of robot carton loader or unloader for single unloading.

【技术实现步骤摘要】
用于机器人纸箱卸载的3D-2D视觉系统对相关申请个优先权和交叉引用本申请要求保护2016年10月20日提交的题为“3D–2DVisionSystemforRoboticCartonUnloading”的美国临时申请No.62/410,435；2016年10月26日提交的题为“3D–2DVisionSystemforRoboticCartonUnloading”的美国临时申请No.62/413,122；以及2016年11月4日提交的题为“ConveyorScreeningDuringRoboticArticleUnloading”的美国临时申请No.62/417,368的权益，通过引用将它们的公开内容以其整体合并于此。
本公开内容总体上涉及机器视觉系统并且更特别地涉及在物料装卸系统中使用机器视觉来检测物件的自主车辆。
技术介绍
装载有货物和产品卡车和拖车在全国各地移动以将产品递送到商店、仓库和配送中心处的商业装载和卸载码头。卡车可以具有安装在卡车上的拖车，或者可以具有牵引车半挂拖车配置。为了降低零售店处的开销成本，商店内产品数量已被减少，并且运输中的产品现在算作可用商店库存的一部分。在仓库和区域配送中心的卸货码头处迅速卸载卡车已作为用来补充已耗减库存的一种方式获得了新的声望。如果负载是垫以托盘的并且伴随体力劳动，如果产品被堆放在卡车内，则通常利用叉车来装载和卸载卡车。利用人类劳动者手动卸载大的卡车载货可能在身体上是困难的，并且因为所涉及的时间和劳动而可能是昂贵的。此外，卡车拖车或装运集装箱的狭小空间内的热或冷条件可以被认为是不愉快的工作。因此，存在对可以比人类劳动者更迅速地并以降低的成本从卡车拖车卸载散装的大量堆放的盒子和货物的改进的卸载系统的需要。为了成为经济的，装载或卸载的自动化需要相对快。用来迅速卸载纸箱的通常已知的方法已具有极其有限的接受度。已经提出通过应用散装装卸技术来在没有具体知道拖车内纸箱的确切位置的情况下卸载拖车。例如，整个拖车可以被倾斜成朝向后端门移动产品。对于另一示例，纸箱被放置在朝向后端门来拉动的织物层上以倾倒内含物。在这两个实例中，通过应用散装装卸技术的包装的完整性和纸箱的内含物受到危害。在另一个极端，已知使用在扫描聚焦在用于接或放的下一位置的区域上的场景的端部效应器上具有机器视觉传感器的关节式机器人臂。在用来检测存在于纸箱堆的一个狭窄部分中的纸箱的尝试中出现广泛的图像处理和三维点云处理。各操作之间的等待时间使得难以实现自动化拖车装载器或卸载器的经济投资回报率（ROI）。即使利用了大量的检测努力，由于难以感测对于3D检测来说过于紧紧地对齐边缘的或相反对于2D检测来说过于在光学上伪装的边缘，会出现未能检测个体纸箱的情况。
技术实现思路
在一个方面中，本公开内容提供一种在物料装卸系统中确定个体纸箱的位置的方法。在一个或多个实施例中，该方法包括接收安置在运输载体的地板上的纸箱堆的至少一部分的二维（2D）图像和三维（3D）点云。该方法包括检测3D点云内的分段。该方法包括除去比第一阈值小的任何分段。该方法包括确定任何分段是否小于第二阈值。该方法包括响应于确定所选分段小于第二阈值，将该所选分段限定（qualify）为3D检测的纸箱。该方法包括响应于确定所选分段不小于第二阈值，（i）确定对应于该所选分段的2D掩模；（ii）确定对应于该2D掩模的2D图像的一部分；（iii）检测2D图像的该部分内的分段；以及（iv）将所检测到的分段限定为2D检测的纸箱。该方法包括将2D和3D检测的纸箱组合在检测结果中。该方法包括针对装载操作和卸载操作的所选的一个使用标定信息将该检测结果转换成相对于机器人纸箱装卸系统的3D位置。在另一方面中，本公开内容提供一种用于卸载纸箱堆中的纸箱的机器人纸箱装卸系统。该机器人纸箱装卸系统可跨地板移动。在一个或多个实施例中，该机器人纸箱装卸系统包括移动主体。该机器人纸箱装卸系统包括附接到该移动主体的可移动机器人操纵器。该可移动机器人操纵器包括在其端部处的端部效应器。该端部效应器卸载或装载来自纸箱堆的一个或多个纸箱。安装在该移动主体上的输送器从端部效应器接收该一个或多个纸箱并且朝向机器人纸箱装卸系统的后部移动该一个或多个纸箱。纸箱检测系统包括相应地耦合至移动主体和可移动机器人操纵器中的一个的一个或多个传感器。该一个或多个传感器提供安置在运输载体的地板上的纸箱堆的至少一部分的2D图像和3D点云。处理子系统与该一个或多个传感器通信。该处理子系统检测3D点云内的分段。该处理子系统除去比第一阈值小的任何分段。该处理子系统确定任何分段是否小于第二阈值。该处理子系统响应于确定所选分段小于第二阈值，将该所选分段限定为3D检测的纸箱。该处理子系统响应于确定所选分段不小于第二阈值，（i）确定对应于该所选分段的2D掩模；（ii）确定对应于该2D掩模的2D图像的一部分；（iii）检测2D图像的该部分内的分段；以及（iv）将所检测到的分段限定为2D检测的纸箱。该处理子系统将2D和3D检测的纸箱组合在检测结果中。该处理子系统针对装载操作和卸载操作的所选的一个使用标定信息将该检测结果转换成相对于机器人纸箱装卸系统的3D位置。在一个附加方面中，本公开内容提供一种包括用于卸载纸箱堆中的纸箱的机器人纸箱装卸系统的物料装卸系统。该机器人纸箱装卸系统可跨地板移动。在一个或多个实施例中，该机器人纸箱装卸系统包括移动主体和附接到该移动主体的可移动机器人操纵器。该可移动机器人操纵器包括在其端部处的端部效应器。该端部效应器卸载来自纸箱堆的一个或多个纸箱。安装在该移动主体上的输送器从端部效应器接收该一个或多个纸箱并且朝向机器人纸箱装卸系统的后部移动该一个或多个纸箱。纸箱检测系统包括相应地耦合至移动主体和可移动机器人操纵器中的一个的一个或多个传感器。该一个或多个传感器提供安置在运输载体的地板上的纸箱堆的至少一部分的2D图像和3D点云。处理子系统与该一个或多个传感器通信。该处理子系统检测3D点云内的分段。该处理子系统除去比第一阈值小的任何分段。该处理子系统确定任何分段是否小于第二阈值。该处理子系统响应于确定所选分段小于第二阈值，将该所选分段限定为3D检测的纸箱。该处理子系统响应于确定所选分段不小于第二阈值，（i）确定对应于该所选分段的2D掩模；（ii）确定对应于该2D掩模的2D图像的一部分；（iii）检测2D图像的该部分内的分段；以及（iv）将所检测到的分段限定为2D检测的纸箱。该处理子系统将2D和3D检测的纸箱组合在检测结果中。该处理子系统针对装载操作和卸载操作的所选的一个使用标定信息将该检测结果转换成相对于机器人纸箱装卸系统的3D位置。自动化控制器与处理子系统通信。该自动化控制器促使机器人纸箱操纵器使用该3D位置来通过机器人纸箱装卸系统执行装载操作和卸载操作的所选的一个。可延伸输送器系统具有耦合至固定输送器系统的近端。该可延伸输送器具有接近机器人纸箱装卸系统定位的可移动远端以便在固定输送器和机器人纸箱装卸系统之间传递纸箱。上面的概要包含细节的简化、概括和省略并且不意图作为所要求保护的主题的综合描述，而是相反意图提供与其相关联的功能中的一些的简要概述。在下面的图和详细书写的描述的检查之后，所要求保护的主题的其他系统、方法、本文档来自技高网...

【技术保护点】
一种在物料装卸系统中确定个体纸箱的位置的方法，该方法包括：接收安置在运输载体的地板上的纸箱堆的至少一部分的二维（2D）图像和三维（3D）点云；检测3D点云内的分段；除去比第一阈值小的任何分段；确定任何分段是否小于第二阈值；响应于确定所选分段小于第二阈值，将该所选分段限定为3D检测的纸箱；响应于确定所选分段不小于第二阈值：确定对应于该所选分段的2D掩模；确定对应于该2D掩模的2D图像的一部分；检测2D图像的该部分内的分段；以及将所检测到的分段限定为2D检测的纸箱；将2D和3D检测的纸箱组合在检测结果中；以及针对装载操作和卸载操作的所选的一个使用标定信息将该检测结果转换成相对于机器人纸箱装卸系统的3D位置。

【技术特征摘要】
2016.10.20 US 62/410435;2016.10.26 US 62/413122;201.一种在物料装卸系统中确定个体纸箱的位置的方法，该方法包括：接收安置在运输载体的地板上的纸箱堆的至少一部分的二维（2D）图像和三维（3D）点云；检测3D点云内的分段；除去比第一阈值小的任何分段；确定任何分段是否小于第二阈值；响应于确定所选分段小于第二阈值，将该所选分段限定为3D检测的纸箱；响应于确定所选分段不小于第二阈值：确定对应于该所选分段的2D掩模；确定对应于该2D掩模的2D图像的一部分；检测2D图像的该部分内的分段；以及将所检测到的分段限定为2D检测的纸箱；将2D和3D检测的纸箱组合在检测结果中；以及针对装载操作和卸载操作的所选的一个使用标定信息将该检测结果转换成相对于机器人纸箱装卸系统的3D位置。2.根据权利要求1所述的方法，进一步包括：从定位在机器人纸箱装卸系统上的一个或多个传感器接收2D图像和3D点云以检测纸箱堆的一个部分；从定位在机器人纸箱装卸系统上的另外的一个或多个传感器接收2D图像和3D点云以检测纸箱堆的邻接部分；以及组合来自该一个部分和邻接部分二者的2D和3D检测的纸箱以形成检测结果。3.根据权利要求1所述的方法，其中将所检测到的分段限定为2D检测的纸箱进一步包括丢弃形成完全包含在更大矩形内的更小矩形的边缘。4.根据权利要求1所述的方法，进一步包括：由机器人纸箱装卸系统使用该3D位置来执行加载操作和卸载操作中的所选的一个。5.一种用于卸载纸箱堆中的纸箱的机器人纸箱装卸系统，该机器人纸箱装卸系统可跨地板移动，该机器人纸箱装卸系统包括:移动主体;可移动机器人操纵器，其被附接到该移动主体并且包括在其端部处的端部效应器，该端部效应器被配置成从纸箱堆卸载一个或多个纸箱；安装在该移动主体上的输送器，其被配置成从端部效应器接收该一个或多个纸箱并且朝向机器人纸箱装卸系统的后部移动该一个或多个纸箱；纸箱检测系统，其包括：一个或多个传感器，其被相应地耦合至移动主体和可移动机器人操纵器中的一个以提供安置在运输载体的地板上的纸箱堆的至少一部分的二维（2D）光学图像和三维（3D）点云；与该一个或多个传感器通信的处理子系统，该处理子系统：检测3D点云内的分段；除去比第一阈值小的任何分段；确定任何分段是否小于第二阈值；响应于确定所选分段小于第二阈值，将该所选分段限定为3D检测的纸箱；响应于确定所选分段不小于第二阈值：确定对应于该所选分段的2D掩模；确定对应于该2D掩模的2D光学图像的一部分；检测2D光学图像的该部分...

【专利技术属性】
技术研发人员：K于瓦拉伊，SP坦卡萨拉，BE尼尔森，张峰，MR威克斯，
申请(专利权)人：因特利格雷特总部有限责任公司，
类型：发明
国别省市：美国,US