公开了用于具有物体处置能力的机器人系统的系统和方法。提供了一种被配置用于物体传送的计算系统。该计算系统至少包括一个处理电路，其被配置为根据物体的图像信息标识物体的可拾取区域。可拾取区域可以根据指示图像信息的各区域的平滑度的表面成本图来确定，表面成本图是根据高度差和法线差异来确定的。可拾取区域的标识可以被用在用于传送物体的运动规划操作中。划操作中。划操作中。
【技术实现步骤摘要】
用于具有物体处置能力的机器人系统的系统和方法
[0001]对相关申请的交叉引用
[0002]本申请要求于2022年3月8日提交的题为“ROBOTIC SYSTEM WITH OBJECT DETECTION”的第63/317,877号美国临时申请的权益，该临时申请的其全部内容通过引用并入本文。
[0003]本技术一般而言针对机器人系统，并且更具体而言针对用于检测和处置物体的系统、过程和技术。更特别地，本技术可以用于标识容器中物体的可拾取区域(pickable region)。
技术介绍
[0004]随着机器人的不断提高的性能和降低的成本，许多机器人(例如，被配置为自动/自主地执行物理动作的机器)现在广泛用于各种不同的领域。例如，机器人可用于在制造和/或组装、包装和/或打包、运输和/或装运等中执行各种任务(例如，操纵或传送物体以穿过一空间)。在执行任务时，机器人可以复制人类动作，从而替代或减少否则在执行危险或重复性任务时所需要的人类参与。
[0005]然而，尽管技术有进步，机器人通常缺乏复制执行更大和/或更复杂任务所需的人类交互所需的复杂性。因此，仍然需要用于管理机器人之间的操作和/或交互的改进的技术和系统。
技术实现思路
[0006]在实施例中，提供了一种计算系统。该计算系统包括：控制系统，被配置为与具有机械臂的机器人进行通信并与相机进行通信，该机械臂包括或附接到末端执行器装置；至少一个处理电路，当机器人位于包括用于传送到物体处置环境内的目的地的物体源的物体处置环境中时，该处理电路被配置为：获得物体的图像信息；通过以下操作来标识物体中的选定物体中的一个或多个选定物体的可拾取区域：根据图像信息生成表面成本图(surface cost map)，分割表面成本图以获得标识与该一个或多个选定物体对应的一个或多个可拾取区域的一个或多个图像片段；以及生成至少包括该至少一个或多个可拾取区域的可拾取区域检测结果；以及为机器人系统生成用于传送该一个或多个选定物体的运动规划，该运动规划基于可拾取区域检测结果。
[0007]在实施例中，提供了一种由控制系统执行的物体传送方法，该控制系统具有至少一个处理电路并被配置为与具有机械臂的机器人进行通信并与相机进行通信，该机械臂包括或附接到末端执行器装置。该方法包括：获得物体源中所包含的一个或多个物体的图像信息；通过以下操作来标识物体中的选定物体中的一个或多个选定物体的可拾取区域：根据图像信息生成表面成本图，分割表面成本图以获得标识与一个或多个选定物体对应的一个或多个可拾取区域的一个或多个图像片段；以及生成至少包括该一个或多个可拾取区域
的可拾取区域检测结果；以及为机器人系统生成用于传送该一个或多个选定物体的运动规划，该运动规划基于可拾取区域检测结果。
[0008]在实施例中，提供了一种非暂时性计算机可读介质，配置有用于物体传送的可执行指令，该物体传送通过具有至少一个处理电路并被配置为与具有机械臂的机器人进行通信并与相机进行通信的控制系统执行，该机械臂包括或附接到末端执行器装置。指令可以被配置用于：获得物体源中所包含的一个或多个物体的图像信息；通过以下操作来标识物体中的选定物体中的一个或多个选定物体的可拾取区域：根据图像信息生成表面成本图，分割表面成本图以获得标识与一个或多个选定物体对应的一个或多个可拾取区域的一个或多个图像片段；以及生成至少包括该一个或多个可拾取区域的可拾取区域检测结果；以及为机器人系统生成用于传送该一个或多个选定物体的运动规划，该运动规划基于可拾取区域检测结果。
附图说明
[0009]图1A图示了根据本文的实施例的用于执行或促进物体的检测、标识和取得的系统。
[0010]图1B图示了根据本文的实施例的用于执行或促进物体的检测、标识和取得的系统的实施例。
[0011]图1C图示了根据本文的实施例的用于执行或促进物体的检测、标识和取得的系统的另一个实施例。
[0012]图1D图示了根据本文的实施例的用于执行或促进物体的检测、标识和取得的系统的又另一个实施例。
[0013]图2A是图示与本文的实施例一致的被配置为执行或促进物体的检测、标识和取得的计算系统的框图。
[0014]图2B是图示与本文的实施例一致的被配置为执行或促进物体的检测、标识和取得的计算系统的实施例的框图。
[0015]图2C是图示与本文的实施例一致的被配置为执行或促进物体的检测、标识和取得的计算系统的另一个实施例的框图。
[0016]图2D是图示与本文的实施例一致的被配置为执行或促进物体的检测、标识和取得的计算系统的又另一个实施例的框图。
[0017]图2E是由系统处理的图像信息的示例并且与本文的实施例一致。
[0018]图2F是由系统处理的图像信息的另一个示例并且与本文的实施例一致。
[0019]图3A图示了根据本文的实施例的用于操作机器人系统的示例性物体处置环境。
[0020]图3B图示了根据本文的实施例的用于操作机器人系统的示例性物体处置环境。
[0021]图3C图示了根据本文的实施例的用于操作机器人系统的示例性物体处置环境。
[0022]图4是图示用于处置检测到的物体的示例过程的流程图。
[0023]图5A图示了与本文的实施例一致的场景的2D图像信息的示例。
[0024]图5B图示了与本文的实施例一致的场景的3D图像信息的示例。
[0025]图6A为与本文的实施例一致的表面成本图生成方法提供了示例流程图。
[0026]图6B
‑
6E提供了与本文的实施例一致的表面成本图生成方法的各方面的示例。
[0027]图6F提供了与本文的实施例一致的高度梯度成本图(height gradient cost map)的示例。
[0028]图6G提供了与本文的实施例一致的法线差异成本图(normal differences cost map)的示例。
[0029]图6H提供了与本文的实施例一致的表面成本图的示例。
[0030]图7A提供了与本文的实施例一致的分割方法的示例。
[0031]图7B
‑
7E提供了与本文的实施例一致的分割方法的各方面的示例。
[0032]图8A和8B提供了与本文的实施例一致的检测掩模信息生成(detection mask information generation)的各方面的示例。
[0033]图9A和9B提供了与本文的实施例一致的安全体积生成(safety volume generation)的各方面的示例。
具体实施方式
[0034]本文描述了与物体检测、标识和取得相关的系统和方法。特别地，所公开的系统和方法可以促进物体检测、可拾取区域的标识以及物体位于容器中的情况下的物体取得。如本文所讨论的，物体可以包括盒子、袋子、包等。由于物体的不规则布置以及难以标识适合拾取(例如利用抽吸抓握设备拾取)的物体区域或部分，在本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种计算系统，包括：控制系统，被配置为与具有机械臂的机器人进行通信并与相机进行通信，所述机械臂包括或附接到末端执行器装置；至少一个处理电路，被配置为当所述机器人位于包括用于传送到物体处置环境内的目的地的物体源的所述物体处置环境中时执行以下操作：获得所述物体的图像信息；通过以下操作来标识所述物体中的选定物体中的一个或多个选定物体的可拾取区域：根据所述图像信息生成表面成本图，分割所述表面成本图以获得一个或多个图像片段，所述一个或多个图像片段标识与所述一个或多个选定物体对应的一个或多个可拾取区域；以及生成至少包括所述一个或多个可拾取区域的可拾取区域检测结果；以及为机器人系统生成用于传送所述一个或多个选定物体的运动规划，所述运动规划基于所述可拾取区域检测结果。2.如权利要求1所述的系统，其中，所述表面成本图代表所述一个或多个选定物体的平滑度。3.如权利要求1所述的系统，其中，所述图像信息包括三维信息，并且所述处理电路进一步被配置用于根据所述图像信息中的经定义的单元格之间的高度梯度和法线差异来生成所述表面成本图。4.如权利要求3所述的系统，其中，所述至少一个处理电路进一步被配置用于根据表面成本图参数生成所述表面成本图。5.如权利要求4所述的系统，其中，所述至少一个处理电路进一步被配置用于：基于所述图像信息注册所述一个或多个物体以创建物体注册信息；以及根据所述物体注册信息确定所述表面成本图参数。6.如权利要求1所述的系统，其中，所述至少一个处理电路进一步被配置用于生成指示图像片段的所述一个或多个可拾取区域的检测掩模信息，所述检测掩模信息包括所述一个或多个图像片段内检测到的区域和被遮挡的区域。7.如权利要求1所述的系统，其中，分割所述表面成本图包括：将成本阈值应用于所述表面成本图以生成经阈值化的掩模；腐蚀所述经阈值化的掩模以生成被腐蚀的掩模；以及将连接分量分析应用于所述被腐蚀的掩模以标识第一图像片段。8.如权利要求7所述的系统，其中，分割所述表面成本图还包括：从表面成本图中移除所述第一图像片段；将第二成本阈值应用于所述表面成本图的剩余部分以生成第二经阈值化的掩模；腐蚀第二经阈值化的掩模以生成第二被腐蚀的掩模；以及将连接分量分析应用于所述第二被腐蚀的掩模以标识第二图像片段。9.如权利要求1所述的系统，其中，生成所述可拾取区域检测结果还包括：生成围绕所述一个或多个可拾取区域的安全体积，所述安全体积指示所述一个或多个选定物体的所估计的剩余部分。10.一种由控制系统执行的物体传送方法，所述控制系统具有至少一个处理电路并被
配置为与具有机械臂的机器人进行通信并与相机进行通信，所述机械臂包括或附接到末端执行器装置，所述方法包括：获得物体源中包含的一个或多个物体的图像信息；通过以下操作来标识所述物体中的选定物体中的一个或多个选定物体的可拾取区域：根据所述图像信息生成表面成本图，分割所述表面成本图以获得一个或多个图像片段，...
【专利技术属性】
技术研发人员：F，
申请(专利权)人：牧今科技，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。