包围框生成方法、装置、电子设备和计算机可读介质制造方法及图纸

本公开的实施例公开了包围框生成方法、装置、电子设备和介质。该方法的一具体实施方式包括：响应于检测到存在目标图像相关的各个物品，确定该目标图像上的至少一个包围框，其中，该至少一个包围框中的包围框表征该目标图像相关的各个物品中的物品的位置信息；生成该至少一个包围框中每个包围框相关的点云集，得到点云集组；将该点云集组中的每个点云集中的、与该各个物品中每个物品相关的至少一个点云确定为第一目标点云集，得到第一目标点云集组；将该第一目标点云集组中每个第一目标点云集相关联的包围框确定为目标包围框，得到目标包围框集。该实施方式可以准确、有效的生成该各个物品更为相关的包围框。

【技术实现步骤摘要】
包围框生成方法、装置、电子设备和计算机可读介质
本公开的实施例涉及计算机
，具体涉及包围框生成方法、装置、电子设备和计算机可读介质。
技术介绍
目前，有很多任务涉及到基于视觉的目标识别和定位，例如机械臂拆码垛、机械臂的箱内拣选、机械臂流水线装配作业、基于视觉的导航和定位等等。这些任务常常需要预测相关物品的目标包围框以进行后续任务。对于目标包围框的生成，通常采用的方式为：将目标图像输入至预先训练的深度学习网络，输出包围框的相关信息。然而，当采用上述方式来分割图像，经常会存在如下技术问题：输入至深度网络输出的包围框往往不能更为准确的对任务涉及的物品进行有效的定位，导致任务的完成效率较低。
技术实现思路
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。本公开的一些实施例提出了包围框生成方法、装置、电子设备和计算机可读介质，来解决以上
技术介绍
部分提到的技术问题中的一项或多项。第一方面，本公开的一些实施例提供了一种包围框生成方法，包括：响应于检测到存在目标图像相关的各个物品，确定上述目标图像上的至少一个包围框，其中，上述至少一个包围框中的包围框表征上述目标图像相关的各个物品中的物品的位置信息；生成上述至少一个包围框中每个包围框相关的点云集，得到点云集组；将上述点云集组中的每个点云集中的、与上述各个物品中每个物品相关的至少一个点云确定为第一目标点云集，得到第一目标点云集组；将上述第一目标点云集组中每个第一目标点云集相关联的包围框确定为目标包围框，得到目标包围框集。可选地，上述生成上述至少一个包围框中每个包围框相关的点云集，包括：利用相机的外参矩阵，生成上述至少一个包围框中每个包围框相关的点云集。可选地，上述将上述点云集组中的每个点云集中的、与上述各个物品中每个物品相关的至少一个点云确定为第一目标点云集，包括：确定上述点云集相关的包围框的中心点；选取上述点云集中的、与上述中心点相邻的至少一个点云作为第二目标点云集；根据上述第二目标点云集，生成上述第一目标点云集。可选地，上述选取上述点云集中的、与上述中心点相邻的至少一个点云作为第二目标点云集，包括：构建与上述点云集相关的树模型；根据上述树模型，选取上述点云集中的、与上述中心点相邻的至少一个点云作为上述第二目标点云集。可选地，上述方法还包括：将上述中心点的相关信息加入第一列表。可选地，上述根据上述第二目标点云集，生成上述第一目标点云集，包括：针对与上述第一列表相关联的每个中心点，执行以下第一目标点云集生成步骤：响应于上述第二目标点云集中存在已遍历的第二目标点云，去除上述第二目标点云集中已遍历的第二目标点云，得到第三目标点云集；响应于确定上述第三目标点云集中存在满足目标条件组的第三目标点云，从上述第三目标点云集中筛选满足上述目标条件组的至少一个点云作为第四目标点云集，其中，上述目标条件组包括：点云与上述中心点之间的法线夹角小于第一阈值、点云与上述中心点之间的曲率小于第二阈值；将上述第四目标点云集中的各个第四目标点云的相关信息分别加入上述第一列表和第二列表；从上述第一列表中去除上述中心点的相关信息；响应于上述第二目标点云集中的第二目标点云为已遍历的点云和/或上述第一列表不存在相关联的至少一个点云，将上述第二列表对应的点云集确定为上述第一目标点云集。可选地，上述方法还包括：响应于上述第一列表存在相关联的至少一个点云，将上述第一列表相关联的至少一个点云中的每个点云确定为中心点，以及继续上述目标点云集生成步骤。可选地，在上述响应于上述第二目标点云集中存在已遍历的第二目标点云，去除上述第二目标点云集中已遍历的第二目标点云，得到第三目标点云集之后，上述方法还包括：响应于上述第二目标点云集中不存在已遍历的第二目标点云，将上述第二目标点云集确定为第三目标点云集。可选地，上述方法还包括：依据上述目标包围框集，控制相关机械设备对上述各个物品进行搬运。第二方面，本公开的一些实施例提供了一种包围框生成装置，包括：第一确定单元，被配置成响应于检测到存在目标图像相关的各个物品，确定上述目标图像上的至少一个包围框，其中，上述至少一个包围框中的包围框表征上述目标图像相关的各个物品中的物品的位置信息；生成单元，被配置成生成上述至少一个包围框中每个包围框相关的点云集，得到点云集组；第二确定单元，被配置成将上述点云集组中的每个点云集中的、与上述各个物品中每个物品相关的至少一个点云确定为第一目标点云集，得到第一目标点云集组；第三确定单元，被配置成将上述第一目标点云集组中每个第一目标点云集相关联的包围框确定为目标包围框，得到目标包围框集。可选地，生成单元进一步被配置成：利用相机的外参矩阵，生成上述至少一个包围框中每个包围框相关的点云集。可选地，第二确定单元进一步被配置成：确定上述点云集相关的包围框的中心点；选取上述点云集中的、与上述中心点相邻的至少一个点云作为第二目标点云集；根据上述第二目标点云集，生成上述第一目标点云集。可选地，第二确定单元进一步被配置成：构建与上述点云集相关的树模型；根据上述树模型，选取上述点云集中的、与上述中心点相邻的至少一个点云作为上述第二目标点云集。可选地，第二确定单元进一步被配置成：将上述中心点的相关信息加入第一列表。可选地，第二确定单元进一步被配置成：针对与上述第一列表相关联的每个中心点，执行以下第一目标点云集生成步骤：响应于上述第二目标点云集中存在已遍历的第二目标点云，去除上述第二目标点云集中已遍历的第二目标点云，得到第三目标点云集；响应于确定上述第三目标点云集中存在满足目标条件组的第三目标点云，从上述第三目标点云集中筛选满足上述目标条件组的至少一个点云作为第四目标点云集，其中，上述目标条件组包括：点云与上述中心点之间的法线夹角小于第一阈值、点云与上述中心点之间的曲率小于第二阈值；将上述第四目标点云集中的各个第四目标点云的相关信息分别加入上述第一列表和第二列表；从上述第一列表中去除上述中心点的相关信息；响应于上述第二目标点云集中的第二目标点云为已遍历的点云和/或上述第一列表不存在相关联的至少一个点云，将上述第二列表对应的点云集确定为上述第一目标点云集。可选地，上述装置还包括：依据上述目标包围框集，控制相关机械设备对上述各个物品进行搬运。第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面中任一实现方式描述的方法。本公开的上述各个实施例中具有如下有益效果：本公开的一些实施例的包围框生成方法可以准确、有效的生成该各个本文档来自技高网...

【技术保护点】
1.一种包围框生成方法，包括：/n响应于检测到存在目标图像相关的各个物品，确定所述目标图像上的至少一个包围框，其中，所述至少一个包围框中的包围框表征所述目标图像相关的各个物品中的物品的位置信息；/n生成所述至少一个包围框中每个包围框相关的点云集，得到点云集组；/n将所述点云集组中的每个点云集中的、与所述各个物品中每个物品相关的至少一个点云确定为第一目标点云集，得到第一目标点云集组；/n将所述第一目标点云集组中每个第一目标点云集相关联的包围框确定为目标包围框，得到目标包围框集。/n

【技术特征摘要】
1.一种包围框生成方法，包括：
响应于检测到存在目标图像相关的各个物品，确定所述目标图像上的至少一个包围框，其中，所述至少一个包围框中的包围框表征所述目标图像相关的各个物品中的物品的位置信息；
生成所述至少一个包围框中每个包围框相关的点云集，得到点云集组；
将所述点云集组中的每个点云集中的、与所述各个物品中每个物品相关的至少一个点云确定为第一目标点云集，得到第一目标点云集组；
将所述第一目标点云集组中每个第一目标点云集相关联的包围框确定为目标包围框，得到目标包围框集。


2.根据权利要求1所述的方法，其中，所述生成所述至少一个包围框中每个包围框相关的点云集，包括：
利用相机的外参矩阵，生成所述至少一个包围框中每个包围框相关的点云集。


3.根据权利要求1所述的方法，其中，所述将所述点云集组中的每个点云集中的、与所述各个物品中每个物品相关的至少一个点云确定为第一目标点云集，包括：
确定所述点云集相关的包围框的中心点；
选取所述点云集中的、与所述中心点相邻的至少一个点云作为第二目标点云集；
根据所述第二目标点云集，生成所述第一目标点云集。


4.根据权利要求3所述的方法，其中，所述选取所述点云集中的、与所述中心点相邻的至少一个点云作为第二目标点云集，包括：
构建与所述点云集相关的树模型；
根据所述树模型，选取所述点云集中的、与所述中心点相邻的至少一个点云作为所述第二目标点云集。


5.根据权利要求3所述的方法，其中，所述方法还包括：
将所述中心点的相关信息加入第一列表。


6.根据权利要求5所述的方法，其中，所述根据所述第二目标点云集，生成所述第一目标点云集，包括：
针对与所述第一列表相关联的每个中心点，执行以下第一目标点云集生成步骤：
响应于所述第二目标点云集中存在已遍历的第二目标点云，去除所述第二目标点云集中已遍历的第二目标点云，得到第三目标点云集；
响应于确定所述第三目标点云集中存在满足目标条件组的第三目标点云，从所述第三目标点云集中筛选满足所述目标条件组的至少一个点云作为第四目标点云集，其中，所述目标条件组包括：点云与所述中心点之间的法线夹角小于第一阈值、点云与所述...

【专利技术属性】
技术研发人员：沈蕾，
申请(专利权)人：北京京东乾石科技有限公司，
类型：发明
国别省市：北京;11