一种基于三维计算机视觉的位置关系判断方法及判断系统技术方案

本发明专利技术属于计算机视觉、三维重建与目标检测技术领域，具体公开了一种基于三维计算机视觉的位置关系判断方法，包括图像采集模块和三维重建模块获取双目图像并计算三维点云：目标检测模块使用YOLOv5目标检测模型检测人体和起吊重物，得到二维边界框；位置计算模块将二维边界框投影到三维点云上，得到人体位置和起吊重物位置的三维坐标；判断模块根据起吊重物大小定义危险空间；判断人体位置是否在危险空间内，得到位置关系判断结果。本发明专利技术的有益效果在于：利用三维信息实现更准确可靠的位置关系判断，三维点云包含丰富的三维空间几何信息，能更精确地表达目标的三维轮廓，有利于人体和起吊重物之间位置关系的判断，确保作业安全，具有广泛实用价值。具有广泛实用价值。具有广泛实用价值。

【技术实现步骤摘要】
一种基于三维计算机视觉的位置关系判断方法及判断系统


[0001]本专利技术属于计算机视觉、三维重建与目标检测
，具体涉及一种基于三维计算机视觉的位置关系判断方法及判断系统。

技术介绍

[0002]现有的位置关系判断方法主要基于二维图像，通过图像分割和匹配判断目标位置关系，信息不够丰富，判断结果较为粗糙。由于缺乏三维空间信息，这些方法无法精确判断目标之间的相对位置关系，无法满足精密作业环境中对位置关系判断的高精度需求。
[0003]特别地，在起重机作业等重物吊装场景中，主要采用摄像头获取二维图像，经过图像目标检测和匹配判断人员是否出现在起重物下方的方法。但是，二维图像缺乏空间深度信息，无法准确确定目标的三维轮廓，判断人员与重物之间的空间位置关系存在较大困难。如果判断不准确，容易导致意外事故，影响作业安全。
[0004]为解决上述问题，亟需一种基于三维计算机视觉的位置关系判断方法，能够获取目标丰富的三维空间信息，实现人体和重物的三维检测与匹配，精确判断人员与重物之间的空间位置关系，提高作业现场安全保障。
[0005]基于上述问题，本专利技术提供一种基于三维计算机视觉的位置关系判断方法及判断系统。

技术实现思路

[0006]专利技术目的：本专利技术的目的是提供一种基于三维计算机视觉的位置关系判断方法及判断系统，以解决现有基于二维图像方法判断位置关系不够精确的问题，通过获取双目图像并计算三维点云，实现人体和起吊重物的三维检测与匹配，根据三维空间信息判断人员与重物之间的空间位置关系，确保作业安全。
[0007]技术方案：本专利技术的第一方面提供一种基于三维计算机视觉的位置关系判断方法，包括：获取双目图像并计算三维点云；使用YOLOv5目标检测模型检测人体和起吊重物，得到二维边界框；将二维边界框投影到三维点云上,得到人体位置和起吊重物位置的三维坐标；根据起吊重物大小定义危险空间；判断人体位置是否在危险空间内，得到位置关系判断结果。
[0008]本技术方案的中：首先通过立体匹配和三维重建技术从双目图像中计算三维点云，再使用YOLOv5目标检测模型检测人体和起吊重物，得到二维边界框。
[0009]然后将二维边界框投影到与图像对应的三维点云上，在三维点云中分割出人体点云和起吊重物点云，得到其三维边界框，并从人体点云和起吊重物点云中计算其密度中心的三维坐标，作为人体位置和起吊重物位置。
[0010]最后根据起吊重物的尺寸定义一个危险空间，如果人体位置在这个危险空间内，则判断人员出现在起吊重物下方；否则判断人员未出现在起吊重物下方。
[0011]本专利技术的第二方面提供一种基于三维计算机视觉的位置关系判断系统，包括：图像采集模块，用于获取双目图像；三维重建模块，用于从双目图像计算三维点云；目标检测模块，用于在二维图像中检测人体边界框和起吊重物边界框；位置计算模块，用于将二维边界框投影到与三维点云上，计算人体位置和起吊重物位置的三维坐标；判断模块，用于根据起吊重物大小定义危险空间，并判断人体位置是否在危险空间内，得到位置关系判断结果。
[0012]本技术方案的中：三维重建模块通过立体匹配技术从双目图像计算三维点云。
[0013]目标检测模块检测人体和起吊重物，得到二维边界框。
[0014]位置计算模块将二维边界框投影到与图像对应的三维点云上，在三维点云中分割出人体点云和起吊重物点云，得到其三维边界框。
[0015]与现有技术相比，本专利技术的一种基于三维计算机视觉的位置关系判断方法及判断系统的有益效果在于：（1）利用三维信息实现更准确可靠的位置关系判断，三维点云包含丰富的三维空间几何信息，能更精确地表达目标的三维轮廓，有利于人体和起吊重物之间位置关系的判断；（2）本专利技术广泛适用于起重机等重物吊装领域，能够实时监控人员与起吊重物之间的相对位置，对于重物吊装作业安全具有重要意义；（3）本专利技术通过获取双目图像并计算三维点云，实现人体和起吊重物的三维检测与匹配，根据三维空间信息判断人员与重物之间的空间位置关系，确保作业安全，具有广泛的实用价值。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本专利技术的一种基于三维计算机视觉的位置关系判断系统的流程结构框图。
实施方式
[0018]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0019]在本专利技术的描述中，需要说明的是，术语“顶部”、“底部”、“一侧”、“另一侧”、“前
面”、“后面”、“中间部位”、“内部”、“顶端”、“底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制；术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性；此外，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。
[0020]参见附图1所示的流程图，本专利技术的实现方法具体包括以下步骤：1)获取双目图像，通过立体匹配和三维重建技术计算三维点云；具体地，使用双目相机采集场景中的左右图像，通过立体匹配算法匹配左右图像中的对应点，计算点的三维坐标，获得三维点云。
[0021]三维点云包含目标的三维空间信息，为后续步骤提供基础数据支持。
[0022]2)目标检测模块检测人体和起吊重物，得到二维边界框；YOLOv5目标检测模型是一个端到端的目标检测框架，能够在二维图像中得到人体和起吊重物的检测框坐标。
[0023]将二维边界框投影到三维点云上,得到人体位置和起吊重物位置的三维坐标；进行二维到三维映射，根据检测框坐标取得对应三维点位信息，人体点云和起吊重物点云就是三维点云中对应目标的点集。
[0024]4)分别从人体点云和起吊重物点云中计算其密度中心的三维坐标，作为人体位置和起吊重物位置；计算人体点云和起吊重物点云中各点到密度中心的距离，选择距离最小的点作为密度中心，其三维坐标即为人体位置和起吊重物位置。
[0025]5)根据起吊重物的尺寸定义危险空间；根据起吊重物的三维模型，估计其占用的三维空间范围，在此基础上扩大一定尺本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维计算机视觉的位置关系判断方法，其特征在于，包括：获取双目图像并计算三维点云；对双目图像分别使用YOLOv5目标检测模型检测人体和起吊重物，得到二维边界框；将二维边界框投影到三维点云上,得到人体位置和起吊重物位置的三维坐标；根据起吊重物大小定义危险空间；判断人体位置是否在危险空间内，得到位置关系判断结果。2.根据权利要求1所述的一种基于三维计算机视觉的位置关系判断方法，其特征在于：通过立体匹配和三维重建技术从双目图像中计算三维点云。3.根据权利要求1所述的一种基于三维计算机视觉的位置关系判断方法，其特征在于：使用YOLOv5目标检测模型在二维图像中检测人体边界框和起吊重物边界框。4.根据权利要求1所述的一种基于三维计算机视觉的位置关系判断方法，其特征在于：将二维边界框投影到与图像对应的三维点云上,从而在三维点云中分割出人体点云和起吊重物点云，得到其三维边界框。5.根据权利要求1所述的一种基于三维计算机视觉的位置关系判断方法，其特征在于：从人体点云和起吊重物点云中计算其密度中心的三维坐标，作为人体位置和起吊重物位置。6.根据权利要求1所述的一种基于三维计算机视觉的位置关系判断方法，其特征...

【专利技术属性】
技术研发人员：王龙，周超，赵亚军，贺文慧，王成军，景文林，
申请(专利权)人：南京南自信息技术有限公司，
类型：发明
国别省市：