一种基于深度图和U深度直方图的障碍物测量方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度图和U深度直方图的障碍物测量方法及装置，首先获取深度相机采集的障碍物场景深度图，生成U深度直方图，将U深度直方图中像素值大于第一阈值的像素作为属于障碍物的兴趣点，通过兴趣点聚类获取障碍物在U深度直方图中的目标框；然后根据U深度直方图中的目标框及深度相机的焦距，计算障碍物正面中心点在搭载深度相机无人机的机体坐标系下水平位置坐标以及障碍物的宽度和长度；根据障碍物在U深度直方图中的目标框，在深度图中定位对应障碍物目标框，计算障碍物长方体正面中心点在无人机的机体坐标系下的垂直位置和障碍物的高度。本发明专利技术计算量小、时效性较高，可在算力资源有限的轻量化平台上部署，完成动态避障任务。态避障任务。态避障任务。

【技术实现步骤摘要】
一种基于深度图和U深度直方图的障碍物测量方法及装置


[0001]本申请属于障碍物检测
，尤其涉及一种基于深度图和U深度直方图的障碍物测量方法及装置。

技术介绍

[0002]无人机因其轻便灵活、机动性强、隐蔽性好等特点，被广泛地应用于民用和军事领域。随着无人机技术的发展，无人机的自主飞行成为当下研究的热点。由于无人机自主执行任务的环境越来越复杂，避障能力对无人机自主飞行至关重要，而快速、准确、低消耗地感知复杂环境中的障碍物是完成自主无人机避障的前提。
[0003]目前障碍物检测的方法主要分为基于视觉的方法和基于雷达的方法。与基于雷达的方法相比，基于视觉的方法的优点是设备成本较低，有能力识别不同的物体，在物体高度与宽度测量精度更高，数据量较小且获取的频率更高，因此更适合实时性要求高的场景中在算力有限的无人机上采用。
[0004]对于用以避障的环境感知，除了障碍物位置信息和深度信息以外，障碍物的三维尺寸信息也是决定是否能够高效快速准确地完成避障路径规划的重要信息。但现有技术只是往往只关心障碍物的深度及位置信息，没有对障碍物的尺寸估计。现有技术通过神经网络识别障碍物类别和图像坐标信息，需要采集障碍物的图像来训练神经网络，只针对有足够图像的已知障碍物有效。同时，现有技术通常时效性不高，无法应用于高速动态避障场景。

技术实现思路

[0005]本申请的目的是提供一种基于深度图和U深度直方图的障碍物测量方法及装置，快速获得未知障碍物的深度、位置、尺寸信息，同时提高时效性。
[0006]为了实现上述目的，本申请技术方案如下：
[0007]一种基于深度图和U深度直方图的障碍物测量方法，应用于搭载深度相机的无人机，包括：
[0008]获取深度相机采集的障碍物场景深度图，生成U深度直方图，所述U深度直方图的横坐标表示深度图上的水平位置，纵坐标表示深度图上的深度值，所述U深度直方图上像素值表示深度图上相同水平位置像素的深度值与U深度直方图纵坐标相等的像素个数；
[0009]将U深度直方图中像素值大于第一阈值的像素作为属于障碍物的兴趣点，通过兴趣点聚类获取障碍物在U深度直方图中的目标框；
[0010]根据U深度直方图中的目标框及深度相机的焦距，计算障碍物正面中心点在搭载深度相机无人机的机体坐标系下水平位置坐标以及障碍物的宽度和长度；
[0011]根据障碍物在U深度直方图中的目标框，在深度图中定位对应障碍物目标框，计算障碍物长方体正面中心点在无人机的机体坐标系下的垂直位置和障碍物的高度。
[0012]进一步的，所述第一阈值，通过如下公式计算：
[0013][0014]其中f为深度相机的焦距，μ为一个像素的尺寸，d
bin
为当前像素点在U深度直方图中的像素值，T
h
为预设的避障场景中障碍物高度阈值。
[0015]进一步的，所述计算障碍物正面中心点在搭载深度相机无人机的机体坐标系下水平位置坐标以及障碍物的宽度和长度，计算公式如下：
[0016][0017][0018][0019]l
o
＝d
b
‑
d
t
[0020]其中，f为深度相机的焦距，(i
l
,d
t
)表示U深度直方图中的目标框的左上顶点坐标，(i
r
,d
b
)表示U深度直方图中的目标框的右下顶点坐标，w
o
表示障碍物宽度，l
o
表示障碍物长度，(x,y)表示障碍物正面中心点在搭载深度相机无人机的机体坐标系下水平位置坐标。
[0021]进一步的，所述计算障碍物长方体正面中心点在无人机的机体坐标系下的垂直位置和障碍物的高度，包括：
[0022][0023][0024]其中，f为深度相机的焦距，z表示障碍物长方体正面中心点在无人机的机体坐标系下的垂直位置，障碍物长方体正面中心点在无人机的机体坐标系下的垂直位置，h
t
表示深度图中障碍物目标框左上顶点的高度坐标，h
b
深度图中障碍物目标框右下顶点的高度坐标，h表示障碍物的高度。
[0025]进一步的，所述根据障碍物在U深度直方图中的目标框，在深度图中定位对应障碍物目标框，包括：
[0026]在深度图中将水平位置索引在[i
l
,i
r
]范围内同时深度图深度值在[d
t
,d
b
]范围内的像素点聚类，将聚类结果用矩形框框出，得到在深度图中定位对应障碍物目标框，(i
l
,d
t
)表示U深度直方图中的目标框的左上顶点坐标，(i
r
,d
b
)表示U深度直方图中的目标框的右下顶点坐标。
[0027]本申请还提出了一种基于深度图和U深度直方图的障碍物测量装置，应用于搭载深度相机的无人机，所述基于深度图和U深度直方图的障碍物测量装置，包括：
[0028]直方图生成模块，用于获取深度相机采集的障碍物场景深度图，生成U深度直方图，所述U深度直方图的横坐标表示深度图上的水平位置，纵坐标表示深度图上的深度值，所述U深度直方图上像素值表示深度图上相同水平位置像素的深度值与U深度直方图纵坐标相等的像素个数；
[0029]直方图聚类模块，用于将U深度直方图中像素值大于第一阈值的像素作为属于障碍物的兴趣点，通过兴趣点聚类获取障碍物在U深度直方图中的目标框；
[0030]长宽估计模块，用于根据U深度直方图中的目标框及深度相机的焦距，计算障碍物正面中心点在搭载深度相机无人机的机体坐标系下水平位置坐标以及障碍物的宽度和长度；
[0031]高度估计模块，用于根据障碍物在U深度直方图中的目标框，在深度图中定位对应障碍物目标框，计算障碍物长方体正面中心点在无人机的机体坐标系下的垂直位置和障碍物的高度。
[0032]进一步的，所述第一阈值，通过如下公式计算：
[0033][0034]其中f为深度相机的焦距，μ为一个像素的尺寸，d
bin
为当前像素点在U深度直方图中的像素值，T
h
为预设的避障场景中障碍物高度阈值。
[0035]进一步的，所述计算障碍物正面中心点在搭载深度相机无人机的机体坐标系下水平位置坐标以及障碍物的宽度和长度，计算公式如下：
[0036][0037][0038][0039]l
o
＝d
b
‑
d
t
[0040]其中，f为深度相机的焦距，(i
l
,d
t
)表示U深度直方图中的目标框的左上顶点坐标，(i
r
,d
b
)表示U深度直方图中的目标框的右下顶点坐标，w
o
表示障碍物宽度，l
o
表示障碍物长度，(x,y)表示障碍物本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度图和U深度直方图的障碍物测量方法，应用于搭载深度相机的无人机，其特征在于，所述基于深度图和U深度直方图的障碍物测量方法，包括：获取深度相机采集的障碍物场景深度图，生成U深度直方图，所述U深度直方图的横坐标表示深度图上的水平位置，纵坐标表示深度图上的深度值，所述U深度直方图上像素值表示深度图上相同水平位置像素的深度值与U深度直方图纵坐标相等的像素个数；将U深度直方图中像素值大于第一阈值的像素作为属于障碍物的兴趣点，通过兴趣点聚类获取障碍物在U深度直方图中的目标框；根据U深度直方图中的目标框及深度相机的焦距，计算障碍物正面中心点在搭载深度相机无人机的机体坐标系下水平位置坐标以及障碍物的宽度和长度；根据障碍物在U深度直方图中的目标框，在深度图中定位对应障碍物目标框，计算障碍物长方体正面中心点在无人机的机体坐标系下的垂直位置和障碍物的高度。2.根据权利要求1所述的基于深度图和U深度直方图的障碍物测量方法，其特征在于，所述第一阈值，通过如下公式计算：其中f为深度相机的焦距，μ为一个像素的尺寸，d
bin
为当前像素点在U深度直方图中的像素值，T
h
为预设的避障场景中障碍物高度阈值。3.根据权利要求1所述的基于深度图和U深度直方图的障碍物测量方法，其特征在于，所述计算障碍物正面中心点在搭载深度相机无人机的机体坐标系下水平位置坐标以及障碍物的宽度和长度，计算公式如下：碍物的宽度和长度，计算公式如下：碍物的宽度和长度，计算公式如下：l
o
＝d
b
‑
d
t
其中，f为深度相机的焦距，(i
l
,d
t
)表示U深度直方图中的目标框的左上顶点坐标，(i
r
,d
b
)表示U深度直方图中的目标框的右下顶点坐标，w
o
表示障碍物宽度，l
o
表示障碍物长度，(x,y)表示障碍物正面中心点在搭载深度相机无人机的机体坐标系下水平位置坐标。4.根据权利要求1所述的基于深度图和U深度直方图的障碍物测量方法，其特征在于，所述计算障碍物长方体正面中心点在无人机的机体坐标系下的垂直位置和障碍物的高度，包括：包括：
其中，f为深度相机的焦距，z表示障碍物长方体正面中心点在无人机的机体坐标系下的垂直位置，障碍物长方体正面中心点在无人机的机体坐标系下的垂直位置，h
t
表示深度图中障碍物目标框左上顶点的高度坐标，h
b
深度图中障碍物目标框右下顶点的高度坐标，h表示障碍物的高度。5.根据权利要求1所述的基于深度图和U深度直方图的障碍物测量方法，其特征在于，所述根据障碍物在U深度直方图中的目标框，在深度图中定位对应障碍物目标框，包括：在深度图中将水平位置索引在[i
l
,i
r
]范围内同时深度图深度值在[d
t
,d
b
]范围内的像素点聚类，将聚类结果用矩形框框出，得到在深度图中定位对应障碍物目标框，(i
l
,d
t
)表示U深度直方图中的目标框的左上顶点坐标，(i
r
,d
b
)表示U深度直方图中的目标框的右下顶点坐标。6.一种基于深度图和U深度直方图的障碍物测量装置，应用于...

【专利技术属性】
技术研发人员：陈博文，徐庶，宫成业，豆扬名，
申请(专利权)人：中国电子科技南湖研究院，
类型：发明
国别省市：