当前位置: 首页 > 专利查询>武汉大学专利>正文

一种面向三维重建的多无人机路径规划方法及系统技术方案

技术编号:39726725 阅读:8 留言:0更新日期:2023-12-17 23:31
本发明专利技术公开了一种面向三维重建的多无人机路径规划方法及系统,包括以下步骤:基于网格式轨迹捕捉垂直影像并重建粗略三维模型作为先验信息;在粗模表面均匀采样,并在粗模所处场景均匀生成多个候选视点,再基于多视图几何三维重建原理建立表面点的重建度预测模型;基于对全场景的重建度损失估计结果为多无人机确定重点任务位置,并采用布谷鸟算法分配最优任务序列;多无人机轮流按照各自的任务序列,依次基于一种改进的

【技术实现步骤摘要】
一种面向三维重建的多无人机路径规划方法及系统


[0001]本专利技术属于无人机
,具体涉及一种面向三维重建的多无人机路径规划方法及系统


技术介绍

[0002]随着无人机技术的快速发展,携带单个高分辨率相机的小型商业无人机正以越来越低的成本逐渐进入大众视野

而近年来国内外在基于图像的三维重建领域中取得的成功使无人机被广泛应用于大型场景的影像捕捉与三维重建

单目商业无人机具备低成本

小型化优势,而且灵活度高,能够穿梭于任意位置,捕获各个角落的场景影像,再基于目前最先进的多视图几何三维重建
(Multi

View Stereo,MVS)
算法,即可重建出目标场景的三维模型

然而为降低尺寸与起飞重量,无人机的电池容量往往被设计的非常小

因此在有限的能量下自动捕获对重建的贡献最高的影像数据是当下的研究重点

[0003]目前利用无人机捕捉场景影像并重建高质量三维模型的方法存在三方面问题

其一,市场上的主流商业规划软件虽然已经可以为无人机自动规划出覆盖目标区域的网格式飞行路径,但这种路径通常是以固定的高度和视角均匀捕获场景数据,难以获取建筑物的立面细节,导致建模完整性与精细度均较低;其二,国内外最先进的方法虽然支持单架无人机在场景中自动捕捉多视角影像并重建高质量三维模型,但这些方法只能生成非连续轨迹,即需要无人机频繁加减速,并在悬停后拍摄影像,这对支持边飞行边摄影的无人机来说将消耗大量不必要的能量;其三,对于较大范围的场景,单架无人机不仅效率低,而且难以一次性完成全场景的捕获任务

虽然通过将单条轨迹分割为多段可以实现多机同时捕捉数据,但存在多机之间碰撞的风险

因此,如何同时为多架无人机规划出连续的飞行轨迹,实现多无人机协同捕捉场景影像并重建出高质量的三维模型,是当前亟待解决的问题


技术实现思路

[0004]为了克服现有技术的缺点与不足,提出一种面向三维重建的多无人机路径规划方法,该方法实现了多无人机以低能耗协同捕捉场景影像并重建出高质量三维模型的自动化

[0005]本专利技术方法的技术方案为一种面向三维重建的多无人机路径规划方法,包括以下步骤:
[0006]步骤
1.
粗略模型重建:使用单架无人机,在三维重建目标区域的上空,以固定高度沿网格式循环往返的轨迹对目标区域进行覆盖,并在飞行过程中以固定的间隔垂直向下拍摄影像,完成拍摄任务后,基于
MVS
算法重建出目标区域的粗略三维模型;
[0007]步骤
2.
前期准备:在粗略三维模型表面进行均匀采样得到多个表面点,并在场景所处空间中均匀生成多个候选视点,然后,基于
MVS
的重建规则,建立表面点的重建度预测模型,实现根据场景中视点的观察方向与所处位置,以及表面点的位置与表面法线方向,对表面点的重建效果进行预测;
]T
,对应的连续轨迹的末端切线方向
o
tang,i
被初始化为
[0 0 1]T
,指针
n
i
为空,
c
i



[0025]候选视点在粗模所处空间中以距离
r
为间隔均匀分布,因此候选视点在
X

、Y

、Z
轴上的数量分别为:
[0026][0027][0028][0029]其中
M
x
为候选视点在
X
轴上的数量,
M
y
为候选视点在
Y
轴上的数量,
M
z
为候选视点在
Z
轴上的数量,
x
min
为粗模所处空间在
X
轴上的最小值,
x
max
为粗模所处空间在
X
轴上的最大值,
y
min
为粗模所处空间在
Y
轴上的最小值,
y
max
为粗模所处空间在
Y
轴上的最大值,
z
min
为粗模所处空间在
Z
轴上的最小值,
z
max
为粗模所处空间在
Z
轴上的最大值

[0030]进一步地,在步骤2中,视点
v
i
的位置
p
i
为:
[0031][0032]其中,
[0033][0034][0035][0036]其中,
n
x,i
为第
i
个候选视点
v
i

X
轴上的排序,
n
y,i
为第
i
个候选视点
v
i

Y
轴上的排序,
n
z,i
为第
i
个候选视点
v
i

Z
轴上的排序

[0037]进一步地,所述步骤2中的重建度预测模型,具体如下:
[0038]当前场景中已有轨迹上的所有视点
V
对粗模的第
k
个表面点
s
k
的重建度总贡献被表示为:
[0039]h(s
k
,V)
=2·
h
max
·
(0.5

(1+exp(k1·
h

))
‑1)
[0040]其中
h
max
为表面点重建度的最大值,
k1权重参数,
V
的具体表示如下:
[0041][0042]其中
v

i
为当前场景中已有轨迹上的第
i
个视点,
M

为当前场景中已有轨迹上的视点总数,
h

被设计为:
[0043][0044]其中
δ
(s
k
,v

i
)
为表面点
s
k
对视点
v

i
的可见性函数,
δ
(s
k
,v

j
)
为表面点
s
k
对视点
v

j
的可见性函数,当
s
k...

【技术保护点】

【技术特征摘要】
1.
一种面向三维重建的多无人机路径规划方法,其特征在于,包括以下步骤:步骤
1.
粗略模型重建:使用单架无人机,在三维重建目标区域的上空,以固定高度沿网格式循环往返的轨迹对目标区域进行覆盖,并在飞行过程中以固定的间隔垂直向下拍摄影像,完成拍摄任务后,基于
MVS
算法重建出目标区域的粗略三维模型;步骤
2.
前期准备:在粗略三维模型表面进行均匀采样得到多个表面点,并在场景所处空间中均匀生成多个候选视点,然后,基于
MVS
的重建规则,建立表面点的重建度预测模型,实现根据场景中视点的观察方向与所处位置,以及表面点的位置与表面法线方向,对表面点的重建效果进行预测;步骤
3.
多机任务分配:首先,在水平维度按照一定分辨率将场景分割为多个网格,计算每个网格附近区域所有表面点的重建度损失值总和,然后,对所有网格的重建度损失值进行排序,在其中挑选出多个损失值最高,且相隔超过一定距离的网格,作为多无人机的任务所在位置,最后,采用布谷鸟搜索算法,以最小化适应度函数为目标为多无人机分配最优任务序列;步骤
4.
多机路径搜索:多机将各自已有轨迹的末端视为起点,对于首轮多机路径搜索,搜索起点为各无人机的起飞点,按固定顺序轮流搜索路径,其中每架无人机按照各自的任务序列,依次访问各个任务所处位置,在这过程中,将所有候选视点视为搜索空间,通过最小化由连续轨迹的能耗

安全性

场景重建度因素组成的目标函数,将连续轨迹延伸至任务所在区域,当所有无人机均完成了各自任务序列的访问后,循环至步骤3,直至所有表面点的重建度的平均值超过阈值;步骤
5.
影像捕捉与三维模型重建:每架无人机沿最终轨迹飞行,并在每个视点所处位置沿视点的观察方向进行拍摄,所有无人机均完成拍摄任务之后,将拍摄的所有影像输入
MVS
算法,重建出完整且精细的场景三维模型
。2.
根据权利要求1所述的面向三维重建的多无人机路径规划方法,其特征在于,所述步骤2中的多个表面点,具体表示如下:
S

{s
i
|i
=1,2,
...

N}
其中
s
i
为粗模的第
i
个表面点,
N
为表面点总数;多个候选视点,具体表示如下:
V
can

{v
i

(p
i

o
i

c
i

n
i

o
tang

i
)|i
=1,2,
...

M}
其中
v
i
为空间中的第
i
个候选视点,
p
i
为视点
v
i
的位置,
o
i
为视点
v
i
的观察方向,
c
i
为候选视点的得分,被用来在延伸轨迹时判断视点的优先级,
n
i
为视点
v
i
的来源指针,指向
V
can
中的其他视点,借助
n
i
对视点
v
i
进行溯源,得到一条完整的路径
P
i
,具体表示如下:其中为对
v
i
进行溯源后得到的路径
P
i
上的第
j
个视点,为路径
P
i
上的视点总数,
P
i
上最后一个视点在
V
can
中,
o
tang

i
为以视点
v
i
对应的连续轨迹的末端切线方向,其中为基于多项式的双重描述生成的具备最小能耗的连续轨迹,且按排列顺序途径
P
i
中的所有视点,
具体表示如下:其中
L
i

k
(t)
为轨迹在不同维度上的坐标随时间
t
变化的平滑曲线:其中
a
k

j
为轨迹的多项式系数,在
V
can
中,
M
为候选视点总数,在步骤2中,视点
v
i
的观察方向
o
i
被初始化为
[0 0
ꢀ‑
1]
T
,对应的连续轨迹的末端切线方向
o
tang

i
被初始化为
[0 0 1]
T
,指针
n
i
为空,
c
i


;候选视点在粗模所处空间中以距离
r
为间隔均匀分布,因此候选视点在
X

、Y

、Z
轴上的数量分别为:的数量分别为:的数量分别为:其中
M
x
为候选视点在
X
轴上的数量,
M
y
为候选视点在
Y
轴上的数量,
M
z
为候选视点在
Z
轴上的数量,
x
min
为粗模所处空间在
X
轴上的最小值,
x
max
为粗模所处空间在
X
轴上的最大值,
y
min
为粗模所处空间在
Y
轴上的最小值,
y
max
为粗模所处空间在
Y
轴上的最大值,
z
min
为粗模所处空间在
Z
轴上的最小值,
z
max
为粗模所处空间在
Z
轴上的最大值
。3.
根据权利要求2所述的面向三维重建的多无人机路径规划方法,其特征在于,在步骤2中,视点
v
i
的位置
p
i
为:其中,其中,其中,其中,
n
x

i
为第
i
个候选视点
v
i

X
轴上的排序,
n
y

i
为第
i
个候选视点
v
i

Y
轴上的排序,
n
z

i
为第
i
个候选视点
v
i

Z
轴上的排序
。4.
根据权利要求3所述的面向三维重建的多无人机路径规划方法,其特征在于,所述步骤2中的重建度预测模型,具体如下:当前场景中已有轨迹上的所有视点
V
对粗模的第
k
个表面点
s
k
的重建度总贡献被表示
为:
h(s
k

V)
=2·
h
max
·
(0.5

(1+exp(k1·
h

))
‑1)
其中
h
max
为表面点重建度的最大值,
k1权重参数,
V
的具体表示如下:其中
v

i
为当前场景中已有轨迹上的第
i
个视点,
M

为当前场景中已有轨迹上的视点总数,
h

被设计为:其中
δ
(s
k

v

i
)
为表面点
s
k
对视点
v

i
的可见性函数,
δ
(s
k

v

j
)
为表面点
s
k
对视点
v

j
的可见性函数,当
s
k
不存在于
v

i
的视野当中时,
δ
(s
k

v

i
)
=0,否则
δ
(s
k

v

i
)
=1,
w(s
k

v

i

v

j
)
表示视点
v

i

v

j
对表面点
s
k
的重建度贡献,具体表示为:
w(s
k

v

i

v

j
)

w1(
α
)w2(
α
)w3(dm)cos(
θ
m
)
其中距离角度
θ
m

max(
θ
i

θ
j
)

θ
i

θ
j
分别表示向量与
s
k
的表面法线
n
k
之间的夹角,
α
表示与之间的夹角,
w1,
w2,
w3分别被表示为:
w1(
α
)

(1+exp(

k2·
(
α

α1)))
‑1,
w2(
α
)
=1‑
(1+exp(

k3·
(
α

α2)))
‑1,其中
k2,
k3,
α1和
α2均为参数,
d
max
表示视点能够观察的最远距离;当前场景中已有轨迹上的第
i
个视点对全场景表面点
S
的重建度贡献被表示为:其中
h0(s
k

V

v

i
)


j
=1,
...

i
‑1,
i+1

...

M

δ
(s
k

v

i
)
δ
(s
k

v

j
)w(s
k

v

i

v

j
)。5.
根据权利要求1所述的面向三维重建的多无人机路径规划方法,其特征在于,所述步骤3中的网格,具体表示如下:其中
g
i

j
为网格在
X
轴第
i
个,
Y
轴第
j
个格子,
G
x
为网格
G

X
轴上的格子总数,
G
y
为网格在
Y
轴上的格子总数,具体表示分别如下:其中
r0为网格的分割分辨率,
x
min
为粗模所处空间在
X
轴上的最小值,
x
max
为粗模所处空间在
X
轴上的最大值,
y
min
为粗模所处空间在
Y
轴上的最小值,
y
max
为粗模所处空间在
Y
轴上的
最大值;步骤3所述的每个网格附近区域所有表面点的重建度损失值总和,具体计算如下:其中表示在由表面点
S
组成的场景中,当场景中已有视点集
V
时,在以
g
i

j
为中心,半径为
r1的范围内的所有表面点的重建度损失值总和,
ρ1(g
i

j

s
k

r1)
为距离判断函数,当表面点
s
k

g
i

j
的水平距离大于
r1时,
ρ1(g
i

j

s
k

r1)
=0,否则
ρ1(g
i

j

s
k

r...

【专利技术属性】
技术研发人员:眭海刚张浩苟国华王轩昊邓洪星许贵林
申请(专利权)人:武汉大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1