一种无人机影像采集方法及系统、存储介质、电子设备技术方案

本发明专利技术公开了一种无人机影像采集方法及系统、存储介质、电子设备，属于图像处理领域，所述的无人机影像采集方法包括以下步骤，步骤1、分别对待融合的图像进行预处理；步骤2、提取图像的共有特征；步骤3、通过共有特征进行变换模型估计；步骤4、图像坐标转换；步骤5、对图像进行重构融合；利用卷积神经网络的优良表现在图像间提取适用于图像配准的共有特征，以克服像素灰度较大差异问题来获取图像间的高效配准信息，并通过制作特定图像训练数据集，利用监督学习的方式使得网络模型学习图像变换模型，进而解决配准自动化的难题，提升多源图像配准任务精准度及自动化性能。配准任务精准度及自动化性能。配准任务精准度及自动化性能。

【技术实现步骤摘要】
一种无人机影像采集方法及系统、存储介质、电子设备


[0001]本专利技术属于无人机图像处理领域，更具体的说涉及无人机影像采集方法及系统、存储介质、电子设备。

技术介绍

[0002]随着计算机科学和信息技术等相关领域的蓬勃发展，无人机被大量应用于日常生产生活场景中，在无人机易用性提高的同时，人们对多类型多频段图像的采集需求也与日俱增。通常在大部分应用场景中现有无人机成像系统设备能够获取满足日常需求的单频段图像，然而在部分特殊场景中，单一无人机捕获的场景信息表现出一定程度的局限性，己难以满足日常应用需求。随之多源图像融合技术应运而生，使得多源无人机成像系统完整地填补了单一无人机图像表达能力不足的空缺。如今多源无人机成像系统已经被广泛应用于军事及民用视频监控任务中，在场景检测与目标跟踪等领域中发挥着至关重要的作用。
[0003]红外与可见光图像融合是现代图像处理领域重要的图像增强技术，其旨在无人机获取的图像有效地结合起来，充分提取高亮红外信息和高分辨率可见光纹理信息，整合生成具有优质场景表达能力的融合图像。而图像配准作为图像融合不可或缺的前提条件，也是其重要的性能保障，图像配准的精准程度将直接影响图像融合的图像质量性能。

技术实现思路

[0004]本专利技术利用卷积神经网络的优良表现在图像间提取适用于图像配准的共有特征，以克服像素灰度较大差异问题来获取图像间的高效配准信息，并通过制作特定图像训练数据集，利用监督学习的方式使得网络模型学习图像变换模型，进而解决配准自动化的难题，最后实现基于卷积神经网络的红外与可见光图像配准模型，提升多源图像配准任务精准度及自动化性能。
[0005]为了实现上述目的，本专利技术是采用以下技术方案实现的：所述的采集方法为基于新型卷积神经网络结构的内容自适应单应性估计方法，单应性矩阵估计过程中通过学习图像掩膜来剔除离群区域，从而高效提取图像共有特征，从而高效克服图像成像差异以及成像质量的难题。同时利用卷积神经网络框架进行单应性变换矩阵的估计，实现高性能的全自动化配准，进一步提升图像配准效率；
[0006]所述的无人机影像采集方法包括以下步骤，
[0007]步骤1、分别对待融合的图像进行预处理；
[0008]步骤2、提取图像的共有特征；
[0009]步骤3、通过共有特征进行变换模型估计；
[0010]步骤4、图像坐标转换；
[0011]步骤5、对图像进行重构融合。
[0012]进一步地，所述的步骤1、分别对待融合的图像进行预处理；图像预处理包括图像配准处理；
[0013]通过特征信息加权计算得到高效共有特征图谱Gr和Gv，随后通过通道级联处理，获得源图像对的共有特征容器Gr,v，紧接着传输到后续的单应性矩阵估计模块中，进行神经网络回归运算，计算对应网络损失值从而进行网络后向传播更新网络参数；
[0014]通过掩模对深度特征提取模块提取的特征图进行系数加权，然后将其输入到后续的变换矩阵估计当中，得到两个加权的特征图Gr和Gv,其计算公式如下：
[0015]G
i
＝f
i
×
M
i
(i＝r,v)(1)
[0016]其中、f
i
(i＝r,v),M
i
(i＝r,v)分别代表深度特征提取模块提取的红外与可见光图像特征图谱，以及加权掩模。
[0017]进一步地，所述的步骤2、提取图像的共有特征；利用深度特征提取模块进行图像共有特征提取，共有特征提取方法如下：
[0018][0019]其中代表深度特征提取模块第二个卷积层所提取到的特征图谱，另外表示第d个RDN模块特征映射图谱。
[0020]进一步地，所述的步骤3通过共有特征进行变换模型估计，利用单应性矩阵估计模块进行变换模型估计，首先将已计算的加权特征图Gr和Gv执行通道级联，构建大小为H
×
W
×
2C的特征图谱容器[Gr,Gv]，然后将其输入单应性估计器网络中，生成四组二维偏移矢量(共8维向量)，利用此四组偏移矢量通过求解线性方程组可以直接得到自由度为8的单应性矩阵H，用heb(
·
)表示整个单应性估计过程，计算公式如下
[0021]H＝heb([G
r
,G
v
])
ꢀꢀ
(3)
[0022]单应性矩阵估计模块中采用ResNet34作为主干网络结构，其中包含34层卷积，紧接着设置自适应池化层，该模块只需要较少维度的输入特征，就能够产生固定大小的特征矩阵。
[0023]进一步地，所述的步骤4图像坐标转换；因网络回归中图像坐标点经过单应性矩阵映射后变换成为另一坐标点，图像变换的核心内容即为坐标变换，设计出新的网络回归参数模型，将网络训练数据中得到的变换矩阵通过对应点对计算其坐标差得到偏移向量，使用对应矩形框中4个角点的偏移向量可以等效表示为变换的单应性矩阵；首先利用单应性矩阵Hvr估计，将图像Iv变形为Iv
′
，通过特征提取模块FEB提取其特征图Fv
′
；若单应性矩阵Hvr求取过程足够精确，Fv
′
应该与Fr较好地对齐，从而使两者间的l1损失较低；同时还将Mv
′
和Mr进行l1损失归一化处理，便于后期损失函数计算；为此变形后的Iv
′
和Ir
′
间损失计算如下
[0024][0025]公式中、I
v
′
＝Warp(I
v
,H
vr
),F
v
′
＝FEB(I
v
′
),i表示掩模和特征图中的像素位置，采用空间变换网络来实现Warp操作；
[0026]在网络训练中损失函数直接最小化等式(4)易产生平凡解，其特征提取器FEB产生
所有映射均为0，即Fv
′
＝Fr＝0；在此种情况下，学习到有效特征确实描述了Iv
′
和Ir较好对齐的事实，但其不能反映原始图像Iv和Ir对齐的真实情况；为此需要进一步考虑Fv和Fr间的损失，在最小化等式(4)的同时进一步最大化其损失；该损失计算策略避免繁琐的解决方案，使网络能自动学习到图像配准的有效特征
[0027]L(I
v
,I
r
)＝|F
v
‑
F
r
|
ꢀꢀ
(5)
[0028]其中Fv,Fr特征提取器FEB产生的红外与可见光图像的深度特征图谱；
[0029]还交换Iv和Ir所提取到的特征，生成另一个单应性矩阵Hrv，在计算等式34后，损失函数还涉及到变形后的Ir
′
和Iv之间的损失
[0030]Lnal(Ir
′
,Iv)，同时本章设计的策略还添加了强制Hvr和Hrv是互为可逆的约本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机影像采集方法，该方法对无人机红外相机和可见光相机采集到的图像进行融合，其特征在于：所述的采集方法为基于新型卷积神经网络结构的内容自适应单应性估计方法，单应性矩阵估计过程中通过学习图像掩膜来剔除离群区域，从而高效提取图像共有特征，从而高效克服图像成像差异以及成像质量的难题。同时利用卷积神经网络框架进行单应性变换矩阵的估计，实现高性能的全自动化配准，进一步提升图像配准效率；所述的无人机影像采集方法包括以下步骤，步骤1、分别对待融合的图像进行预处理；步骤2、提取图像的共有特征；步骤3、通过共有特征进行变换模型估计；步骤4、图像坐标转换；步骤5、对图像进行重构融合。2.根据权利要求1所述的一种无人机影像采集方法，其特征在于：所述的步骤1、分别对待融合的图像进行预处理；图像预处理包括图像配准处理；通过特征信息加权计算得到高效共有特征图谱Gr和Gv，随后通过通道级联处理，获得源图像对的共有特征容器Gr,v，紧接着传输到后续的单应性矩阵估计模块中，进行神经网络回归运算，计算对应网络损失值从而进行网络后向传播更新网络参数；通过掩模对深度特征提取模块提取的特征图进行系数加权，然后将其输入到后续的变换矩阵估计当中，得到两个加权的特征图Gr和Gv,其计算公式如下：G
i
＝f
i
×
M
i
(i＝r,v)
ꢀꢀꢀꢀ
(1)其中、f
i
(i＝r,v),M
i
(i＝r,v)分别代表深度特征提取模块提取的红外与可见光图像特征图谱，以及加权掩模。3.根据权利要求1所述的一种无人机影像采集方法，其特征在于：所述的步骤2、提取图像的共有特征；利用深度特征提取模块进行图像共有特征提取，共有特征提取方法如下：其中代表深度特征提取模块第二个卷积层所提取到的特征图谱，另外表示第d个RDN模块特征映射图谱。4.根据权利要求1所述的一种无人机影像采集方法，其特征在于：所述的步骤3通过共有特征进行变换模型估计，利用单应性矩阵估计模块进行变换模型估计，首先将已计算的加权特征图Gr和Gv执行通道级联，构建大小为H
×
W
×
2C的特征图谱容器[Gr,Gv]，然后将其输入单应性估计器网络中，生成四组二维偏移矢量(共8维向量)，利用此四组偏移矢量通过求解线性方程组可以直接得到自由度为8的单应性矩阵H，用heb(
·
)表示整个单应性估计过程，计算公式如下H＝heb([G
r
,G
v
])
ꢀꢀꢀꢀꢀꢀꢀ
(3)单应性矩阵估计模块中采用ResNet34作为主干网络结构，其中包含34层卷积，紧接着设置自适应池化层，该模块只需要较少维度的输入特征，就能够产生固定大小的特征矩阵。5.根据权利要求1所述的一种无人机影像采集方法，其特征在于：所述的步骤4图像坐
标转换；因网络回归中图像坐标点经过单应性矩阵映射后变换成为另一坐标点，图像变换的核心内容即为坐标变换，设计出新的网络回归参数模型，将网络训练数据中得到的变换矩阵通过对应点对计算其坐标差得到偏移向量，使用对应矩形框中4个角点的偏移向量可以等效表示为变换的单应性矩阵；首先利用单应性矩阵Hvr估计，将图像Iv变形为Iv
′
，通过特征提取模块FEB提取其特征图Fv
′

【专利技术属性】
技术研发人员：杨航，轩永波，王骁飞，吴碧，罗珺，
申请(专利权)人：中国人民解放军九三二三六部队，
类型：发明
国别省市：