一种无人机遥感多光谱图像拼接方法、设备及介质技术

本发明专利技术实施例公开了一种无人机遥感多光谱图像拼接方法、设备及介质，所述方法包括：获取N帧单波段图像并进行波段配准校正以得到N帧多光谱图像，其中，每帧单波段图像包含M个波段的源图像；分别对所述N张多光谱图像进行波段融合得到N张灰度图像，基于所述N张灰度图像进行拼接以获得N个局部单应性矩阵集合；通过第n个局部单应性矩阵集合D

【技术实现步骤摘要】
一种无人机遥感多光谱图像拼接方法、设备及介质


[0001]本专利技术涉及图像处理领域。更具体地，涉及一种无人机遥感多光谱图像拼接方法、设备及介质。

技术介绍

[0002]随着光谱成像技术的不断发展，配备更加轻便的光谱成像仪的无人机已经广泛地应用于地理遥感、农业遥感等方面。由于无人机飞行高度较低，每次采集的图像覆盖面积有限，为了获取整个场景更全面的信息，需要将多个图像拼接在一起，获得更大视角的全景图像。但是现有的拼接方法更多地针对全色图像或RGB图像，针对多光谱图像的拼接方法较少；而且在拼接过程中会存在扭曲和变形的情况，由于拼接图像数量较多，图像质量参差不齐使得目前大多数算法难以得到高效正确的拼接结果。

技术实现思路

[0003]本专利技术的目的在于提供一种无人机遥感多光谱图像拼接方法、设备及介质，以解决现有技术存在的问题中的至少一个。
[0004]为达到上述目的，本专利技术采用下述技术方案：
[0005]本专利技术第一方面提供了一种无人机遥感多光谱图像拼接方法，包括：
[0006]S10：获取N帧单波段图像并进行波段配准校正以得到N帧多光谱图像，其中，每帧单波段图像包含M个波段的源图像，其中，
[0007]N和M为正整数；
[0008]S20：分别对所述N张多光谱图像进行波段融合得到N张灰度图像，基于所述N张灰度图像进行拼接以获得N个局部单应性矩阵集合；
[0009]S30：通过第n个局部单应性矩阵集合D
n
分别对第n张单波段图像的第m波段的灰度图像进行图像配准，将配准后的相同波段图像进行拼接以获得M个单波段拼接图像，对所述M个单波段拼接图像进行融合处理，得到初步拼接图像，其中，
[0010]n＝1、2、
……
、N；m＝1、2、
……
、M；
[0011]S40：对所述初步拼接图像中存在的线段结构进行检验与矫正得到最终拼接结果。
[0012]进一步地，所述S10包括：
[0013]S101：通过无人机多光谱照相机沿特定路线获取视频，所述视频包括N帧单波段图像，每帧单波段图像包含M个波段的源图像；
[0014]S102：利用SIFT算法分别对所述N帧单波段图像进行波段配准校正：通过不同尺寸的高斯核函数与当前单波段图像进行卷积，在不同的层级中对卷积之后的结果进行图像缩小以得到尺度空间，并在尺度空间中对源矩阵和网矩阵进行极值检测以得到特征点，同时移除特征点集中的边缘响应点，为关键点分配方向值；
[0015]根据所述方向值生成特征点描述子，对特征点进行匹配得到匹配点；
[0016]利用匹配点计算变换矩阵对当前单波段图像的M个波段的源图像进行图像变换和
差值，得到波段配准后的多光谱图像并对M个波段的源图像进行更新。
[0017]进一步地，所述特征描述子包括特征点所在的尺度、位置以及方向。
[0018]进一步地，所述S20包括：
[0019]S201：分别对所述N张多光谱图像进行波段融合得到N张灰度图像；
[0020]S202：分别对所述N张灰度图像进行单波段配准；
[0021]S203：采用逼近投影变换算法进行所述N张灰度图像的拼接以得出对应的N个局部变换矩阵集合。
[0022]进一步地，所述S203包括：
[0023]S2031：分别对所述N张灰度图像进行特征提取和匹配得到预变换矩阵；
[0024]S2032：对灰度图像进行分块将图像均匀地划分成一个个小的网格，移动直线线性变换算法通过计算当前网格内的匹配点与网格中心的距离加权平方和误差来得到所述局部单应性变换矩阵集合D
n
，其中，
[0025]K为当前灰度图像中的网格总数；
[0026]S2033：利用所述局部单应性变换矩阵集合对所述灰度图像进行变换，将变换后的图像与参考图像利用加权平均融合法进行图像融合与拼接。
[0027]进一步地，第n张灰度图像的第k个网格的局部单应性矩阵的计算公式如式(1)所示，通过求解最小特征值对应的特征向量来估计局部变换矩阵的值:
[0028][0029]其中，a
i
为匹配点之间的线性映射函数，l为匹配点对数；d为匹配点与网格中心的距离，为特征点所对应的权重，W
k
为权重对应的对角矩阵，A为映射函数对应的映射矩阵形式，其中，
[0030][0031][0032]其中，x
k
和y
k
是第k个网格的中心点坐标，和是第k个网格内第i个匹配点的坐标，σ为高斯尺度因子，其范围在(0,1)之间。
[0033]进一步地，所述S40包括：
[0034]S401：进行线段结构的检测与提取，提取所述初步拼接图像中的线支撑区域，并通过所述线支撑区域得到线段特征，其中，
[0035]所述线支撑区域由有线段存在的像素区域组成；
[0036]S402：进行线段校正：利用最小二乘法在矩形区域拟合出一条线段，将所述线段的交点作为特征点，将其与矩形区域中心点的位置关系进行排序，根据变换后的特征点与原来的特征点之间的对应关系计算透视变换矩阵，将待校正的区域内所有的点进行映射，完成线段校正。
[0037]进一步地，所述S401包括：
[0038]S4011：利用每个像素点右下方的四个像素来计算该像素点对应的梯度以得到线段边缘的位置，像素点沿着x方向和y方向的梯度h
x
(x,y)和h
y
(x,y)计算公式如式(4)和式(5)所示：
[0039][0040][0041]其中h(x，y)表示坐标为(x，y)的像素点对应的灰度值；
[0042]梯度大小H(x,y)和方向θ(x,y)的计算公式如式(6)所示：
[0043][0044]其中，h
x
(x,y)和h
y
(x,y)分别是像素点沿着x方向和y方向的梯度；
[0045]S4012：进行梯度伪排序：将梯度值从大到小进行1024等分，在每个分段中取出一个种子像素用来进行排序；
[0046]计算出由像素点构成的候选矩形区域的方向，通过比较候选像素点和候选矩形区域的方向判断该像素点是否属于矩形区域中，完成矩形区域划分；
[0047]S4013：进行矩形区域的近似计算：计算线段对应的近似矩形区域，所述矩形区域的尺寸覆盖整个线支撑区域，每个矩形区域代表一条候选线段；
[0048]矩形区域的中心点c
x
计算公式如式(7)所示：
[0049][0050]其中(c
x
,c
y
)表示中心点的坐标，Region表示当前区域，G(j)表示区域内的像素点j的梯度值，下标j用于遍历区域内所有的像素点，x(j)和y(j)分别表示像素点j的横坐标和纵坐标；
[0051]S4014：对矩形区域进行改进，筛选出正本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机遥感多光谱图像拼接方法，其特征在于，包括：S10：获取N帧单波段图像并进行波段配准校正以得到N帧多光谱图像，其中，每帧单波段图像包含M个波段的源图像，其中，N和M为正整数；S20：分别对所述N张多光谱图像进行波段融合得到N张灰度图像，基于所述N张灰度图像进行拼接以获得N个局部单应性矩阵集合；S30：通过第n个局部单应性矩阵集合D
n
分别对第n张单波段图像的第m波段的灰度图像进行图像配准，将配准后的相同波段图像进行拼接以获得M个单波段拼接结果，对所述M个单波段拼接结果进行融合处理，得到初步拼接图像，其中，n＝1、2、
……
、N；m＝1、2、
……
、M；S40：对所述初步拼接图像中存在的线段结构进行检验与矫正得到最终拼接结果。2.根据权利要求1所述的方法，其特征在于，所述S10包括：S101：通过无人机多光谱照相机沿特定路线获取视频，所述视频包括N帧单波段图像，每帧单波段图像包含M个波段的源图像；S102：利用SIFT算法分别对所述N帧单波段图像进行波段配准校正：通过不同尺寸的高斯核函数与当前单波段图像进行卷积，在不同的层级中对卷积之后的结果进行图像缩小以得到尺度空间，并在尺度空间中对源矩阵和网矩阵进行极值检测以得到特征点，同时移除特征点集中的边缘响应点，为关键点分配方向值；根据所述方向值生成特征点描述子，对特征点进行匹配得到匹配点；利用匹配点计算变换矩阵对当前单波段图像的M个波段的源图像进行图像变换和差值，得到波段配准后的多光谱图像并对M个波段的源图像进行更新。3.根据权利要求2所述的方法，其特征在于，所述特征描述子包括特征点所在的尺度、位置以及方向。4.根据权利要求1所述的方法，其特征在于，所述S20包括：S201：分别对所述N张多光谱图像进行波段融合得到N张灰度图像；S202：分别对所述N张灰度图像进行单波段配准；S203：采用逼近投影变换算法进行所述N张灰度图像的拼接以得出对应的N个局部变换矩阵集合。5.根据权利要求4所述的方法，其特征在于，所述S203包括：S2031：分别对所述N张灰度图像进行特征提取和匹配得到预变换矩阵；S2032：对灰度图像进行分块将图像均匀地划分成一个个小的网格，移动直线线性变换算法通过计算当前网格内的匹配点与网格中心的距离加权平方和误差来得到所述局部单应性变换矩阵集合D
n
，其中，K为当前灰度图像中的网格总数；S2033：利用所述局部单应性变换矩阵集合对所述灰度图像进行变换，将变换后的图像
与参考图像利用加权平均融合法进行图像融合与拼接。6.根据权利要求5所述的方法，其特征在于，第n张灰度图像的第k个网格的局部单应性矩阵的计算公式如式(1)所示，通过求解最小特征值对应的特征向量来估计局部变换矩阵的值：其中，a
i
为匹配点之间的线性映射函数，l为匹配点对数；d为匹配点与网格中心的距离，为特征点所对应的权重，W
k
为权重对应的对角矩阵，A为映射函数对应的映射矩阵形式，其中，其中，其中，x
k
和y
k

【专利技术属性】
技术研发人员：刘博，孟庆民，张雅南，王铁，高有，
申请(专利权)人：北京瀚景锦河科技有限公司，
类型：发明
国别省市：