一种基于POS校正的图像拼接方法技术

本发明专利技术公开了一种基于POS校正的图像拼接方法，涉及图像处理领域。该方法首先进行特征点提取与匹配，依据特征点对的几何关系计算待配准图像的旋转和平移分量，累加到全景画布并对待配准图像做刚性变换；然后利用严格几何成像模型求解图像中心点的地理坐标，并记录其在全景画布上的行列号；最后利用航线各图像中心点的地理坐标通过滤波去除噪声点，均匀选取控制点构建GIS地图。本发明专利技术能够极大提升拼接速度，同时消除因基准图像选取的随机性而造成的系统性整体偏差。系统性整体偏差。系统性整体偏差。

【技术实现步骤摘要】
一种基于POS校正的图像拼接方法


[0001]本专利技术涉及图像处理领域，特别是指一种基于POS校正的图像拼接方法，可用于面向无人机视频的图像拼接和GIS地图生成。

技术介绍

[0002]目前图像拼接算法主要有以下三类，虽然在应用场景上各有特色，但均存在某些不足。
[0003]1、基于特征的图像拼接方法，主要包含特征提取、特征描述和匹配、RANSAC剔除误匹配、几何变换与图像融合几个步骤。该方法适用于图像序列较短的情况，但对于长时序的图像序列会出现明显的误差累积效应，且拼接效率较低；对图像场景有要求，严重依赖图像特征点数量，对于稀疏特征点或无特征点区域，拼接过程易中断；图像拼接结果不包含地理坐标信息。
[0004]2、基于POS数据的图像拼接方法，该方法利用无人机自带的POS系统获取经纬高和三姿数据，基于共线条件方程求解每个像素对应的地理坐标，然后基于地理位置拼接图像。但由于POS数据精度较低，该方法获取的全景图中相邻图像存在明显的错位现象，误差较大。
[0005]3、也有部分研究工作将两者有机结合起来，先基于POS数据校正原始图像获取正射影像，然后通过特征提取和匹配来求解基准图像和待配准图像的几何投影变换关系，最后通过坐标微调的方式对正射影像重新校正后再基于地理位置拼接图像。该方法存在两个主要问题：(1)作为基准的正射影像本身存在的误差具备随机性，坐标微调消除了相邻影像间的相对误差，但存在来自基准图像的系统性整体偏差；(2)待配准图像前后经过两次几何校正处理，大大增加了资源占用率，拼接速度慢。

技术实现思路

[0006]本专利技术的目的在于避免上述背景方法中存在的问题而提供一种基于POS校正的图像拼接方法。本专利技术具有稳健性高、拼接速度快、误差小的特点。
[0007]本专利技术所采用的技术方案是：
[0008]一种基于POS校正的图像拼接方法，包括以下步骤：
[0009](1)特征点提取与匹配，依据提纯后特征点对的几何关系计算待配准图像的旋转和平移分量，并将其累加到全景画布，然后对待配准图像做刚性变换；
[0010](2)利用严格几何成像模型求解图像中心点的地理坐标，并记录其在全景画布上的行列号；
[0011](3)针对航线各图像中心点的地理坐标，通过Savitzky
‑
Golay滤波去除噪声点，然后均匀选取控制点构建GIS地图。
[0012]进一步的，步骤(1)的具体方式为：
[0013](101)选取具有帧间距的两帧图像作为基准图像和待配准图像，分别记为I1和I2，
图像的宽和高分别记为W和H；
[0014](102)采用GPU加速提取I1和I2的SURF特征点，并计算特征描述向量；
[0015](103)利用基于图割优化的RANSAC算法精提纯特征点匹配对，剔除误匹配；
[0016](104)正常场景下，当提纯后的特征点对数量满足阈值T时，基于特征点对求解I2到I1的旋转和平移分量：
[0017]I1和I2提纯后的特征点对分别记为P
i(i＝1，2，3...，n)
和P
j(j＝1，2，3...，n)
,从中分别遍历选取两点记为P
i1
和P
i2
、P
j1
和P
j2
，选取组合有种，形成的矢量记为和则待配准图像I2到基准图像I1的旋转角度分量θ和平移分量Δx，Δy为：
[0018][0019][0020][0021][0022][0023][0024][0025]其中，点x表示取x坐标，点y表示取y坐标；
[0026](105)在稀疏特征点或无特征点区域的特殊场景下，当提纯后的特征点对数量不满足阈值T时，基于地理坐标求解I2到I1的旋转和平移分量：
[0027]利用严格几何成像模型分别求解I1和I2四个顶点的地理坐标：P
L1
、P
L2
、P
L3
、P L4
和P
R1
、P
R2
、P
R3
、P
R4
，I1和I2的图像中心点地理坐标为P
L
和P
R
，进而利用I1和I2的位置关系，以I1为基准求解I2在全景画布上的位置分布；
[0028]地理坐标到图像行列号坐标的转化系数s为：
[0029][0030]待配准图像I2到基准图像I1的旋转角度分量θ和平移分量Δx，Δy为：
[0031][0032][0033][0034][0035][0036][0037][0038]其中，点lon表示取经度，点lat表示取纬度。
[0039]进一步的，步骤(2)的具体方式为：
[0040](201)利用无人机采集的POS数据作为成像时刻传感器的外方位元素，相机定标参数和焦距作为内方位元素；所述POS数据包括经纬高、航向角、俯仰角和滚转角；
[0041](202)根据经纬度从30m分辨率的AW3D DEM产品数据中提取高程值，用海拔高减去地面高程值得到距地高H；
[0042](203)根据严格几何成像模型求解图像四个顶点所对应地面点在地面直角坐标系中的地理坐标，图像中心点的地理坐标由四个顶点坐标线性插值求解，其在全景画布上的行列号由前期各帧待配准图像I2到初始基准图像的平移分量Δx，Δy累加求解得到。
[0043]进一步的，步骤(3)的具体方式为：
[0044](301)选取Savitzky
‑
Golay滤波前后图像中心点地理坐标P
i，i＝1，2，...，N
(lon，lat)变化小于阈值的像素加入候选点集合，其中，lon为经度，lat为纬度；
[0045](302)依据位置分布均匀选取候选点集合内的4个点作为控制点参与几何校正，从而构建出带地理坐标信息的GIS全景地图。
[0046]本专利技术相比现有技术具有如下有益效果：
[0047]1、本专利技术可以获取具有地理坐标的拼接图，且能够适应复杂场景、对图像场景无特殊要求，可用于稀疏特征点或无特征点区域的图像拼接而不发生中断。
[0048]2、本专利技术无需对图像进行几何校正，对每帧图像只需利用数学公式计算少数几个点的坐标即可，节省重采样花费的大量时间。
[0049]3、本专利技术依据位置分布均匀选取Savitzky
‑
Golay滤波拟合曲线附近小范围内的像素点作为控制点，来自POS系统的精度误差经过削减后又被长时序的图像序列分摊，地理定位误差大大减小。
附图说明
[0050]图1是本专利技术实施例方法的流程图。
[0051]图2是基于特征点匹配对求解I2到I1的旋转和平移分量示意图。
[0052]图3是严格几何成像模型示意图。
[0053]图4是基于地理坐标求解I2到I1的旋转和平移分量示意图。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于POS校正的图像拼接方法，其特征在于，包括以下步骤：(1)特征点提取与匹配，依据提纯后特征点对的几何关系计算待配准图像的旋转和平移分量，并将其累加到全景画布，然后对待配准图像做刚性变换；(2)利用严格几何成像模型求解图像中心点的地理坐标，并记录其在全景画布上的行列号；(3)针对航线各图像中心点的地理坐标，通过Savitzky
‑
Golay滤波去除噪声点，然后均匀选取控制点构建GIS地图。2.根据权利要求1所述的一种基于POS校正的图像拼接方法，其特征在于，步骤(1)的具体方式为：(101)选取具有帧间距的两帧图像作为基准图像和待配准图像，分别记为I1和I2，图像的宽和高分别记为W和H；(102)采用GPU加速提取I1和I2的SURF特征点，并计算特征描述向量；(103)利用基于图割优化的RANSAC算法精提纯特征点匹配对，剔除误匹配；(104)正常场景下，当提纯后的特征点对数量满足阈值T时，基于特征点对求解I2到I1的旋转和平移分量：I1和I2提纯后的特征点对分别记为P
i(i＝1，2，3...，n)
和P
j(j＝1，2，3...，n)
,从中分别遍历选取两点记为P
i1
和P
i2
、P
j1
和P
j2
，形成的矢量记为和则待配准图像I2到基准图像I1的旋转角度分量θ和平移分量Δx，Δy为：度分量θ和平移分量Δx，Δy为：度分量θ和平移分量Δx，Δy为：度分量θ和平移分量Δx，Δy为：度分量θ和平移分量Δx，Δy为：度分量θ和平移分量Δx，Δy为：度分量θ和平移分量Δx，Δy为：其中，点x表示取x坐标，点y表示取y坐标；(105)在稀疏特征点或无特征点区域的特殊场景下，当提纯后的特征点对数量不满足阈值T时，基于地理坐标求解I2到I1的旋转和平移分量：利用严格几何成像模型分别求解I1和I2四个顶点的地理坐标：P
L1
、P
L2
、P
L3

【专利技术属性】
技术研发人员：耿虎军，熊恒斌，胡炎，高峰，闫玉巧，仇梓峰，杨福琛，张泽勇，李方用，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：