代价计算动态规划的航空影像DSM匹配法制造技术

本发明专利技术采用互信息驱动的代价计算动态匹配法对航空影像匹配生成DSM，一是提出了代价计算动态影像匹配法，设计了动态匹配算法的实现流程和匹配代价函数，并对得到的视差结果进行遮挡检测和遮挡填充，进而进行精度分析，进一步验证最佳匹配代价的计算方法和最佳匹配参数；二是在航空影像的基础上，对生成的核线航空影像进行互信息驱动的匹配代价计算，动态匹配得到视差图和密集匹配得到视差图，进行前方交会获取DSM,实验分析得到以下结论：以动态匹配方法为核心的航空影像处理流程获取的DSM有相当高的精度，而且远远超过通过现有技术密集匹配得到DSM，是传统的密集点云的6倍，匹配精度和实时性大幅提高。精度和实时性大幅提高。精度和实时性大幅提高。

【技术实现步骤摘要】
代价计算动态规划的航空影像DSM匹配法


[0001]本专利技术涉及一种航空遥感影像DSM匹配法，特别涉及一种代价计算动态规划的航空影像DSM匹配法，属于航空遥感影像匹配


技术介绍

[0002]由于传统的二维空间数据在应用中的局限性，如不能表示物体的位置、姿态、形状等，已不能满足客观应用需求,人们对三维表达的需求越来越急切，客观世界三维表达受到越来越多的重视,成为数字图像处理、计算机视觉、数字摄影测量等领域的热点。
[0003]三维重构在各个领域有广泛的应用,三维重构过程中解决信息丢失是目前面临的主要的问题。丢失的信息主要包括两种情况：一是把三维场景转化为二维图像过程中，由于前面的场景遮挡了后面的场景而产生的信息丢失；二是在获取二维图像过程中，场景中的连续点被表示为图像中离散的像素点产生的信息丢失，噪声等因素也对三维重构过程产生一定干扰。
[0004]数字表面模型(DSM)指物体表面形态以数字表达的集合,是地表及其自然,人工地物空间信息的统一体。摄影测量与激光扫描是获取DSM的两种基本方法。但由于激光扫描系统价格昂贵，短时间内很难得到大范围普及。因此，在生产中用摄影测量法获取DSM仍是最主要的方法，摄影测量的优势在于能够获取更丰富的建筑物边缘信息。摄影测量中,DSM提取的关键为通过自动影像匹配找寻立体像对中的同名像点。
[0005]数字摄影测量是以影像匹配取代传统的人工观测，达到自动确定同名像点的目的，影像匹配的质量决定数字摄影测量数据在后续处理过程中的精度，匹配自动化程度是提高数字近景摄影测量效率的关键。三维匹配就是从不同视点获取场景中两幅或多幅影像中找寻匹配基元之间关系的过程，三维匹配因受到辐射差异、遮挡断裂、纹理重复及弱纹理等因素的影响，一直是摄影测量领域中的难题。
[0006]根据匹配像元的不同可以将现有技术的影像匹配划分为基于特征的匹配、基于区域的匹配、基于相位的匹配。基于特征的匹配通过找寻影像间显著特征点的过程构建影像特征之间的对应关系,但只能获取难以满足建模要求的稀疏的三维点云。三维匹配算法的不确定性以及复杂性，且对噪声和光照等的敏感程度，决定了大多数三维匹配算法一定程度上依赖许多特定的假设以及一些约束条件和特定的应用环境。
[0007]局部匹配算法是以窗口内所有像素点的视差连续性约束为前提,用匹配点和待匹配点本身以及其邻近局部区域的灰度信息来计算相关度。相关窗口大小的影响局部算法的结果,窗口太大将导致跨越区域深度不连续,造成目标边界出现过度平滑现象，窗口太小，包含的纹理信息单一,容易产生歧义性造成误匹配。全局优化算法在一致性约束的基础上，提高了算法的正确率，且保证了算法的稳定性，但方法对象一般针对低分辨率影像,计算复杂度较低，当面临计算复杂度较高的高分辨率影像时，存在较大的局限性了。
[0008]密集影像匹配在左右核线图像区域进行逐点匹配取得了较好的进展，获取高精度的地表三维坐标信息成为密集匹配的主要方向。目前,许多经典的密集影像匹配算法已应
用到数字摄影测量系统中，提供地表的三维坐标信息，但现有技术的密集影像匹配算法和自动生成地球表面模型/数字高程模型的数字摄影测量系统还不能实现完全的自动化，因此研发实现自动生成高精度地球表面模型/数字高程模型的密集匹配方法非常重要，数字摄影测量中现有技术较为优秀的三维匹配方法有：基于灰度的匹配(局部匹配法)、基于特征点的匹配(SIFT算子提取特征点)、最小二乘匹配、桥式跨接匹配等，但这些方法或依赖于区域窗口内的灰度变化，会因遮挡等原因出现不可检测的错误匹配，或只能得到较少的匹配点，不能获取场景或物体表面完整的点云。
[0009]当前，计算机视觉领域出现了对动态规划、置信度传播和图割等一些加入了整体一致性约束的密集匹配算法，这些方法在找寻全局能量函数最优的过程中得到最佳视差，但这些方法大多数仅适用于影像畸变较小的短基线影像匹配,在处理大幅航空遥感影像和卫星影像的中难以得到较好的效果。
[0010]当前三维匹配技术快速发展，但其仍然存在许多不足之处。三维匹配算法由于其针对性的特征，从二维图像中恢复丢失的三维信息，获得高精度的视场图像依然十分困难。局部算法利用匹配点和待匹配本身及其邻近的局部区域的灰度信息来计算视差，而全局算法利用影像的全部信息，把匹配转化为求解能量函数的全局最优化过程。局部算法的运算效率较高，但匹配结果易受到噪声的干扰，全局算法的效果比局部算法的好，但计算所耗费的时间很大。因此本专利技术提出基于不同匹配代价计算的航空遥感影像DSM的匹配法,在效率、速度有较大的提升，影像的重复区域和断裂区域都有较好的效果,能够降低这些区域的误匹配率,具有十分重要的应用价值。
[0011]综合来看，现有技术的航空影像DSM匹配存在不足，本专利技术的难点和待解决的问题主要集中在以下方面：
[0012]第一，传统的二维空间数据不能表示物体的位置、姿态、形状等，在应用中的局限性已不能满足客观应用需求,当前对三维表达的需求越来越急切，三维重构过程中现有技术无法解决信息丢失问题，该问题包括两种情况：一是把三维场景转化为二维图像过程中，前面的场景遮挡了后面的场景而产生的信息丢失；二是在获取二维图像过程中，场景中的连续点被表示为图像中离散的像素点产生信息丢失，噪声等因素也对三维重构过程产生干扰，现有技术没有很好的解决办法；
[0013]第二，摄影测量与激光扫描是现有技术获取DSM的两种基本方法，但激光扫描系统价格昂贵，短时间内很难大范围普及，生产中摄影测量法获取DSM是最主要的方法，DSM提取过程中通过自动影像匹配找寻立体像对中的同名像点存在很大难度，整体效果不好，现有技术的密集影像匹配和自动生成地球表面模型的数字摄影测量系统不能实现自动化，现有技术或依赖于区域窗口内的灰度变化，会因遮挡等原因出现不可检测的错误匹配，或只能得到较少的匹配点，不能获取场景或物体表面完整的点云，算法复杂度高，耗费时间长，精度和实时性也无法满足要求；
[0014]第三，现有技术对动态规划、置信度传播和图割等加入了整体一致性约束的密集匹配算法，大多数仅适用于影像畸变较小的短基线影像匹配,在处理大幅航空遥感影像和卫星影像的中难以得到较好的效果，获得高精度视场图像依然十分困难，现有技术局部算法运算效率较高，但匹配结果易受到噪声的干扰，全局算法所耗费的时间很大，三维匹配因受到辐射差异、遮挡断裂、纹理重复及弱纹理等因素的影响，精度和实时性较差，基于特征
的匹配通只能获取难以满足建模要求的稀疏的三维点云，三维匹配算法的不确定性以及复杂性，且对噪声和光照等的敏感程度，使三维匹配算法依赖许多特定假设及约束条件和特定的应用环境，无法直接运用于航空影像DSM匹配；
[0015]第四，通过不同位置对同一场景拍摄的两幅影像找出匹配的同名像点进行三维重构是摄影测量与计算机视觉的热点和难点，这其中的关键是选取同名像点，现有技术的三维匹配的局部匹配算法通过小范围的图像计算最优视差，容易导致不同区域的视差不连续，而全局匹配算法在全局能量函数最小的情况下计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.代价计算动态规划的航空影像DSM匹配法，其特征在于，包括代价计算动态匹配法和航空影像DSM匹配，代价计算动态匹配法包括三维匹配的基本流程和基于不同匹配代价的动态匹配，基于不同匹配代价的动态匹配已知核线关系，即处理影像需要已知相对定向元素在匹配运算时动态的计算核线信息，包括：互信息驱动的匹配代价动态计算、匹配代价的动态聚合、视差动态计算、视差一致性检测、遮挡检测处理、遮挡填充过滤；代价计算动态匹配法以较低的计算复杂度完成高精度视差的计算，基于局部逐点匹配代价计算，在待匹配像素多个方向上进行动态规划，以一维平滑模拟二维平滑约束来找寻其最佳匹配点，获得的匹配效果在精度和实时性上都有比较可靠的保证；本发明通过一致性检测和遮挡检测，解析参数对匹配的影响，以及不同匹配代价的计算对匹配的影响，并进行匹配精度的分析，本发明的代价计算动态规划的航空影像匹配方法，首先对航空影像进行核线重排得到核线图像，然后利用互信息驱动的代价计算动态规划对核线图像进行匹配得到视差图，最后通过视差图计算出数字表面模型DSM；利用动态匹配对航空影像处理生成DSM的流程为：第一步，生成原始三维影像对；第二步，进行核线重采样；第三步，通过核线影像进行代价计算动态规划三维匹配；第四步，将第三步的结果通过视差图与第二步的结果进行前方交会；第五步，通过前方交会生成DSM。2.根据权利要求1所述的代价计算动态规划的航空影像DSM匹配法，其特征在于，互信息驱动的匹配代价动态计算：设参考图像J
e
上像素w点的灰度值为J
ew
，待匹配图像J
n
上对应像点k＝b
en
(w,a)的灰度值为J
nk
，其中函数b
en
(w,a)表示像素w和k坐标之间的一一对应关系，对核线图像b
en
(w,a)＝[w
x
‑
a,w
y
]，a为左右视差；互信息计算过程中全局灰度差异表现在相关灰度的联合直方图里，有效处理辐射差异造成的影响，互信息NJ描述两个系统之间的统计相关性,在图像匹配的过程中,采用信息熵和协同信息熵定义,如式3:信息熵通过计算两幅图像的联合灰度值概率分布值W得到,对于纠正过的核线图像,通过一幅图像预测另一幅图像,信息熵的计算式为:过一幅图像预测另一幅图像,信息熵的计算式为:初始视差图作为基础，在整幅影像上进行互信息计算，利用泰勒级数展开将协同信息熵的计算转化为求以下数据项的和，如式6所示：数据项l
J1,J2
表示对同名像对的联合灰度概率分布进行二维高斯卷积运算,利用值取决于同名像对的亮度值，且每个像素计算过程相互独立。3.根据权利要求2所述的代价计算动态规划的航空影像DSM匹配法，其特征在于，本发
明实验得出采用7*7高斯卷积窗口计算更快,在第一次高斯滤波之后可能会出现一些0值，为防止对数运算的错误用较小的值来替代这些0值,同名像素点的亮度值的联合概率分布用R[]函数计算，如果输入参数为真，则输出值为1，否则输出值为0：其中W的计算是两幅图像的联合灰度数除以所有相应的总数，图像信息熵L
J1
不变，L
J2
也几乎不变，反映J2的灰度值的视差图重新分布，故协同信息熵作为像素J
1w
和J
2w
匹配测度，但如果存在遮挡，则一些像素点找不到对应的同名像点，这样的点没有被计算到，会引起图像信息熵的变化，协同信息熵的计算通过以下信息熵来表示：概率分布W
J
只要在影像J1和J2相应的区域计算，不需要在整幅影像中，通过在相应区域的行和列的联合概率分布之和可以得到互信息定义为：互信息定义为：互信息驱动的匹配代价定义为：在计算互信息时获取一个初始视差图对匹配影像J
n
做处理，初始视差图的获取采用金字塔分层迭代的方法：先在较小的分辨率上用随机视差图计算，然后用匹配得到的新视差图来内插高分辨率上的视差图作为下一次迭代的初始视差图。4.根据权利要求1所述的代价计算动态规划的航空影像DSM匹配法，其特征在于，匹配代价的动态聚合:在平滑性约束的前提下，两个惩罚参数(W1，W2)添加到动态匹配能量函数中用于对视差变化的惩罚，视差图A的能量函数B(A)如式12所示:差变化的惩罚，视差图A的能量函数B(A)如式12所示:式中，第一项表示以视差图A作为初始视差计算出的所有像素点的匹配代价的和，第二项对像素w某邻域M
w
中所有视差变化较小的像素k以W1做较小的惩罚，第三项对视差变化较大的像素k以W2做较大的惩罚，即平滑约束，W1＜W2，通过添加较小的惩罚参数W1使能量函数能够适应曲面或倾斜的物体表面，较大的惩罚参数W2则防止不正确的视差传播保证视差在边缘处的不连续，函数R[]如式13所示，当且仅当其参数为真时R[]为1，否则为0；匹配过程即能量函数的最优化，找到使能量函数B(A)有最小值的视差图A，采用多个方向的一维平滑来模拟二维平滑,在每一条路径上按照动态规划进行计算，以多个简单的一维搜索来获得二维层次上能量函数的最优解。5.根据权利要求1所述的代价计算动态规划的航空影像DSM匹配法，其特征在于，视差动态计算：在计算所有像素的匹配代价C(w,a)之后，参考图像J
e
的视差图A
e
的确定，在动态
匹配算法中得到视差，即计算像素点W的视差a
w
＝min
a
C(w,a)，即总匹配代价最小时所对应的视差值，对参考图像和目标图进行区别对待，但仍根据C(w,a)估算J
n
对应的视差图A
n
，对于J
n
中的像素点k，深度a
n
＝min
a
C(b
ne
(k,a),a)，最终的视差的获取是对A
e
和A
n
分别采用3*3的滤波窗口的中值滤波去掉变化较大的深度。6.根据权利要求1所述的代价计算动态规划的航空影像DSM匹配法，其特征在于，视差一致性检测：经过视差的一致性检测，对经过处理的视差图A
e

【专利技术属性】
技术研发人员：高小翎，周军，
申请(专利权)人：高小翎，
类型：发明
国别省市：