五镜头倾斜相机TDOM遮挡区域修复方法技术

本申请采用五镜头倾斜相机制作TDOM，提出了遮挡区域纹理修补的新思路和新方法：一是解析影像上的遮挡现象以及航高和基线对遮挡区域的影响；二是结合影像的POS值，采用INPHO软件求得影像的外方位元素；三是结合影像的外方位元素，手动量测并提取建筑物角点数据；四是采用基于倾斜影像更正算法对相对遮挡区域进行纹理修补：选取遮挡检测与更正后的下视影像作为主影像，倾斜影像作为辅影像，利用地点最近规则选取对应可见像素对相对遮挡区域进行纹理修补；五是对仍未修补到的绝对遮挡区域利用模型驱动的图像修复进行纹理修补，解决图像修复模糊和建筑物边界不分明的问题，最终得到视觉效果好的TDOM图。视觉效果好的TDOM图。视觉效果好的TDOM图。

【技术实现步骤摘要】
五镜头倾斜相机TDOM遮挡区域修复方法


[0001]本申请涉及一种TDOM遮挡区域修复方法，特别涉及一种五镜头倾斜相机TDOM遮挡区域修复方法，属于TDOM遮挡修复


技术介绍

[0002]数字正射影像同时具备地图的几何精度和影像的基本特征，不但应用在城市各种地理信息系统中，作为背景图评价其它地图数据，而且可对数字线划地图数据实时更新，提高数据的可靠性。基于数字地面模型更正所得到的正射影像并不是处处均为正射，由于数字地面模型没有包括地面上目标物体(建筑物、树木等)的高度情况，只考虑地形起伏而没有顾忌建筑物和树木等高大目标带来的影响，而航空影像都由中心投影方式拍摄得到，影像中的高大地物将偏离正确位置并遮挡它周围低矮的地物，这样制作得到的正射影像并不能对影像上的地物进行准确判读。正是由于正射影像中遮挡现象的存在，GIS矢量地图不能直接叠加到正射影像上，如果直接将两者叠加，建筑物和建筑附近会出现严重的叠加错误，甚至会使正射影像失去本身的地理参考价值，无法发挥其地图功能。
[0003]TDOM(真正射影像)制作过程中的更正模型与正射影像更正模型有很大区别，真正射影像更正模型不仅包含正射影像更正模型的地表高程信息，而且还包括建筑物等具有一定高度信息的地面目标。在TDOM更正过程中，地形和人工建筑物均被更正到其正确的位置，真正意义上具有了影像的纹理信息和地图几何特性。正是由于TDOM具有以上特性，而被广泛用于数字城市建设、城市环境监测、应急响应等领域，它在城市空间信息领域有宽广的应用前景。
[0004]由TDOM的制作流程可以发现，用数字表面模型代替数字地面模型进行更正将出现遮挡区域的重影现象。TDOM中的遮挡现象一直存在，航高与摄影基线对遮挡区域都有影响。而在实际航摄中，航高与摄影基线都不好控制，并不能通过改变航高与摄影基线让影像中的遮挡区域完全可见。在影像更正过程中，被建筑物等高大物体遮挡的区域无法成像，这部分区域没有图像信息，应该在正射影像上标识出来(用黑色或者白色表示空缺区域)。在进行TDOM的制作时，如果直接进行正射更正而不对影像上的遮挡区域进行检测，建筑物屋顶中遮挡地物区域的部分影像会被重新复制一份，然后将其复制到遮挡区域更正后的位置上，这样就导致了重影现象。所以，遮挡区域的检测是TDOM制作中一个不可缺少的过程。
[0005]但在进行遮挡区域检测后，虽然影像中的重影得到了消除，但同时又带来一个新问题，即被遮挡区域进行检测更正后，没有任何图像信息，成为一个信息缺失区域。空缺区域降低了TDOM的视觉质量，而这部分区域的纹理修补是TDOM制作过程中的关键步骤，也是一个不容忽视且必须解决的问题。现有技术常用具有一定重叠度的相邻影像对遮挡区域进行纹理修补，而这样的纹理修补方法对影像的重叠度要求高，增加了影像的制作成本。
[0006]遮挡一直是TDOM制作中是不可避免的问题，现有技术主要通过改变航高与摄影基线等条件来增大影像间的重叠度，最终减少影像上的遮挡区域，TDOM中的遮挡分为相对遮挡和绝对遮挡，相对遮挡区域是指在某些影像上可见，某些影像上不可见的区域；而绝对遮
挡区域是指在所有影像上都不可见的区域。影像上遮挡区域的修补分为相对遮挡区域修补和绝对遮挡区域修补，现有技术相对遮挡区域补偿一般都采用主辅影像修补方法，而这种修补方法要求相邻影像之间具有一定的重叠度，很多情况下影像重叠度都不能满足要求，从而相对遮挡区域修补的效果不理想，而对于影像上的绝对遮挡区域并没有过多的关注，有的只是利用黑色像素进行的填充，或者简单的利用图像修复算法进行修补，对于房屋边界区域其修补效果并不理想。遮挡区域修补方法分为三类：直接填充法、主辅影像结合法与图像修复法。
[0007]第一，直接填充法。直接用选定的颜色填充到遮挡区域，虽然这种方法在一定程度上保留了原始影像的可见性，但其修补的图像并不美观且修补区域与周围环境也不协调。
[0008]第二，主辅影像结合方法。根据一定的原则选择相邻影像上对应的可见像素填补遮挡区域，通常主影像的遮挡区域在多幅辅影像上均是可见的，由于每张辅影像的视角不同，如果直接以任意方式选择，可能会影响纹理修补效果。需要在多幅相邻影像中选择最佳像素用以修补主影像的遮挡区域。
[0009]现有技术提出选择辅影像中的最佳像素原则，利用地底点的可靠性选择最可靠像素，对权值选择原则做优化处理，只通过比较影像的视角大小来选择最优补偿像素，但直接通过辅影像选取最佳像素的补偿方法，容易增大影像中阴影等问题引起的影响。现有技术同时提出以DSM为中心，同时检测同一三角面片在多张相邻影像上的可见性，从多张影像中获取该三角面片的所有可见纹理，并融合这些纹理，直接获取DSM范围大小的无需相对遮挡区域纹理补偿的TDOM，但该方法影像不具有选择性，计算过程中存在大量冗余。
[0010]现有技术通过遮挡检测法生成整个影像区域的可见区域索引图，选取索引图里的对应可见像素修补影像被遮挡部分。但方法对遮挡检测结果依耐性较强，且进行影像遮挡检测时影像之间的重叠区域存在冗余计算，补偿过程中对TDOM中每个像素点均要加载一次图像，计算机内存占用过大，运行速度相对较慢。
[0011]在TDOM的制作过程中，现有技术通常都是采用一个下视相机来获取航空影像，且主要通过增加相邻影像之间的旁向和航向重叠度来取得相对遮挡区域的纹理信息，然后利用相邻影像对遮挡区域进行纹理修补。但由于这种补偿方法要求影像的重叠度较高，考虑到影像制作成本，相邻影像之间的重叠度都不能达到遮挡区域纹理修补重叠要求。而五镜头倾斜相机同时获取五个视角的图像信息，直接利用倾斜影像信息就能够对影像的相对遮挡区域进行很好的纹理修补，但由于受到建筑物高度、航高和摄影基线等因素的影响，TDOM区域并不是百分之百的在相机上都可见，还存在一些绝对遮挡区域。
[0012]第三，图像修复算法。现有技术考虑到影像上遮挡区域信息不容易补偿，只通过相邻影像进行遮挡区域的修补并不能达到预期的补偿效果，提出了将GIS数据作为遮挡区域补偿的辅助数据将其融合到影像修补中。但它是直接在基于运用MFR模型的纹理合成方法，没有进行相对遮挡的修补，纹理信息并不真实，图像质量不高。
[0013]现有技术提出快速行进的算法，主要是从外往里推，待修补像素与周围已知像素的距离、等照线方向夹角、待修补区域到达已知像素的时间相关。但其并没有考虑到目标的外形轮廓，只是将目标当作一个区域，对区域块进行跟踪与判断。边馥苓将Criminisi提出的基于样本的纹理合成算法进行了对应的算法改进。首先利用主辅影像修补法对主影像进行修补；接着对主影像中的绝对遮挡区域进行进一步纹理修补；然后，引入建筑物模型将影
像中的建筑物和周围的地物区分出来，在绝对遮挡区域修补时减少了建筑物强边缘的对遮挡区域的干扰。虽然该方法避免了建筑物纹理的扩散，但是没有考虑到当建筑物遮挡建筑物时，纹理修补效果不是很好。
[0014]TDOM中的遮挡区域一般出现在建筑物的边界区域，直接利用图像修复算法对TDOM进行绝对修本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.五镜头倾斜相机TDOM遮挡区域修复方法，其特征在于，基于对影像上的遮挡区域进行解析，首先提出采用五镜头倾斜相机制作TDOM；然后提出基于倾斜影像更正的相对遮挡区域纹理补偿方法，通过旁向相机减少影像上的遮挡区域，并利用倾斜影像对下视影像进行纹理修补；最后提出模型驱动的绝对遮挡区域纹理修补方法，对仍未修补到的绝对遮挡区域利用模型驱动的图像修复进行纹理修补，解决图像修复模糊和建筑物边界不分明的问题，最终得到一幅视觉效果好的TDOM；具体包括：第一，由传感器的投影方式以及投影差产生的原因解析影像上的遮挡现象，通过改变航高与摄影基线来进行遮挡区域的可见性分析并提出采用五镜头倾斜相机制作TDOM；第二，基于倾斜影像更正的相对遮挡区域纹理补偿：首先，对下视影像和倾斜影像进行近似真正射更正，更正后的影像已进行遮挡区域的检测和标记；然后，以某幅下视影像为主影像，以倾斜影像为辅影像，由地点最近规则选择最佳修补像素对下视影像进行相对遮挡区域的缺失信息补偿；第三，模型驱动的绝对遮挡区域纹理修补：通过DEM与DBM的模型优化联合驱动，直接对遮挡区域存在多种地物类型进行区分，然后通过判断出的遮挡区域地物类型利用周围相同类型的像素进行纹理修补，最终生成一幅视觉质量良好的TDOM。2.根据权利要求1所述的五镜头倾斜相机TDOM遮挡区域修复方法，其特征在于，框架步骤包括：一是解析影像上的遮挡现象以及航高和基线对遮挡区域的影响；二是结合影像的POS值，采用INPHO软件求得影像的外方位元素；三是结合影像的外方位元素，手动量测并提取建筑物角点数据；四是采用基于倾斜影像更正算法对相对遮挡区域进行纹理修补：选取遮挡检测与更正后的下视影像作为主影像，倾斜影像作为辅影像，利用地点最近规则选取对应可见像素对相对遮挡区域进行纹理修补；五是对仍未修补到的绝对遮挡区域利用模型驱动的图像修复进行纹理修补，解决图像修复模糊和建筑物边界不分明的问题，最终得到一幅视觉效果好的TDOM图。3.根据权利要求1所述的五镜头倾斜相机TDOM遮挡区域修复方法，其特征在于，采用五镜头倾斜相机制作TDOM：五镜头倾斜相机由一个下视相机Z和四个倾斜相机组成，下视相机Z获取正直摄影，四个倾斜相机获取不同角度的影像信息；在进行航空摄影时，五镜头倾斜相机在同一个地点同时获取多个视角的影像信息，即使某个区域在一个相机上不可见，在其它倾斜相机上也是可见的，利用五镜头倾斜相机多视角摄影，得到多视角的图像信息的特点，总体上减少影像中的遮挡区域，在TDOM进行相对遮挡区域的修补时，更好得获取遮挡区域的信息并利用倾斜影像对遮挡区域进行修补。4.根据权利要求1所述的五镜头倾斜相机TDOM遮挡区域修复方法，其特征在于，基于倾斜影像更正的相对遮挡区域纹理补偿：利用五镜头倾斜相机多视角的优势，直接用倾斜影像代替相邻的下视影像对主影像进行相对遮挡区域的纹理修补，利用倾斜影像代替相邻影像对主影像进行修补，避免相邻影像高重叠度的要求，而且能在TDOM中的遮挡区域补偿中取得较好的修复效果；下视影像Z中的遮挡区域在倾斜影像A、C上都有对应的可见像素，所以直接利用倾斜影像的信息来修补下视影像中的相对遮挡区域。
5.根据权利要求1所述的五镜头倾斜相机TDOM遮挡区域修复方法，其...

【专利技术属性】
技术研发人员：李蕊男，
申请(专利权)人：李蕊男，
类型：发明
国别省市：