建筑物玻璃区域立面自动修复方法及系统技术方案

本发明专利技术提出的建筑物玻璃区域立面自动修复方法及系统，包括如下步骤：信息采集单元采集建筑物的目标影像信息数据，将所述标目标影像信息数据发送至信息预处理单元；信息预处理单元接收所述标目标影像信息数据，进行玻璃立面提取处理，得到玻璃立面数据，发送至数据处理单元；数据处理单元接收所述玻璃立面数据，对所述玻璃立面数据进行平滑修复处理，生成优化后的玻璃立面模型。通过利用深度学习和倾斜影像多视角约束自动提取建筑物三维模型中的玻璃立面数据信息；基于提取的玻璃立面数据信息，利用网格降噪平滑算法对玻璃立面网格进行处理，优化玻璃立面模型，减少人工修复模型的工作，能够大幅度地提高工作效率。能够大幅度地提高工作效率。能够大幅度地提高工作效率。

【技术实现步骤摘要】
建筑物玻璃区域立面自动修复方法及系统


[0001]本专利技术属于建筑信息三维实景重建
，特别涉及一种建筑物玻璃区域立面自动修复方法及系统。

技术介绍

[0002]实景建模技术(也称作基于图像的三维重建)，主要指无人机倾斜摄影实景建模技术，是近年测绘遥感领域发展起来的一项高新实用技术，主要原理为通过在飞行平台上搭载一台或多台倾斜摄影相机，同时从垂直、倾斜等不同的角度采集影像，通过专业软件进行解析空中三角测量、几何校正、同名点匹配、区域网联合平差等处理，最后将平差后的数据(三个坐标信息及三个方向角信息)赋予每张倾斜影像，使得它们具有在虚拟三维空间中的位置和形态数据，合成高精度三维实景模型。三维实景模型可进行实时量测，每张斜片上的每个像素对应真实的地理坐标位置。能有效的辅助工程实践的各个环节的工作。
[0003]基于无人机(UAV)倾斜摄影测量的三维建模技术，效率高且成本低，被广泛应用于大范围的城市实景三维模型重建。建筑物是组成城市场景的重要元素，其中带有玻璃立面的建筑物非常普遍。玻璃立面信息还可以为城市光照分析、光污染评估、电信号处理、节能减排等应用提供重要支撑。
[0004]然而，由于玻璃材质的特殊属性和算法的局限性，现有的基于立体视觉(Multi
‑
view Stereo,MVS)的三维重建方法，无法重建出完好的玻璃立面。原因在于玻璃立面往往存在不同程度的几何形变、纹理模糊等问题，影响了三维模型完整性和美观性。具体原因可大致归为以下两点：
[0005]1)玻璃往往具有单一颜色，材质均匀，为弱纹理表面。因此，传统的特征点提取和匹配算法无法生成较多且准确的同名点，从而在模型构网时，没有足够的3D点云，容易出现空洞。
[0006]2)较多无关信息的干扰。在无人机拍摄倾斜影像时，透明的玻璃后和不透明的玻璃反射的各种各样的物体会被捕捉，而这些无关的物体，会干扰玻璃立面的重建过程，引起3D点的位置偏移，从而造成3D模型的几何形变和纹理错乱。
[0007]针对上述问题，现有的玻璃区域立面修复方法是通过人工修复，首先确定模型中的玻璃立面，然后对没重建好的玻璃立面模型进行网格和纹理手工修复。这一过程，可以利用专业软件完成，例如，利用大势智慧的模型修复工具“模方”修复玻璃立面，首先将三维模型导入模方，其次通过目视的方法确定需要修复的区域，接着根据先验知识手工修改模型网格和修复模型纹理。但上述操作需要需要耗费大量的人力物力进行一步一步的操作，而导致生产效率较低。
[0008]为此，本专利技术提出一种建筑物玻璃区域立面自动修复方法及系统，以达到优化三维重建结果，提高重建效率的目的。

技术实现思路

[0009]针对上述问题，本专利技术提出一种建筑物玻璃区域立面自动修复方法及系统。
[0010]第一方面，本申请实施例提供了一种建筑物玻璃区域立面自动修复方法包括如下步骤：
[0011]信息采集单元采集建筑物的目标影像信息数据，将所述标目标影像信息数据发送至信息预处理单元；
[0012]信息预处理单元接收所述标目标影像信息数据，进行玻璃立面提取处理，得到玻璃立面数据，发送至数据处理单元；
[0013]数据处理单元接收所述玻璃立面数据，对所述玻璃立面数据进行平滑修复处理，生成优化后的玻璃立面模型。
[0014]根据本申请实施例的一种具体实现方式，所述目标影像信息数据包括不同视角下的图像信息及三维点云信息。
[0015]根据本申请实施例的一种具体实现方式，所述信息采集单元采集建筑物的目标影像信息数据包括：
[0016]通过至少一台倾斜摄影相机，从不同的角度进行影像采集，分别获取目标建筑物的目标影像信息数据。
[0017]根据本申请实施例的一种具体实现方式，所述信息预处理单元对所述目标影像信息数据进行玻璃立面提取处理，得到玻璃立面数据包括：
[0018]将经过人工标注含有玻璃区域的影像标注数据在预设的训练模型内进行训练，得到深度神经网络模型；
[0019]利用训练好的深度神经网络模型检测目标影像信息数据中的玻璃，得到玻璃区域的掩膜mask
i
；
[0020]利用所述目标影像信息数据的上下文特征，提取所述目标影像信息数据中的玻璃区域立面影像数据，其中，所述上下文特征包括影像中目标像素与周围像素的关联，目标整体与背景的关联。
[0021]根据本申请实施例的一种具体实现方式，所述数据处理单元对所述玻璃立面数据进行处理包括：
[0022]结合所述三维点云信息的几何结构信息，在多视角约束下，确定图像与三角网格的对应关系；
[0023]利用meanshift算法对三角网格的法向量进行聚类，将聚类完成的数据进行分组，得到各组玻璃立面数据；
[0024]利用带有边缘约束的网格双边滤波降噪算法，对网格的各组玻璃立面数据进行平滑修复，优化玻璃立面模型。
[0025]根据本申请实施例的一种具体实现方式，所述结合所述三维点云信息的几何结构信息，在多视角约束下，确定图像与三角网格的对应关系包括：
[0026]对三角网格做可视判断，得到可视三角网格T
i
；
[0027]将可视三角网格T
i
投影至倾斜影像中，对可视三角网格T
i
进行投影判断，得到玻璃区域的三角网格集合F
set
；
[0028]对三角网格集合F
set
中的三角网格进行筛选，计算三角形的重叠度，对重叠度大于
0.5的两个三角网格，计算他们到相机中心的距离，保留距离更近的三角网格，得到玻璃立面的三角网格集合G
set
。
[0029]根据本申请实施例的一种具体实现方式，所述对三角网格做可视判断，得到可视三角网格T
i
包括：
[0030]对模型三角网格T
set
中的三角网格T
i
，设定其法向量为中心为C
i
,，记C
i
到相机中心O
i
的向量为计算与之间的夹角，如果大于90
°
则三角网格T
j
为不可视，如小于90
°
则三角网格T
i
为可视。
[0031]根据本申请实施例的一种具体实现方式，所述对可视三角网格T
i
进行投影判断，得到玻璃区域的三角网格集合F
set
包括：
[0032]根据倾斜影像的像素平面坐标系(u，v)与三维模型的模型坐标(X
w
，Y
w
，Z
w
)映射关系(见式(1))，将可视三角网格T
i
，投影到倾斜影像中并记为S
i
；
[0033]如S
i
的两个或以上的点落在玻璃区域的mask
i
中，则划分为玻璃，否则划分为非本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种建筑物玻璃区域立面自动修复方法，其特征在于：包括如下步骤：信息采集单元采集建筑物的目标影像信息数据，将所述标目标影像信息数据发送至信息预处理单元；信息预处理单元接收所述标目标影像信息数据，进行玻璃立面提取处理，得到玻璃立面数据，发送至数据处理单元；数据处理单元接收所述玻璃立面数据，对所述玻璃立面数据进行平滑修复处理，生成优化后的玻璃立面模型。2.根据权利要求1所述的建筑物玻璃区域立面自动修复方法，其特征在于：所述信息采集单元采集建筑物的目标影像信息数据包括：通过至少一台倾斜摄影相机，从不同的角度进行影像采集，分别获取目标建筑物的目标影像信息数据。3.根据权利要求1所述的建筑物玻璃区域立面自动修复方法，其特征在于：所述信息预处理单元对所述目标影像信息数据进行玻璃立面提取处理，得到玻璃立面数据包括：将经过人工标注含有玻璃区域的影像标注数据在预设的训练模型内进行训练，得到深度神经网络模型；利用训练好的深度神经网络模型检测目标影像信息数据中的玻璃，得到玻璃区域的掩膜mask
i
；利用所述目标影像信息数据的上下文特征，提取所述目标影像信息数据中的玻璃区域立面影像数据，其中，所述上下文特征包括影像中目标像素与周围像素的关联，目标整体与背景的关联。4.根据权利要求1所述的建筑物玻璃区域立面自动修复方法，其特征在于：所述数据处理单元对所述玻璃立面数据进行处理包括：结合所述三维点云信息的几何结构信息，在多视角约束下，确定图像与三角网格的对应关系；利用meanshift算法对三角网格的法向量进行聚类，将聚类完成的数据进行分组，得到各组玻璃立面数据；利用带有边缘约束的网格双边滤波降噪算法，对网格的各组玻璃立面数据进行平滑修复，优化玻璃立面模型。5.根据权利要求4所述的建筑物玻璃区域立面自动修复方法，其特征在于：所述结合所述三维点云信息的几何结构信息，在多视角约束下，确定图像与三角网格的对应关系包括：对三角网格做可视判断，得到可视三角网格T
i
；将可视三角网格T
i
投影至倾斜影像中，对可视三角网格T
i
进行投影判断，得到玻璃区域的三角网格集合F
set
；对三角网格集合F
set
中的三角网格进行筛选，计算三角形的重叠度，对重叠度大于0.5的两个三角网格，计算他们到相机中心的距离，保留距离更近的三角网格，得到玻璃立面的三角网格集合G
set
。6.根据权利要求5所述的建筑物玻璃区域立面自动修复方法，其特征在于：所述对三角网格做可视判断，得到可视三角网格T
i
包括：
对模型三角网格T
set
中的三角网格T
i
，设定其法向量为中心为C
i
,，记C
i
到相机中心O
i
的向量为计算与之间的夹角，如果大于90
°
则三角网格T
j
为不可视，如小于90
°
则三角网格T
i
为可视。7.根据权利要求5所述的建筑物玻璃区域立面自动修复方法，其...

【专利技术属性】
技术研发人员：毛竹，
申请(专利权)人：武汉大势智慧科技有限公司，
类型：发明
国别省市：