使用源自立体图像对的点云对结构建模的系统和方法技术方案

一种用于对屋顶结构进行建模的系统，包括航拍图像数据库和与航拍图像数据库通信的处理器。航拍图像数据库存储多个立体图像对，并且处理器基于地理空间的感兴趣区域从航拍图像数据库中选择多个立体图像对中的至少一个立体图像对和相关元数据。处理器从至少一个立体对中识别目标图像和参考图像，并为识别的目标图像的每个像素计算视差值以生成视差图。处理器基于视差图、识别的目标图像和识别的参考图像生成三维点云。处理器可选地基于生成的三维点云生成标识屋顶结构的三维表示的纹理图。维点云生成标识屋顶结构的三维表示的纹理图。维点云生成标识屋顶结构的三维表示的纹理图。

【技术实现步骤摘要】
【国外来华专利技术】使用源自立体图像对的点云对结构建模的系统和方法


[0001]本公开大体涉及结构的计算机建模领域。更具体地，本公开涉及使用源自立体图像对的点云对结构进行建模的系统和方法。

技术介绍

[0002]从数字图像(例如航拍图像、卫星图像等)中准确快速地识别和描绘物体对于各种应用来说越来越重要。例如，与建筑物的各种特征相关的信息，如屋顶、墙壁、门等，经常被建筑专业人员用来确定用于新建建筑物以及更换和升级现有结构的材料和相关代价。此外，在保险业中，关于结构的准确信息可用于确定为建筑物/结构投保的适当报价。此外，政府机构可以使用有关指定区域内已知对象的信息来规划项目，例如分区、建设、公园和娱乐、住房项目等。
[0003]已经实施了各种软件系统来处理航拍图像以生成航拍图像中存在的结构的3D模型。然而，这些系统有缺点，例如无法准确地描述海拔、检测内部线段或对模型进行充分分割以进行代价准确的代价估算。这可能会导致结构的3D模型不准确或不完整。因此，从2D图像生成准确和完整的3D模型的能力是一个强大的工具。
[0004]因此，鉴于该领域中的现有技术，需要一种不论数字图像的来源，能够自动且有效地处理数字图像，以自动生成存在于数字图像中的3D结构的模型的系统。因此，本文公开的计算机视觉系统和方法解决了这些和其他需求。

技术实现思路

[0005]本公开涉及使用源自立体图像对的点云来生成结构的三维模型的系统和方法。所公开的系统可以基于用户指定的地理空间的感兴趣区域检索立体图像对和相关元数据。该系统然后可以计算立体图像对的目标图像的每个像素的视差值。接下来，系统可以使用立体图像对的目标图像和参考图像来计算3D点云。可选地，系统可以对计算的点云进行纹理映射。该系统可以使用额外的立体图像对计算额外的3D点云，并且可以融合计算的3D点云以创建结构的最终点云模型。点云可用于进一步建模目的，例如在对应于结构特征(例如，屋顶、墙壁、门、窗等)的点云的顶部描线，并生成结构的三维线框模型。
附图说明
[0006]本专利技术的上述特征将从以下结合附图的本专利技术的详细描述中显而易见，其中：
[0007]图1是说明能够用于实现本公开的系统的硬件和软件组件的示意图；
[0008]图2是说明由本公开的系统执行的整体处理步骤的流程图；
[0009]图3是更详细地说明图2的步骤112的流程图；
[0010]图4是说明立体图像对的目标图像和参考图像之间计算尺度变换所需的对应关系的图；
[0011]图5是说明使用半全局匹配算法计算立体图像对的目标图像中的每个像素的视差
值的图；
[0012]图6是展示了立体图像对的校正目标图像和通过半全局匹配算法计算的最小代价视差的图；
[0013]图7为展示了由系统执行以校正任意图像对的处理步骤的流程图；
[0014]图8是展示了相机几何校正变换以获得校正的立体图像对的图；
[0015]图9是展示校正后的立体图像对的图；
[0016]图10是展示与航拍图像中存在的3D结构对应的融合的点云的图；
[0017]图11是展示存在于航拍图像中的3D结构的纹理映射模型的示意图；
[0018]图12是展示与航拍图像中存在的3D结构对应的融合的点云的图；
[0019]图13是展示本专利技术的系统的图；
[0020]图14至图15是展示由本公开的系统的另一个实施例执行的整体处理步骤的流程图；
[0021]图16至图19是展示图15的处理步骤的图；
[0022]图20是展示本专利技术的系统对立体图像进行校正的图；
[0023]图21A
‑
B是展示由本公开的系统生成网格模型的图；
[0024]图22是展示通过本公开的系统生成屋顶结构的线框模型的图；
[0025]图23是展示由本公开的系统的另一个实施例执行的整体处理步骤的流程图；
[0026]图24A是输入图像，其展示位于地理空间的感兴趣区域内的结构；
[0027]图24B是图24A的输入图像的输出合成图像；
[0028]图25是图24B的输出合成图像的后处理图像；
[0029]图26是图25的后处理图像的推理图像；
[0030]图27是展示生成在图26的推理图像中检测出的屋顶结构的各线框模型的图；
[0031]图28是展示在图27中检测出的屋顶结构的线框模型的数据点的图；
[0032]图29是展示位于图24A的地理空间的感兴趣区域内的结构的各个点云的图；和
[0033]图30是展示与图29的点云对应的彩色点云的图。
具体实施方式
[0034]本公开涉及用于使用源自立体图像对的点云来生成结构的三维几何模型的系统和方法，如下面结合图1
‑
30详细描述的。下面描述的实施例涉及构建3D几何结构和对此类结构的各种特征进行建模，包括但不限于屋顶、墙壁、门、窗、楼房、遮阳篷、房屋、甲板、水池、临时结构(例如帐篷)、机动车辆、地基等。
[0035]图1是说明能够用于实现本公开的系统10的硬件和软件组件的示意图。系统10可以体现为耦合到航空图像数据库12的中央处理单元18(例如，硬件处理器)。硬件处理器执行系统代码，系统代码基于视差图和3D点云生成屋顶结构的3D模型，视差图根据立体图像计算得来，3D点云根据计算的视差图生成。硬件处理器可以包括但不限于个人计算机、手提电脑、平板计算机、智能电话、服务器和/或基于云的计算平台。
[0036]系统10包括计算机视觉系统代码14(即，非暂时性计算机可读指令)，其存储在计算机可读介质上并且可由硬件处理器或一个或多个计算机系统执行。代码14可以包括执行本文讨论的步骤/过程的各种定制编写的软件模块，并且可以包括但不限于航拍图像预处
理软件模块16a、3D视差计算软件模块16b、3D点云生成软件模块16c，以及可选的纹理映射软件模块16d。可以使用任何合适的编程语言对代码14进行编程，编程语言包括但不限于C、C++、C#、Java、Python或任何其他合适的语言。此外，代码可以分布在通过通信网络相互通信的多个计算机系统上，和/或在云计算平台上存储和执行，并由与云平台通信的计算机系统远程访问。代码可以与航拍图像数据库12通信，该数据库可以与代码14存储在相同的计算机系统上，或者存储在与代码14通信的一个或多个其他计算机系统上。
[0037]更进一步，系统10可以体现为定制的硬件组件，例如现场可编程门阵列(“FPGA”)、专用集成电路(“ASIC”)、嵌入式系统或其他定制的硬件组件，而不背离本公开的精神或范围。应当理解，图1只是一种可能的配置，本公开的系统10可以使用多种不同的配置来实现。
[0038]图2是说明由本公开的系统10执行的整体处理步骤100的流程图。在步骤110，系统10从航拍图像数据库12获得立体图像对。特别地，系统10基于用户指定的地理空间的感兴趣区域(“ROI”)获得两个本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于对结构建模的系统，其包括：航拍图像数据库；和与航拍图像数据库通信的处理器，所述处理器：从航拍图像数据库中检索至少一个立体图像对；从至少一个立体图像对中识别目标图像；从至少一个立体对中识别参考图像；计算识别的目标图像的每个像素的视差值；根据计算的识别的目标图像的每个像素的视差值生成视差图；基于视差图、识别的目标图像和识别的参考图像生成三维点云；并且使用三维点云生成结构的三维建筑多边形模型。2.根据权利要求1所述的系统，其中至少一个立体图像对是使用地理空间的感兴趣区域来识别的。3.根据权利要求1所述的系统，其中至少一个立体图像对包括与内部和外部相机参数有关的数据。4.根据权利要求1所述的系统，其中所述处理器通过应用半全局匹配算法来计算识别的目标图像的每个像素的视差值，以确定所述识别的目标图像的每个像素的代价视差值。5.根据权利要求1所述的系统，其中所述处理器基于视差图和识别的目标图像与识别的参考图像之间的射线交点生成三维点云，所述处理器计算在穿过识别的目标图像中对应像素的相应射线与穿过识别的参考图像中对应像素的相应射线之间的多个三维交点。6.根据权利要求1所述的系统，其中所述处理器生成至少一个用于在三维点云上对特征进行建模的三维工具。7.根据权利要求1所述的系统，其中所述处理器：从航拍图像数据库中检索第二立体图像对；从第二立体图像对中识别第二目标图像；从第二立体对中识别第二参考图像；计算识别的第二目标图像的每个像素的视差值；基于识别的第二目标图像的每个像素的相应计算的视差值生成第二视差图；基于第二视差图、识别的第二目标图像和识别的第二参考图像生成第二三维点云；并且通过融合生成的第一三维点云和生成的第二三维点云，生成融合的三维点云。8.根据权利要求1所述的系统，其中所述系统从第一对立体图像生成第一点云，从第二对立体图像生成第二点云，并自动选择所述第一点云或所述第二点云中的一个用于显示给用户。9.根据权利要求1所述的系统，其中所述处理器对三维点云执行表面重建算法，以基于三维点云生成三维网格模型。10.根据权利要求1所述的系统，其中所述处理器将图形用户界面显示给操作者，所述图形用户界面包括三维点云和用户界面工具，所述用户界面工具用于在三维点云的顶部创建特征的三维线框模型。11.根据权利要求10所述的系统，其中所述处理器通过所述用户界面工具接收来自操
作者的输入，基于来自操作者的输入生成所述特征的三维线框模型，并且使特征的三维线框模型显示在三维点云的顶部。12.根据权利要求10所述的系统，其中所述处理器将来自图像的纹理应用到三维线框模型的至少一个表面。13.根据权利要求9所述的系统，其中所述处理器基于屋顶的三维线框模型生成可序列化的数据。14.根据权利要求1所述的系统，其中所述处理器生成包括对应于三维模型的真实世界结构的测量的报告。15.根据权利要求14所述的系统，其中报告是数字文件的形式。16.根据权利要求14所述的系统，其中报告包括与对应...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：吉奥尼有限公司，
类型：发明
国别省市：