基于形状语义的建筑立面激光雷达点云解译与重建的方法技术

建筑立面建模是城市建模的重要组成部分。本发明专利技术基于形状语义和增强学习优化策略，提出了一种建筑立面激光点云解译和重建的方法。首先基于数据驱动对点云进行建筑学语义上的预分类，接着设计了可以灵活应用于各种建筑立面风格的二分形状语义，最后将建筑立面的最佳形状语义求解的问题建模为马尔科夫决策过程，采用增强学习算法结合支持向量机预分类的结果优化求解，实现对建筑立面的解译和三维重建。本发明专利技术提出的方法不仅能够较为精确的对建筑立面进行精细建模，而且能够适应于各种风格建筑立面的解译，对于建筑立面点云缺失的情况也有很好的鲁棒性。

【技术实现步骤摘要】
基于形状语义的建筑立面激光雷达点云解译与重建的方法一、
涉及基于形状语义的建筑立面激光点云解译与重建的方法，属于空间信息
二、
技术介绍
建筑立面的重建是数字城市建模的重要组成部分。传统的建筑立面建模方法主要是从二维的图像中来提取建筑的精细结构。近年来，随着激光雷达技术的发展，可以通过车载激光雷达或是机载激光雷达对地面进行快速的扫描从而获得城市模型的点云。与传统的图片相比，激光雷达点云是建筑模型的直接三维表示，包含了恢复建筑结构特征的几乎所有特征。一些研究显示了激光雷达数据可以高效地应用于城市的重建中。探索如何从激光雷达点云中提取建筑精细的结构特征，从而为建筑的自动化三维重建提供基础。数据驱动的方法利用建筑图像或激光雷达点云自身的信息，构造相应的特征属性自底向上对建筑进行分类和识别。数据驱动的方法虽然很精确，但是却无法很好显示建筑的语义特征(比如，建筑由门、窗、阳台、屋顶等建筑学意义上的物体组成)。为此人们提出了形状语义的概念用来自顶向下对建筑进行建筑学语义上的建模。采用形状语义的难点在于定义适合建筑的语义以及如何高效地求解最优语义。研究如何设计形状语义对建筑的点云立面进行解译并进行高效地求解，以实现对不规则且存在点云缺失的立面进行建模。三、
技术实现思路
1、目的：建筑立面的重建是数字城市建模的重要组成部分。传统的建模方法主要是基于人工或是半自动的重建。由于城市里的建筑数量庞大，且建筑形状复杂，人工建立城市模型需要建模者要有一定的经验，并耗费大量时间。目前存在一些半自动生成建筑模型的方法，但效果都不令人满意。与传统的基于图像的建模方法相比，激光雷达点云是建筑模型的直接三维表示。实现了从激光雷达点云中提取建筑立面精细的结构特征，从而为城市建筑的自动化三维重建提供基础。2、技术方案：基于形状语义的建筑立面激光点云解译与重建的方法，其特征在于，包括如下步骤(如图1)：步骤一：点云噪声去除点云中噪声的存在对于后面计算曲度会有较大的影响，因此，采用统计方法去除点云噪声。对于输入点云的每一点，计算它到邻近点的距离的均值μ和标准差σ。那些距离落在uμ±α·σ之外的点则被视为噪声而移除，其中α的值等于选取的邻近点数目的1/20，α＝1.0，邻近点的数目为20。步骤二：坐标系转换为了方便后续的处理，把建筑立面所在的平面转换到X-Y平面中去，即，建筑的水平方向与X轴平行，竖直方向与Y轴平行。这样一来建筑立面点云的z坐标就代表了建筑结构的深度信息，并且建筑的水平和竖直方向与坐标轴平行，以便于下文对建筑立面进行网格剖分。建筑立面的坐标系变换陈述为如下问题，给定建筑点云当前所处的基M2＝{α1，α2，α3}以及目标坐标系的基M2＝{β1，β2，β3}，求M1到M2的过渡矩阵，其中，β1＝{1，0，0}，β2＝{0，1，0}，β3＝{0，0，1}，而要得到两组基之间的过渡矩阵P，只需要给出目标坐标系的基中的每个向量(β1，β2，β3)在当前所处基下的坐标(p1，p2，p3)，依次以这些坐标为列向量组成矩阵即是从M1到M2的过渡矩阵P。基向量β1在当前基下对应的坐标p1是建筑立面水平方向的向量，基向量β2对应的坐标p2则是建筑立面竖直方向的向量，基向量β3对应的坐标则是建筑平面的法向量p3。采用随机抽样一致模型计算建筑立面的平面参数，继而得到其归一化的法向量，即为p3，对于p2，使用建筑墙面边缘线所处的向量表示，而p1则可以由p2和p3的外积求得，得到过渡矩阵P后，对原始点云中的点X应用变换P即可得到在新坐标系下的坐标X′。步骤三：点云特征提取为了有效识别建筑立面的结构(如门、窗户、阳台)，设计了基于网格的点云特征提取方法。首先对建筑立面进行剖分，使得建筑立面由一系列三维的小网格组成。网格的大小设置为0.1米。这样对点云分类的任务就变成了对这些网格的分类。设计了三种网格的属性，用来通过支持向量机对建筑立面点云中的结构单元分类。(1)曲度曲度反映了建筑局部结构的变化情况，对于提取建筑结构的变化有很大作用。定义网格内的曲度特征是网格内所有点的曲度的平均值。计算每点的曲度近似为计算该点和邻近的k个点近似组成的平面的曲度，二者可以通过分析邻近点的协相关矩阵的特征向量和特征矩阵得到。对于一点qi，它的协相关矩阵为：其中，k是qi的邻近点的数目，代表邻近点的三维中心坐标，λj是协相关矩阵的第j个特征值，是第j个特征向量；点qi的曲度为：γq＝λ0/(λ0+λ1+λ2)(2)假设网格G中有n个点，那么该网格的曲度则表示为：(2)密度除了曲度外，网格内点的密度变化同样能反映不同的建筑结构，另外，对于密度还能够明确地反映数据缺失或是背景网格。设网格G中有n个点，点数最多网格内的点数为N，则该网格的密度dG表示为：dG＝n/N(4)(3)深度由于建筑表面各个结构通常位于不同的平面，通过深度值可以较容易识别出不同的建筑立面结构。步骤二已经将建筑平面转换到了X-Y平面，因此点云的z坐标就表示了深度的信息。假设网格G中有n个点，那么该网格的深度表示为：其中zi为点i的z坐标。以上三种特征将作为网格的特征向量用于步骤四的支持向量机分类中。步骤四：基于支持向量机的建筑立面点云分类由于建筑立面的建筑学意义上的结构(如窗户、阳台、门、屋顶等)是从人类认知角度去定义的，采用非监督的方法往往很难得到满意的结果。为此，采用了支持向量机的方法进行分类。首先选择训练集，训练集里的每一个样本都有一个类别标签及多个属性值，用数学的语言来描述就是：给定一个训练集(xi，yi)，i＝1，…，l，xi∈Rn表示样本的特征向量，yi∈{-1，1}表示样本的类别向量，即，分类标签，-1表示负类，1表示正类，支持向量机求解以下正定规划的最优解：在公式(6)中，函数将特征向量xi映射到高维空间，C是大于0的规则化参数，w是一个高维的向量变量，b是大于0的变量；训练向量的特征分别是曲度、密度和深度。选择了半径基函数作为核函数，并设定γ＝1。在步骤三中定义的三种网格属性分别归化到[-1，1]之间，对样本集进行训练，最后进行预测。在分类完成之后，便可以得到了某个网格属于特定建筑结构的概率：步骤五：建筑立面的二分形状语义表达从给定的建筑立面点云中得到表达墙面结构的最佳剖分树，就可以重建建筑立面。用数学语言描述如下：给定建筑立面点云O，二分形状语义G＝(N，T，R，ω)，其中N是非终端形状语义的集合，如果一个带标号的矩形c(x，y，w，h)出现在一个规则的左边，那么它就是非终端形状语义；T是终端语义的集合，，(x，y，w，h)定义了矩形在坐标系中的位置、宽度w和高度h；如果一个带标号的矩形c(x，y，w，h)不能出现在一个规则的左边，那么它就是终端形状语义；ω是一个特殊的非终端形状语义，称为初始形状，剖分总是从初始形状开始进行。R是一个有限的剖分规则的集合。设L(G)为二分形状语义的所有可能的剖分树(剖分方式)。寻找到一个最佳的剖分语言s∈L(G)，使得如下的目标函数最大：其中，s(x，y)表示剖分s得到的网格(x，y)的建筑结构类别；p(s(x，y)|x，y)即为步骤四得到的网格(x，y)处建筑类别为s(x，y)的概率。从上式(8)可以看出，评价一个剖分的好坏在于它剖分得到的终端本文档来自技高网...

【技术保护点】
基于形状语义的建筑立面激光点云解译与重建的方法，其特征在于，包括如下步骤：步骤一：点云噪声去除对于输入点云的每一点，计算它到邻近点的距离的均值μ和标准差σ，那些距离落在μ±α·σ之外的点则被视为噪声而移除，其中α是和选取的邻近点的数目相近的一个值，本申请专利中，α＝1.0，邻近点的数目为20；步骤二：坐标系转换把建筑立面所在的平面转换到X‑Y平面中去，即，建筑的水平方向与X轴平行，竖直方向与Y轴平行；建筑立面的坐标系变换陈述为如下问题，给定建筑点云当前所处的基M1＝{α1，α2，α3}以及目标坐标系的基M2＝{β1，β2，β3}，求M1到M2的过渡矩阵，其中，β1＝{1，0，0}，β2＝{0，1，0}，β3＝{0，0，1}，而要得到两组基之间的过渡矩阵P，只需要给出目标坐标系的基中的每个向量(β1，β2，β3)在当前所处基下的坐标(p1，p2，p3)，依次以这些坐标为列向量组成矩阵即是从M1到M2的过渡矩阵P；基向量β1在当前基下对应的坐标p1是建筑立面水平方向的向量，基向量β2对应的坐标p2则是建筑立面竖直方向的向量，基向量p3对应的坐标则是建筑平面的法向量；采用随机抽样一致模型计算建筑立面的平面参数，继而得到其归一化的法向量，即为p3，对于p2，使用建筑墙面边缘线所处的向量表示，而p1则可以由p2和p3的外积求得，得到过渡矩阵P后，对原始点云中的点X应用变换P即可得到在新坐标系下的坐标X＇；步骤三：点云特征提取首先对建筑立面进行剖分，使得建筑立面由一系列三维的小网格组成，在本申请专利中，网格的大小设置为0.1米，设计了下面三种网格属性，用来通过支持向量机对建筑立面点云中的结构单元分类；(1)曲度定义网格内的曲度特征是网格内所有点的曲度的平均值，计算每点的曲度近似为计算该点和邻近的k个点近似组成的平面的曲度，二者可以通过分析邻近点的协相关矩阵的特征向量和特征矩阵得到；对于一点pi，它的协相关矩阵为：C=1kΣi=1k(pi-p‾)·(pi-p‾)T,C·vj→=λj·vj→,j∈{0,1,2}---(1)]]>其中，k是pi的邻近点的数目，代表邻近点的三维中心坐标，λj是协相关矩阵的第j个特征值，是第j个特征向量；点pi的曲度为：γpi＝λ0/(λ0+λ1+λ2) (2)假设网格G中有n个点，那么该网格的曲度则表示为：γG=1nΣi=1nγpi---(3)]]>(2)密度设网格G中有n个点，点数最多网格内的点数为N，则该网格的密度dG表示为：dG＝n/N (4)(3)深度假设网格G中有n个点，那么该网格的深度表示为：sG=1nΣi=1nzi---(5)]]>其中zi为点i的z坐标；以上三种特征将作为网格的特征向量用于步骤四的支持向量机分类中；步骤四：基于支持向量机的建筑立面点云分类首先选择训练集，训练集里的每一个样本都有一个类别标签及多个属性值，用数学的语言来描述就是：给定一个训练集(xi，yi)，i＝1，…，l，xi∈Rn表示样本的特征向量，y∈{‑1，1}l表示样本的类别向量，支持向量机求解以下正定规划的最优解：训练向量的特征分别是曲度、密度和深度，本申请专利选择了半径基函数作为核函数，并设定γ＝1，在步骤三中定义的三种网格属性分别归化到[‑1，1]之间，对样本集进行训练，最后进行预测；在分类完成之后，便可以得到了某个网格属于特定建筑结构的概率：步骤五：建筑立面的二分形状语义表达从给定的建筑立面点云中得到表达墙面结构的最佳剖分树，就可以重建建筑立面，用数学语言描述如下：给定建筑立面点云O，二分形状语义G＝(N，T，R，ω)，其中N是非终端形状语义的集合，如果一个带标号的矩形c(x，y，w，h)出现在一个规则的左边，那么它就是非终端形状语义；T是终端语义的集合，(x，y，w，h)定义了矩形在坐标系中的位置、宽度w和高度h；如果一个带标号的矩形c(x，y，w，h)不能出现在一个规则的左边，那么它就是终端形状语义；ω是一个特殊的非终端形状语义，称为初始形状，剖分总是从初始形状开始进行，R是一个有限的剖分规则的集合，设L(G)为二分形状语义的所有可能的剖分树(剖分方式)，寻找到一个最佳的剖分语言s∈L(G)，使得如下的目标函数最大：argsmaxs∈L(G)Σx,y∈facadep(s(x,y)|x,y)---(8)]]>其中，s(x，y)表示剖分s得到的网格(x，y)的建筑结构类别；p(s(x，y)|x，y)即为步骤四得到的网格(x，y)处建筑类别为s(x，y)...

【技术特征摘要】
1.基于形状语义的建筑立面激光点云解译与重建的方法，其特征在于，包括如下步骤：步骤一：点云噪声去除对于输入点云的每一点，计算它到邻近点的距离的均值μ和标准差σ，那些距离落在μ±α·σ之外的点则被视为噪声而移除，其中α的值等于选取的邻近点数目的1/20，α＝1.0，邻近点的数目为20；步骤二：坐标系转换把建筑立面所在的平面转换到X-Y平面中去，即，建筑的水平方向与X轴平行，竖直方向与Y轴平行；建筑立面的坐标系变换陈述为如下问题，给定建筑点云当前所处的基M2＝{α1，α2，α3}以及目标坐标系的基M2＝{β1，β2，β3}，求M1到M2的过渡矩阵，其中，β1＝{1，0，0}，β2＝{0，1，0}，β3＝{0，0，1}，而要得到两组基之间的过渡矩阵P，只需要给出目标坐标系的基中的每个向量(β1，β2，β3)在当前所处基下的坐标(p1，p2，p3)，依次以这些坐标为列向量组成矩阵即是从M1到M2的过渡矩阵P；基向量β1在当前基下对应的坐标p1是建筑立面水平方向的向量，基向量β2对应的坐标p2则是建筑立面竖直方向的向量，基向量β3对应的坐标则是建筑平面的法向量p3；采用随机抽样一致模型计算建筑立面的平面参数，继而得到其归一化的法向量，即为p3，对于p2，使用建筑墙面边缘线所处的向量表示，而p1则可以由p2和p3的外积求得，得到过渡矩阵P后，对原始点云中的点X应用变换P即可得到在新坐标系下的坐标X′；步骤三：点云特征提取首先对建筑立面进行剖分，使得建筑立面由一系列三维的小网格组成，网格的大小设置为0.1米，设计了下面三种网格属性，用来通过支持向量机对建筑立面点云中的结构单元分类；(1)曲度定义网格内的曲度特征是网格内所有点的曲度的平均值，计算每点的曲度近似为计算该点和邻近的k个点近似组成的平面的曲度，二者可以通过分析邻近点的协相关矩阵的特征向量和特征矩阵得到；对于一点qi，它的协相关矩阵为：其中，k是qi的邻近点的数目，代表邻近点的三维中心坐标，λj是协相关矩阵的第j个特征值，是第j个特征向量；点qi的曲度为：γq＝λ0/(λ0+λ1+λ2)(2)假设网格G中有n个点，那么该网格的曲度则表示为：(2)密度设网格G中有n个点，点数最多网格内的点数为N，则该网格的密度dG表示为：dG＝n/N(4)(3)深度假设网格G中有n个点，那么该网格的深度表示为：其中zi为点i的z坐标；以上三种特征将作为网格的特征向量用于步骤四的支持向量机分类中；步骤四：基于支持向量机的建筑立面点云分类首先选择训练集，训练集里的每一个样本都有一个类别标签及多个属性值，用数学的语言来描述就是：给定一个训练集(xi，yi)，i＝1，…，l，xi∈Rn表示样本的特征向量，yi∈{-1，1}表示样本的类别向量，即，分类标签，-1表示负类，1表示正类，支持向量机求解以下正定规划的最优解：在公式(6)中，函数将特征向量xi映射到高维空间，C是大于0的规则化参数，w是一个高维的向量变量，b是大于0的变量；训练向量的特征分别是曲度、密度和深度，选择半径基函数作为核函数，并设定γ＝1，在步骤三中定义的三种网格属性分别归化到[-1，1]之间，对样本集进行训练，最后进行预测；在分类完成之后，便可以得到了某个网格属于特定建筑结构的概率：步骤五：建筑立面的二分形状语义表达从给定的建筑立面点云中得到表达墙面结构的最佳剖分树，就可以重建建筑立面，用数学语言描述如下：给定建筑立面点云O，二分形状语义G＝(N，T...

【专利技术属性】
技术研发人员：张立强，徐翔，张良，
申请(专利权)人：北京师范大学，
类型：发明
国别省市：北京;11