一种基于无人机视频的震后建筑物损毁检测方法技术

本发明专利技术提供一种基于无人机视频的震后建筑物损毁检测方法，包括：步骤一，对采集的震后无人机视频数据进行预处理，并获取视频关键帧序列；步骤二，利用视频关键帧序列生成建筑物三维点云数据，并对三维点云数据，采用基于点云结构特征分析和深度学习特征分析的方法进行建筑物结构损毁检测，若检测为结构损毁，则进入步骤四；若检测为非结构损毁，则进入步骤三；步骤三，对待检测建筑物的二维关键帧图像，采用基于深度学习特征分析的方法进行建筑物立面损毁检测，然后对待检测建筑物的二维关键帧图像进行超像素分割，并利用超像素分割结果对得到的建筑物立面损毁检测结果进行融合后处理优化；步骤四，输出待检测建筑物的损毁检测结果。

A method of building damage detection after earthquake based on UAV video

【技术实现步骤摘要】
一种基于无人机视频的震后建筑物损毁检测方法
本专利技术涉及遥感应用
和灾害评估领域，尤其涉及基于无人机视频的震后建筑物损毁检测技术，具体涉及基于模糊度和重叠度分析的视频关键帧选取、基于计算机视觉技术的建筑物三维点云重建、基于三维点云深度学习和结构特征分析的建筑物结构损毁检测以及基于二维关键帧图像深度学习和超像素分割算法的建筑物立面损毁检测。
技术介绍
地震发生后，第一时间准确获取建筑物的损毁信息，能够为开展应急救援、决策指挥以及震后重建等提供重要的技术支持和决策依据。传统的卫星遥感影像评估周期长，且绝大多数只能获取建筑物的顶面信息，对建筑物的立面损毁检测具有先天缺陷。目前的建筑物立面损毁检测方法主要借助航空Lidar点云或航空倾斜摄影测量技术。然而由于现代建筑物的复杂性，特别是在建筑物密集的区域，存在地物遮挡和摄影死角等问题，仅利用航空摄影测量的方式依然导致部分建筑物立面信息难以准确获取。而无人机作为一种新兴发展的遥感探测技术，能够在震后第一时间，保障技术人员安全的前提下，克服地域限制，捕获到立面信息更加丰富的建筑物数据。随着无人机技术的日益成熟和普及，利用无人机视频数据进行建筑物精细化损毁检测逐渐成为可能。与传统摄影测量技术相比较，无人机视频数据分辨率更高，且对于采集人员的技术要求较低、容错性和时效性更强，能够有效克服传统卫星、航空机载影像数据中不可避免存在的立面信息缺失及地物遮挡等问题。目前利用无人机进行震后建筑物损毁检测的方法中，多数通过对灾区制定大规模巡航路线来获取某一地区建筑物群的斜下视影像数据，通过影像拼接的方式生成该地区的灾后正射投影图，并结合该地区的灾前正射影像图，应用变化检测技术从二维的角度进行损毁建筑物的检测。一方面，与航空机载影像类似，该方法受限于拍摄高度及灾区地形等因素，不可避免地存在地物遮挡和摄影死角等缺陷；另一方面，灾前/灾后遥感影像变化检测方法往往基于同一传感器不同时相的遥感影像，在实际地震灾害的应急监测评估中，获得同一传感器的遥感数据难度相当之大。
技术实现思路
针对上述问题，本专利技术提出了一种基于无人机视频的震后建筑物损毁检测方法，其具体步骤如下：步骤一，对采集的震后无人机视频数据进行预处理，并获取视频关键帧序列；步骤二，利用视频关键帧序列生成建筑物三维点云数据，并对三维点云数据，采用基于点云结构特征分析和深度学习特征分析的方法进行建筑物结构损毁检测，若检测为结构损毁，则进入步骤四；若检测为非结构损毁，则进入步骤三；步骤三，对待检测建筑物的二维关键帧图像，采用基于深度学习特征分析的方法进行建筑物立面损毁检测，然后对待检测建筑物的二维关键帧图像进行超像素分割，并利用超像素分割结果对得到的建筑物立面损毁检测结果进行融合后处理优化；步骤四，输出待检测建筑物的损毁检测结果。进一步的，步骤一中，利用影像模糊度、重叠度分析获取视频关键帧序列，具体实现方式如下，(1.1)对视频逐帧进行模糊度分析：1.1a)将视频帧转换为灰度图像；1.1b)计算灰度图像的拉普拉斯方差：首先使用拉普拉斯算子对图像进行边缘检测，然后，对边缘检测结果，以一定的采样窗口计算方差，方差计算公式如下：其中，xi为采样窗口内第i像元的LoG计算值，为采样窗口内所有像元LoG计算值的均值，n为采样窗口内所包含的像元总数；1.1c)将1.1b)返回的方差值作为图像模糊度水平的度量值，通过设置阈值的方式，滤除视频帧序列中方差值小于阈值的模糊帧；(1.2)对步骤(1.1)处理后的视频帧进行重叠度分析：1.2a)对视频帧图像提取SIFT特征点；1.2b)以1.2a)中的第一帧作为初始参考帧，以第二帧为当前帧，使用BFFeaturematcher对参考帧和当前帧进行SIFT特征点的暴力匹配；1.2c)计算1.2b)中SIFT特征匹配点对之间的欧氏距离，作为图像之间重叠度的度量值，欧氏距离的计算公式如下：其中，X，Y代表两幅关键帧中的任意一对SIFT特征匹配点对，n为特征点维数，x′j，y′j分别代表两个特征点第j维对应的参数值；1.2d)根据1.2c)返回的距离值计算图像重叠度，保留重叠阈值为P1％～P2％的参考帧；12e)将保留的帧设置为参考帧，以下一帧为当前帧，重复步骤1.2b)、1.2c)、1.2d)，直到最后一帧，得到的帧序列，即为视频关键帧序列。进一步的，步骤二中，首先对步骤一中所获取的视频关键帧序列，利用空中三角测量方法或计算机视觉的方法得到影像的外方位元素，并进行光束法的整体平差，生成建筑物的稀疏三维点云；然后利用GPU加速的PMVS算法进行快速的密集匹配，生成密集的三维点云，作为后续损毁检测的待用数据。进一步的，步骤二中采用深度学习特征分析的方法和基于点云结构特征分析方法进行建筑物结构损毁检测，具体实现方式如下，(2.1)基于深度学习特征分析的方法对建筑物三维点云进行建筑物整体结构损毁检测，包括以下步骤：模型训练过程：2.1a)首先对建筑物三维点云训练样本进行人工标注，将严重整体结构损毁类型标注为正样本，其余标注为负样本，通过深度学习分类的方法对建筑物进行结构损毁类型的划分；2.1b)将建筑物三维点云训练样本和其对应的标注信息代入PointNet++模型，进行深度神经网络模型训练；损毁检测过程：2.1c)将待检测的建筑物三维点云代入训练好的PointNet++模型，进行建筑物的结构损毁类型划分；2.1d)根据步骤2.1c)，得出待检测建筑物的结构损毁类型划分结果，如果检测为整体结构损毁类型，则直接输出建筑物结构损毁结果；否则继续进入下述步骤；(2.2)基于点云结构特征分析对建筑物三维点云进行建筑物立面结构损毁检测，包括以下步骤：模型训练过程：2.2a)对训练样本的建筑物三维点云提取房屋立面点云，并进而提取点云结构张量特征，包线性度、平面度、离散度、全方差、各向异性、特征熵、曲率、法向量；2.2b)对以上提取的点云结构张量结构特征作直方图统计，得到各个结构张量特征的直方图统计结果；2.2c)将步骤2.2b)中建筑物点云各个特征的直方图统计结果作为特征子集和其对应的损毁标注信息一起代入到支持向量机模型中进行分类器训练，其中严重立面结构损毁类型被标注为正样本，其余标注为负样本；损毁检测过程：2.2d)对待检测的建筑物三维点云提取房屋立面点云，并进而提取线性度、平面度、离散度、全方差、各向异性、特征熵、曲率、法向量点云结构张量特征，并作直方图统计，将直方图统计结果作为特征子集；2.2e)将步骤2.2d)中各个特征子集代入到训练好的支持向量机模型中，进行建筑物结构损毁检测；2.2f)根据步骤2.2e)，得出待检测建筑物的立面结构损毁检测结果；进一步的，步骤三中采用基于深度学习实例分割算法MaskR-CNN模型对建筑物二维关键帧图像进本文档来自技高网...

【技术保护点】
1.一种基于无人机视频的震后建筑物损毁检测方法，其特征在于，包括如下具体步骤：/n步骤一，对采集的震后无人机视频数据进行预处理，并获取视频关键帧序列；/n步骤二，利用视频关键帧序列生成建筑物三维点云数据，并对三维点云数据，采用基于点云结构特征分析和深度学习特征分析的方法进行建筑物结构损毁检测，若检测为结构损毁，则进入步骤四；若检测为非结构损毁，则进入步骤三；/n步骤三，对待检测建筑物的二维关键帧图像，采用基于深度学习特征分析的方法进行建筑物立面损毁检测，然后对待检测建筑物的二维关键帧图像进行超像素分割，并利用超像素分割结果对得到的建筑物立面损毁检测结果进行融合后处理优化；/n步骤四，输出待检测建筑物的损毁检测结果。/n

【技术特征摘要】
1.一种基于无人机视频的震后建筑物损毁检测方法，其特征在于，包括如下具体步骤：
步骤一，对采集的震后无人机视频数据进行预处理，并获取视频关键帧序列；
步骤二，利用视频关键帧序列生成建筑物三维点云数据，并对三维点云数据，采用基于点云结构特征分析和深度学习特征分析的方法进行建筑物结构损毁检测，若检测为结构损毁，则进入步骤四；若检测为非结构损毁，则进入步骤三；
步骤三，对待检测建筑物的二维关键帧图像，采用基于深度学习特征分析的方法进行建筑物立面损毁检测，然后对待检测建筑物的二维关键帧图像进行超像素分割，并利用超像素分割结果对得到的建筑物立面损毁检测结果进行融合后处理优化；
步骤四，输出待检测建筑物的损毁检测结果。


2.根据权利要求1所述基于无人机视频的震后建筑物损毁检测方法，其特征在于：步骤一中，利用影像模糊度、重叠度分析获取视频关键帧序列，具体实现方式如下，
(1.1)对视频逐帧进行模糊度分析：
1.1a)将视频帧转换为灰度图像；
1.1b)计算灰度图像的拉普拉斯方差：首先使用拉普拉斯算子对图像进行边缘检测，然后，对边缘检测结果，以一定的采样窗口计算方差，方差计算公式如下：



其中，xi为采样窗口内第i像元的LoG计算值，为采样窗口内所有像元LoG计算值的均值，n为采样窗口内所包含的像元总数；
1.1c)将1.1b)返回的方差值作为图像模糊度水平的度量值，通过设置阈值的方式，滤除视频帧序列中方差值小于阈值的模糊帧；
(1.2)对步骤(1.1)处理后的视频帧进行重叠度分析：
1.2a)对视频帧图像提取SIFT特征点；
1.2b)以1.2a)中的第一帧作为初始参考帧，以第二帧为当前帧，使用BFFeaturematcher对参考帧和当前帧进行SIFT特征点的暴力匹配；
1.2c)计算1.2b)中SIFT特征匹配点对之间的欧氏距离，作为图像之间重叠度的度量值，欧氏距离的计算公式如下：



其中，X，Y代表两幅关键帧中的任意一对SIFT特征匹配点对，n为特征点维数，x′j，y′j分别代表两个特征点第j维对应的参数值；
1.2d)根据1.2c)返回的距离值计算图像重叠度，保留重叠阈值为P1％～P2％的参考帧；
12e)将保留的帧设置为参考帧，以下一帧为当前帧，重复步骤1.2b)、1.2c)、1.2d)，直到最后一帧，得到的帧序列，即为视频关键帧序列。


3.根据权利要求1所述基于无人机视频的震后建筑物损毁检测方法，其特征在于：步骤二中，首先对步骤一中所获取的视频关键帧序列，利用空中三角测量方法或计算机视觉的方法得到影像的外方位元素，并进行光束法的整体平差，生成建筑物的稀疏三维点云；然后利用GPU加速的PMVS算法进行快速的密集匹配，生成密集的三维点云，作为后续损毁检测的待用数据。


4.根据权利要求1所述基于无人机视频的震后建筑物损毁检测方法，其特征在于：步骤二中采用深度学习特征分析的方法和基于点云结构特征分析方法进行建筑物结构损毁检测，具体实现方式如下，
(2.1)基于深度学习特征分析的方法对建筑物三维点云进行建筑物整体结构损毁检测，包括以下步骤：
模型训练过程：
2.1a)首先对建筑物三维点云训练样本进行人工标注，将严重整体结构损毁类型标注为正样本，其余标注为负...

【专利技术属性】
技术研发人员：眭海刚，孙向东，黄立洪，刘超贤，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42