【技术实现步骤摘要】
本专利技术涉及图像识别，尤其涉及一种结构表面多病害三维测量方法、装置、设备及介质。
技术介绍
1、工程结构在服役期内，在长期荷载作用和自然灾害等多因素耦合作用下会出现裂缝，例如，混泥土桥梁长时使用后钢筋露出锈蚀、剥落等典型性的表面病害，使结构进入亚健康状态。若这些病害没有得到及时和合理的检测和修复，容易不断积累，严重威胁工程结构的安全使用。因此，为了工程结构的安全运行需要对表面病害进行有效的检测和评估。
2、近年来，消费级无人机的普及以及计算机视觉技术的发展，推进了病害检测智能化的进程，提高了检测效率。通过无人机抵近人工检测难以到达的区域进行拍照，并利用机器学习等数字图像处理技术提取病害信息，相关技术中，存在以下问题：
3、1)结构表面病害检测为人工观测为主，检测结果主观性强，工作面大，效率低下；病害的类型、位置和尺寸均需要手动书写，辅以画图和拍照的方式记录于检测报告中，难以做到完整地记录所有结构表面病害的信息，缺乏有效的病害位置，病害大小的可视化手段；病害物理尺寸由刻度尺，电子千分尺等传统工具测量，难以量取的尺寸信息则进行简单的估算。因此，传统的人工方法测量结构表观病害已经很难再适应如今急剧上升的检测需求。
4、2)无人机图像结合三维重建技术能够生成工程结构的三维点云，为三维检测提供基础三维模型。但满足局部病害检测和定位精度的无人机图像分辨率，航拍路径和参数没有得到充分的考虑。
5、3)二维图像的病害识别和测量方法由于视角的限制和图像畸变的影响，不仅无法直观提供局部病害在整体结构
6、4)既有的表面病害测量方法中，只是针对实验室环境下的简单形态病害进行了研究，缺乏对实际工程环境下的典型复杂表观病害的考虑，导致很多类似的测量技术实用价值有限。
7、因此，亟需提供一种可实现现实工程中复杂表面病害的有效自动化测量的方法。
技术实现思路
1、为克服相关技术中存在的问题，本公开提供一种结构表面多病害三维测量方法、装置、设备及介质，以解决相关技术中相关的技术问题。
2、本说明书一个或多个实施例提供了一种结构表面多病害三维测量方法，包括以下步骤：
3、图像序列采集：使用无人机采集携带gps坐标信息的图像序列；
4、初始三维模型构建：使用三维重建技术对图像序列深度计算，并进行场景的三维重构生成初始三维模型；
5、病害确定及点云处理：通过语义分割网络识别图像序列获得各病害语义图，并将各病害语义图中病害像素值转换为指定rgb属性值的颜色；通过深度图融合算法将深度图与处理后的各病害语义图进行融合，获得指定颜色的三维点云模型；再基于rgb色彩区间，通过点云提取方法提取三维点云模型的点云数据，并通过聚类算法将点划分成若干相互独立的点云团簇，获得各病害点云实例；根据各病害点云周围的结构表面点作为背景点，并使用聚类算法拟合各病害背景平面方程，其中，病害包括裂缝、锈蚀和/或剥落三种；
6、裂缝宽度计算：对裂缝点云实例使用骨架提取法分别提取各平面裂缝点云的骨架点集，并使用边界点提取算法提取裂缝点云对应骨架点集的边界点集，根据获取的各骨架点集及对应的边界点集，对各裂缝的宽度进行定量计算；
7、剥落点体积计算：根据各剥落点背景平面方程扁平化对应的剥落点云实例得到剥落平面点，确定剥落点云实例和剥落平面点各点的法线方向保持相向，再合并剥落点云实例和剥落平面点获得立体剥落实例，调整剥落点云实例凹侧的法线方向与扁平剥落法线方向保持相向，再利用泊松表面重建算法和填洞算法生成剥落表面网格模型，根据剥落表面网格模型计算确定立体剥落实例的体积；以及
8、锈蚀面积计算：计算锈蚀云实例各点的法线方向，并利用泊松表面重建算法生成网格模型并计算锈蚀面积。
9、本说明书一个或多个实施例提供了一种结构表面多病害三维测量装置，包括：
10、图像序列采集模块，用于使用无人机采集携带gps坐标信息的图像序列；
11、初始模型生成模块，用于使用三维重建技术对图像序列深度计算，并进行场景的三维重构生成初始三维模型；
12、病害确定及点云处理模块，用于通过语义分割网络识别图像序列获得各病害语义图，并将各病害语义图中病害像素值转换为指定rgb属性值的颜色；通过深度图融合算法将深度图与处理后的各病害语义图进行融合，获得指定颜色的三维点云模型；再基于rgb色彩区间，通过点云提取方法提取三维点云模型的点云数据，并通过聚类算法将点划分成若干相互独立的点云团簇，获得各病害点云实例；根据各病害点云周围的结构表面点作为背景点，并使用聚类算法拟合各病害背景平面方程，其中，病害包括裂缝、锈蚀和/或剥落三种；
13、裂缝宽度计算模块，使用骨架提取法分别提取各平面裂缝点云的骨架点集，并使用边界点提取算法提取裂缝点云对应骨架点集的边界点集，根据获取的各骨架点集及对应的边界点集，对各裂缝的宽度进行定量计算；
14、剥落点体积计算模块，用于根据各剥落点背景平面方程扁平化对应的剥落点云实例得到剥落平面点，确定剥落点云实例和剥落平面点各点的法线方向保持相向，再合并剥落点云实例和剥落平面点获得立体剥落实例，调整剥落点云实例凹侧的法线方向与扁平剥落法线方向保持相向，再利用泊松表面重建算法和填洞算法生成剥落表面网格模型，根据剥落表面网格模型计算确定立体剥落实例的体积；
15、锈蚀面积计算模块，用于计算锈蚀云实例各点的法线方向，并利用泊松表面重建算法生成网格模型并计算锈蚀面积。
16、本说明书一个或多个实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述所述的结构表面多病害三维测量方法。
17、本说明书一个或多个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述所述的结构表面多病害三维测量方法。
18、本公开提供的一种结构表面多病害三维测量方法、装置、设备及介质，优点在于，基于无人机拍摄的图像序列，通过三维重建技术重建逼真表面三维模型，自动化准确标记感兴趣病害区域，并将其映射到三维模型上，再通过深度学习语义分割完成将识别的局部图像病害定位到空间三维点云模型相应位置上，实现病害在结构上全局性的准确检测和定位。利用点云聚类算法从包含多个同类型病害的点云中识别并提取单独病害实例；并通过点云合并的思路快速生成一个更加立体的病害点云，帮助表面重建算法更好地生成密集的三角面片，对于剥落病害使用泊松表面重建算法分别为锈蚀病害和剥落病害生成三角面片表面，方便测量面积和体积，且对于剥落病害三角表面模型使本文档来自技高网...
【技术保护点】
1.一种结构表面多病害三维测量方法，其特征在于包括以下步骤：
2.如权利要求1所述的结构表面多病害三维测量方法，其特征在于，图像数据采集通过使用相机以从上至下或从下至上环绕拍摄的方式对目标结构采集一组图像序列，保证相邻两次拍摄之间图像重叠率不低于50％。
3.如权利要求1所述的结构表面多病害三维测量方法，其特征在于，所述使用三维重建技术对图像序列深度计算，并进行场景的三维重构生成初始三维模型包括以下步骤：
4.如权利要求1所述的结构表面多病害三维测量方法，其特征在于，所述病害确定实现步骤如下：
5.如权利要求4所述的结构表面多病害三维测量方法，其特征在于，所述点云处理具体包括以下步骤：
6.如权利要求1所述的结构表面多病害三维测量方法，其特征在于，所述使用骨架提取法分别提取裂缝点云的骨架点集，并使用边界点提取算法提取裂缝点云对应骨架点集的边界点集具体包括以下步骤：
7.如权利要求6所述的结构表面多病害三维测量方法，其特征在于，所述自适应球域半径确定具体包括如下步骤：
8.如权利要求6所述的结构表面
9.一种结构表面多病害三维测量装置，其特征在于包括：
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的结构表面多病害三维测量方法。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的结构表面多病害三维测量方法。
...【技术特征摘要】
1.一种结构表面多病害三维测量方法，其特征在于包括以下步骤：
2.如权利要求1所述的结构表面多病害三维测量方法，其特征在于，图像数据采集通过使用相机以从上至下或从下至上环绕拍摄的方式对目标结构采集一组图像序列，保证相邻两次拍摄之间图像重叠率不低于50％。
3.如权利要求1所述的结构表面多病害三维测量方法，其特征在于，所述使用三维重建技术对图像序列深度计算，并进行场景的三维重构生成初始三维模型包括以下步骤：
4.如权利要求1所述的结构表面多病害三维测量方法，其特征在于，所述病害确定实现步骤如下：
5.如权利要求4所述的结构表面多病害三维测量方法，其特征在于，所述点云处理具体包括以下步骤：
6.如权利要求1所述的结构表面多病害三维测量方法，其特征在于，所述使用骨架提取法分别提取裂缝点云的骨架点集，并使...
【专利技术属性】
技术研发人员：范高，黄林杰，房晓俊，胡嫚嫚，陈世鸿，
申请(专利权)人：广州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。