一种基于三维场景深度切片与空间度量的识别方法技术

本发明专利技术公开了一种基于三维场景深度切片与空间度量的识别方法，涉及三维点云识别技术领域，方法包括步骤1：基于激光点云与CCD影像数据的融合进行现场三维场景真彩建模步骤2：基于步骤1的建模结果以及融合特征的目标轮廓进行识别和尺寸估计。本发明专利技术采取基于共线方程的直接线性变换方法来实现三维激光点云与二维影像数据的融合，形成对现场三维场景真彩建模。结合真彩建模结果，通过传感信息融合机理，并基于深度学习框架，实现对典型特征的轮廓快速识别及目标尺寸估计。速识别及目标尺寸估计。

【技术实现步骤摘要】
一种基于三维场景深度切片与空间度量的识别方法


[0001]本专利技术涉及三维点云识别
，具体涉及一种基于三维场景深度切片与空间度量的识别方法。

技术介绍

[0002]由于通过激光扫描仪获取的点云数据是一种离散的、高精度的三维空间点集，虽然能够准确的描述物体的几何属性，但是这样直接从扫描仪获得的点云一般都无法显示目标物体真实的颜色信息，而CCD数码相机获取的二维影像数据具有丰富的亮度和颜色信息，反映了目标物体的真实色彩，能够更好的辨别物体的细节。通过点云和图像融合手段，构建具有真彩信息的现场三维场景模型，可以有助于电力工程安全有序的开展。关于点云贴图，一般有两种方法：第一种是直接利用激光扫描仪接收光线得到的强度信息实现贴图，但是这种回波强度信息毕竟不是地表真实的颜色信息，另外一种方法是从相机拍摄的图像中获取颜色信息，这样得到的纹理数据真实感强，但是这种方式需要经过传感器之间的联合标定，且由于相机与雷达位姿相对固定，相机拍摄的范围受到一定的限制，无法获得全部扫描区域的相片，特别是点云的边缘区域，在贴图的时候就容易出现图像信息的缺失。且电力作业场景环境复杂，其中比较主要的特征包括输电线(多种电压等级)、杆塔(多种材质及构型)、变压器等，种类繁杂，人工尚且难以准确判别，要基于三维场景技术实现对其机型自动检测识别的难度极大。
[0003]公开号为CN115471832A的中国专利公开了一种基于三维点云数据的输电线路杆塔塔型识别方法及设备。其方法包括：步骤1：基于杆塔横断方向查找的三维点云到二维特征空间投影，实现数据降维，杆塔激光点云由激光扫描设备获取，或由拍摄的倾斜影像进行三维重建获得；步骤2：采用杆塔投影特征空间的深度学习目标提取方法进行塔形识别。本专利技术既提高了识别的准确性又加快了检测速度，适用于电力企业的输电线路巡检过程中的杆塔实时目标检测任务中。但是仍存在上述现有技术记载的技术问题。

技术实现思路

[0004]本专利技术针对现有技术存在的问题，提供了一种基于三维场景深度切片与空间度量的识别方法。
[0005]为实现上述目的，本专利技术采用的技术方案如下：
[0006]一种基于三维场景深度切片与空间度量的识别方法，包括以下步骤：
[0007]步骤1：基于激光点云与CCD影像数据的融合进行现场三维场景真彩建模；
[0008]步骤2：基于步骤1的建模结果以及融合特征的目标轮廓进行识别和尺寸估计。
[0009]基于上述技术方案，更进一步地，步骤1中，基于激光点云与CCD影像数据的融合过程是：先将激光点云数据和CCD影像数据统一到点云的NED坐标系中，然后再通过直接线性变换方法，将二维图像映射到三维点云上，进行点云贴图，实现真彩建模。
[0010]基于上述技术方案，更进一步地，在点云贴图之前，先将图片经过拼接处理，将单
张图片拼接成一幅全景图片，拼接后的图片体现整个目标区域完整地表颜色纹理信息。
[0011]基于上述技术方案，更进一步地，点云贴图的过程，包括以下步骤：
[0012]步骤11：在图片上选取多组控制点；
[0013]步骤12：记录选择的多组控制点的三维坐标值(X，Y，Z)，以及它们在图像中对应的像点的像平面坐标(u，v)；
[0014]步骤13：任意选取几对控制点的坐标数据，包括点云坐标(X，Y，Z)和像平面坐标(u，v)；
[0015]步骤14：通过迭代解算出二维图像与对应的物体空间坐标点之间的元素转换矩阵，记为矩阵H；
[0016]步骤15：根据解算出内外方位参数，即可求出每一个点云所对应的像平面坐标，根据像平面坐标就可以取出对应坐标上的RGB像素值；
[0017]步骤16：通过将真实的RGB值再赋给对应点云中的点，完成点云贴图。
[0018]基于上述技术方案，更进一步地，点云坐标＝像平面坐标
×
矩阵H。
[0019]基于上述技术方案，更进一步地，将激光点云数据和CCD影像数据统一到点云的NED坐标系中的过程为：
[0020]步骤11：在图片上选取多组控制点，每组控制点包含多对控制点；
[0021]步骤12：记录选择的多组控制点的三维坐标值(X，Y，Z)，以及它们在图像中对应的像点的像平面坐标(u，v)；
[0022]步骤13：在每组控制点中任意选取几对控制点的坐标数据，包括点云坐标(X，Y，Z)和像平面坐标(u，v)；
[0023]步骤14：通过迭代解算出二维图像与对应的物体空间坐标点之间的元素转换矩阵，记为矩阵H。
[0024]基于上述技术方案，更进一步地，步骤2中，进行识别和尺寸估计过程，包括以下步骤：
[0025]步骤21：利用激光雷达获取目标对象的基本形状特征和局部细节，生成激光点云；
[0026]步骤22：根据点云的整体密度分布和局部聚集特性，采用聚类算法将整体点云分离成独立的子集，各子集分别对应于具有物理意义的感知目标；
[0027]步骤23：确定点云数据中的感兴趣区域，并通过感兴趣区域识别，进行融合特征的目标轮廓快速获取；
[0028]步骤24：基于真彩建模结果，将激光雷达扫描数据感兴趣区域投影到对应的图像空间中，并对该区域的数据进行处理，实现目标尺寸估计及边界分离。
[0029]基于上述技术方案，更进一步地，步骤23中，感兴趣区域的确定和识别过程采用深度学习框架中运行的多层感知机神经网络模型或者是其它神经网络模型。
[0030]相对于现有技术，本专利技术具有以下有益效果：
[0031]本专利技术采取基于共线方程的直接线性变换方法来实现三维激光点云与二维影像数据的融合，形成对现场三维场景真彩建模。结合真彩建模结果，通过传感信息融合机理，并基于深度学习框架，实现对典型特征的轮廓快速识别及目标尺寸估计。也即是，首先利用激光雷达目标区域进行稀疏扫描，分析点云深度信息从而得到感兴趣区域准确轮廓；而后利用视觉信息对感兴趣区域的图像进行基于深度学习的特征检测与识别，实现对典型对象
的尺寸估计及背景边界分离。
具体实施方式
[0032]为使本专利技术的上述目的、特征和优点能够更加明显易懂，在下面的描述中阐述了很多具体细节以便于充分理解本专利技术。但是本专利技术能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似改进，因此本专利技术不受下面公开的具体实施例的限制。本专利技术各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。
[0033]实施例1
[0034]一种基于三维场景深度切片与空间度量的识别方法，包括以下步骤：
[0035]步骤1：基于激光点云与CCD影像数据的融合进行现场三维场景真彩建模；
[0036]具体的，将激光点云与CCD影像数据融合的首要任务是将“两种数据”统一到点云的NED(NorthEastDown)坐标系中，而后再通过直接线性变换方法，将二维图像映射到三维点云上，实现真彩建模，其中，这“两本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维场景深度切片与空间度量的识别方法，其特征在于，包括以下步骤：步骤1：基于激光点云与CCD影像数据的融合进行现场三维场景真彩建模；步骤2：基于步骤1的建模结果以及融合特征的目标轮廓进行识别和尺寸估计。2.根据权利要求1所述的一种基于三维场景深度切片与空间度量的识别方法，其特征在于，步骤1中，基于激光点云与CCD影像数据的融合过程是：先将激光点云数据和CCD影像数据统一到点云的NED坐标系中，然后再通过直接线性变换方法，将二维图像映射到三维点云上，进行点云贴图，实现真彩建模。3.根据权利要求2所述的一种基于三维场景深度切片与空间度量的识别方法，其特征在于，在点云贴图之前，先将图片经过拼接处理，将单张图片拼接成一幅全景图片，拼接后的图片体现整个目标区域完整地表颜色纹理信息。4.根据权利要求2所述的一种基于三维场景深度切片与空间度量的识别方法，其特征在于，点云贴图的过程，包括以下步骤：步骤11：在图片上选取多组控制点；步骤12：记录选择的多组控制点的三维坐标值(X，Y，Z)，以及它们在图像中对应的像点的像平面坐标(u，v)；步骤13：任意选取几对控制点的坐标数据，包括点云坐标(X，Y，Z)和像平面坐标(u，v)；步骤14：通过迭代解算出二维图像与对应的物体空间坐标点之间的元素转换矩阵，记为矩阵H；步骤15：根据解算出的矩阵，即可求出每一个点云所对应的像平面坐标，根据像平面坐标就可以取出对应坐标上的RGB像素值；步骤16：通过将真实的RGB值再赋给对应点云中的点，完成点云贴图。5.根据权利要求4所述的一种基于三维场景深度切片与空间度量的识别方法，其特征在于，点云坐标＝像平面坐标
×<...

【专利技术属性】
技术研发人员：狄磊，张驯，蔡常雨，马志程，赵金雄，马宏忠，陈钊，贺洲强，赵红，张和慧，杨勇，王迪，杨岚，刘东清，
申请(专利权)人：中国电力科学研究院有限公司国网甘肃省电力公司，
类型：发明
国别省市：