一种三维激光点云与二维图像的融合方法技术

本发明专利技术涉及三维点云数据处理与三维场景重建技术领域，一种三维激光点云与二维图像的融合方法，包括以下步骤：(1)制作黑白栅格竖孔标定板，(2)采集三维激光点云和二维图像，(3)计算竖孔中心空间坐标，(4)计算竖孔中心像素坐标，(5)计算映射矩阵完成数据融合。本发明专利技术具有以下优点：一是，采用激光扫描仪的线点云数据与相机拍摄的图像数据进行融合，采样数据量小；二是，在求解三维激光点云与二维图像的映射关系时，计算量小，计算过程简单，计算效率高；三是，可实现三维激光点云与二维图像的实时融合；四是，利用区间矩阵计算竖孔中心空间坐标，约束条件多，计算更加准确；五是，利用相机成像原理直接构建激光扫描平面和相机成像平面的单应性关系，求解映射矩阵，计算方法简单可靠。

【技术实现步骤摘要】

本专利技术涉及一种三维激光点云与二维图像的融合方法，属于三维点云数据处理与三维场景重建

技术介绍
在数字化现实世界的过程中，三维点云数据记录了物体表面的几何属性和位置信息，二维图像记录了物体表面的颜色信息和纹理信息，二者的深度融合，将形成一种新兴的数字媒体，即三维彩色点云数据，三维彩色点云数据是三维点云数据的进一步发展，可以更加精确地表述现实世界。三维激光点云与二维图像融合是解决三维场景重建的关键性技术，具有较强的理论意义和应用价值，目前已在工业检测、自主导航、逆向工程、虚拟现实和军事国防等领域有了越来越多的应用。根据几何结构的不同，三维激光点云可分为两大类：线点云与面点云。目前，大多的激光扫描仪的工作方式为线扫描。每次扫描可以获取一条由一系列离散点顺序组成的离散曲线，即为线点云。该离散曲线位于实际场景与激光扫描平面的交线上。为了获取整个场景的面点云数据，需要为激光扫描仪外加旋转平移装置，以实现整个场景的全面扫描。三维激光点云与二维图像的融合主要是指在利用激光扫描仪和相机扫描拍摄三维场景时，建立三维激光点云中的空间点与二维图像的像素点之间的映射关系，从而获取每一个激光扫描点所对应的像素点，给每一个激光扫描点染色，最终获取场景的三维彩色点云。其主要分为两大步：1)求解三维激光点云与二维图像之间的映射关系；2)利用求得的映射关系融合场景三维激光点云与二维图像。目前，三维激光点云与二维图像的融合方法主要有以下三种：1)利用激光扫描仪与相机的安装结构实现融合，该方法主要使用固定装置将激光扫描仪与相机进行固定安装，并在实验环境下通过标定得到激光扫描仪与相机的结构关系，从而完成三维激光点云与二维图像的融合；2)利用三维激光点云与二维图像中的直线或平面特征来实现二者的数据融合，该方法主要是对三维激光点云与二维图像中的直线特征进行提取，利用相机光心与直线特征构造平面，通过求取点云中对应直线端点到达该平面的最小距离来求解相机参数，并进一步实现三维激光点云与二维图像的融合；3)利用激光角点的回波反射图与图像相似性来完成融合，该方法利用激光角点的回波反射强度将点云制成反射图，并根据反射图与纹理图像之间的相似性求解对应关系，从而进行三维激光点云与二维图像的融合。经过大量研究发现，与本专利技术相近的融合方法如下：对标定板进行全面的激光扫描，获取标定板完整的三维激光点云数据，与此同时，利用相机对标定板进行拍摄，获得标定板的二维图像数据。获取三维激光点云与二维图像中的对应点对，再根据非线性最小二乘算法求解外参与内参矩阵，从而实现三维激光点云与二维图像的融合。这种方法存在如下不足之处：1)该方法需要对标定板进行全面的激光扫描来获得标定板完整的三维激光点云，其采样获取的数据量大。2)为了求解三维激光点云与二维图像的映射关系，该方法需要对大量的采样数据进行处理，其计算量过大，计算效率低，计算过程繁琐；3)该方法无法实现三维激光点云与二维图像的实时匹配，在进行三维激光点云和二维图像融合时，激光扫描仪需要先完成对整个场景的扫描，以获取完整场景的三维激光点云，然后再与相机获得的二维平面图像数据进行融合，该过程不具有实时性。
技术实现思路
为了解决上述现有技术中存在的问题，本专利技术目的是提供一种三维激光点云与二维图像的融合方法。本专利技术是在利用激光扫描仪和相机扫描拍摄三维场景时，为激光扫描仪扫描的线点云数据与相机拍摄的图像数据提供一种融合方法，以实时获取场景的三维彩色点云数据。为了实现上述专利技术目的，解决已有技术中存在的向题，本专利技术采取的技术方案是：一种三维激光点云与二维图像的融合方法，包含以下步骤：步骤1、制作黑白栅格竖孔标定板，标定板尺寸为180cm×72cm，其上均匀分布着边长为12cm的黑白正方形网格，沿着标定板中心线lc均匀排列着14个竖孔B＝{bj|1≤j≤14本文档来自技高网...

【技术保护点】
一种三维激光点云与二维图像的融合方法，其特征在于包含以下步骤：步骤1、制作黑白栅格竖孔标定板，标定板尺寸为180cm×72cm，其上均匀分布着边长为12cm的黑白正方形网格，沿着标定板中心线lc均匀排列着14个竖孔B＝{bj|1≤j≤14}，竖孔长6cm，宽为2cm，每一个竖孔中心cj(1≤j≤14)均位于黑白栅格的角点；步骤2、采集三维激光点云和二维图像，固定激光扫描仪和相机，将标定板垂直面向激光扫描仪和相机，利用激光扫描仪扫描时激光光线反射会在图像上形成条纹光斑，来调整标定板的水平位置使得激光扫描平面准确穿过所有竖孔B的中心，获取标定板中心线lc上的线点云P，同时利用相机拍摄标定板，获取标定板的二维图像I，激光扫描仪坐标系[OL；x,y,z]的原点OL位于激光光心，xz平面位于激光扫描平面，图像坐标系[OC；u,v]的原点OC位于像平面左上角顶点，uv平面位于图像传感器平面；步骤3、计算竖孔中心空间坐标，分别提取标定板上和从竖孔中穿过的激光扫描点，利用最小二乘法对标定板上的激光扫描点进行拟合获得拟合直线，连接激光扫描仪光心与激光扫描点获得激光扫描线，求解激光扫描线与拟合直线的交点，并利用区间矩阵计算竖孔中心的空间坐标，具体包括以下子步骤：(a)根据位置远近，从线点云P中提取标定板上的扫描点Pa＝{pai|1≤i≤n}和从竖孔中穿过的扫描点Pb＝{pbi|1≤i≤m}，其中，n表示标定板上扫描点的个数，m表示从竖孔中穿过扫描点的个数；(b)利用最小二乘法对位于标定板上的扫描点Pa进行线性拟合，获取拟合直线lf，其为中心线lc的逼近；(c)依次连接激光扫描仪光心OL和扫描点Pa与Pb，分别获取激光扫描线La＝{Lai|1≤i≤n}与Lb＝{Lbi|1≤i≤m}；(d)分别求解激光扫描线La和Lb与拟合直线lf的交点和(e)由于竖孔的间隔，标定板上交点可分为15个部分且竖孔上交点可分为14个部分第一部分标定板上交点的最下面的点与第一部分竖孔上交点的最上面的点之间在拟合直线上构成了一个连续区间该区间包含了孔和板的边界；将该区间沿拟合直线向下平移0.5倍孔长，即可获得一个新的区间I1,1，该区间包含了第一个竖孔中心c1，由于每个竖孔之间的间隔固定，竖孔中心之间均相差12cm，因此，将I1,1沿拟合直线向下平移12cm，即可获得包含第二个竖孔中心c2的区间I1,2，以此类推，可以获得I1,3…I1,14，利用上述方法，最终获得一个区间矩阵，I1,1...I1,14I2,1...I2,14I14,1...I14,14]]>矩阵中的元素区间Iij表示了第i个边界对第j个竖孔中心位置的约束，因此，第j个竖孔中心cj的优化约束区间为则竖孔中心cj的位置为优化约束区间Ij的中心，则可以准确计算竖孔中心cj的空间坐标；步骤4、计算竖孔中心像素坐标，利用黑白栅格角点提取和平均值法，计算竖孔中心的像素坐标，具体包括以下子步骤：(a)利用黑白栅格角点提取方法，获取与竖孔中心cj(1≤j≤14)直接相邻的四个角点的像素点坐标，在图像坐标系[OC；u,v]下依次记为(b)计算竖孔中心cj(1≤j≤14)的像素坐标(uj,vj)，即步骤5、计算映射矩阵完成数据融合，利用相机针孔模型构建超定方程组，计算三维激光点云与二维图像的映射矩阵，并利用该映射矩阵实现三维激光点云与二维图像的融合，具体包括以下子步骤：(a)根据相机针孔模型、空间旋转矩阵、空间平移向量以及本专利技术利用直线激光点云进行融合的特点，构建竖孔中心空间坐标与竖孔中心像素坐标的映射关系模型为，suv1=A[RT]x0z1,]]>A=fx0cx0fycy001,]]>[R T]＝[r1 r2 r3 t]，其中，s为相机放大系数，(u,v)为竖孔中心像素坐标，A为相机内参矩阵，[R T]为旋转矩阵R与平移矩阵T构成的外参矩阵，[r1 r2 r3 t]为外参矩阵的列向量，(x,0,z)为竖孔中心空间坐标；(b)对矩阵进行分块计算，得到下列关系，suv1=A[r1r3t]xz1,]]>其中，r1为旋转矩阵R的第一列，r3为旋转矩阵R的第三列，t为平移矩阵T的列向量；(c)进行计算，令H=A[r1r3t]=h11h12h13h21h22h23h31h32h33,]]>h‾1T=[h11h12h13],]]>h‾2T=[h21h22h23],]]>h‾3T=[h31h32h33],]]>则有suv1=h‾1TM~h‾2TM~h‾3TM~;]]>(d)由矩阵相等原则，则有u=h‾1TM~/...

【技术特征摘要】
1.一种三维激光点云与二维图像的融合方法，其特征在于包含以下步骤：步骤1、制作黑白栅格竖孔标定板，标定板尺寸为180cm...

【专利技术属性】
技术研发人员：安毅，熊宇聪，刘倩倩，韩玮荣，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21