基于3D-2D多模态融合的密集真彩点云数据采集方法及装置制造方法及图纸

本发明专利技术提供了基于3D

【技术实现步骤摘要】
基于3D
‑
2D多模态融合的密集真彩点云数据采集方法及装置


[0001]本专利技术提供了一种基于3D
‑
2D多模态融合的密集真彩点云数据采集方法及装置，属于激光雷达、三维点云、三维重建


技术介绍

[0002]点云即点的集合，是特定坐标系下点的数据集。一般情况下，其中每个点会包含三维坐标XYZ、RGB颜色等基本信息。点云提供了深度信息，获取点云是三维重建的第一步。
[0003]为了获取点云，通常采用激光雷达采集。激光雷达的工作原理是通过一列激光发射、接收模块的旋转、计算激光飞行时间来获取深度信息；目前主流分辨率有32线、64线、128线，即一列有该数额的激光发射和接收点。实际操作的过程中发现激光获取到的特定区域的点云较为稀疏，尤其随着距离的增加，点云的密集程度会线性下降，这对于高精度建模的要求是不够的。并且传统的激光雷达无法获取周围环境的真彩信息，这就导致获取到的点云缺失了RGB颜色信息。
[0004]随着深度学习的发展，又出现了一种单目深度估计获取点云密度的方法。这种方法利用激光雷达获取的数据集进行训练，可以用一张照片大致估测深度信息，并对点赋予色彩值。但是这种方法不仅获取到的结果精确度不高，针对不同场景也需要大量的数据集做训练支撑。
[0005]此外，还出现了双目识别、flash固态激光雷达等获取点云的工具。其中，双目深度相机存在着对光照环境极为敏感、计算复杂度高等问题，并且其探测距离与相机基线(两摄像头之间的距离)有很大关系，探测精度依赖算法优化。而固态激光雷达舍弃了旋转部件，通过投射出点云方阵来获取深度信息；但固态激光雷达投射点云分辨率固定，其点云密度随距离增加也会线性下降，并且仅凭激光雷达仍然无法获取到色彩信息。
[0006]为了解决上述问题，本专利技术提出了一种基于3D
‑
2D多模态融合的密集真彩点云数据采集方法，将激光雷达和相机获取的数据融合，降低了密集点云对激光雷达性能的依赖，能够获取到较为准确的包含RGB和深度信息的密集点云。

技术实现思路

[0007]本专利技术为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于3D
‑
2D多模态融合的密集真彩点云数据采集方法的改进。
[0008]为了解决上述技术问题，本专利技术采用的技术方案为：基于3D
‑
2D多模态融合的密集真彩点云数据采集方法，包括如下步骤：
[0009]S1：初始化系统：对相机内参、外参进行标定，同步电机与雷达的时间，获取雷达到探测目标的平均距离；
[0010]S2：通过电机驱动雷达旋转采集点云数据；
[0011]S3：利用改进的ICP算法将获取到的两帧点云进行配准并序列化储存，并继续采集点云数据至点云足够密集，其步骤包括：
[0012]S3.1：旋转S2获取的一帧点云的角度，得到预处理后的当前帧的点云，记为q
i
；
[0013]S3.2：将下一帧点云旋转获取得到下一帧点云的角度，得到预处理后的下一帧的点云，记为pi，将预处理后的下一帧的点云与S3.1处理后的当前帧的点云重合，得到粗配准的点云；
[0014]S3.3：利用ICP算法，精细配准两点云，并将配准结果存储；
[0015]S3.4：将S3.3配准的结果覆盖S3.1预处理后的点云，并进行存储，重复S2～S3.3，获取并匹配其余的点云；
[0016]S4：裁剪配准结果；
[0017]S5：结合相机获取到的RGB信息，将配准裁剪完成的点云着色。
[0018]所述步骤S1具体包括：
[0019]S1.1：基于张定友标定法对相机进行标定，获取到相机内参矩阵；再将相机与雷达联合标定，获取到相机的外参矩阵；
[0020]S1.2：将电机与雷达进行时间同步：系统启动后，雷达将PPS信号与时间戳信息间隔地发送给电机，电机通过两个信息与雷达进行时间同步；
[0021]S1.3：通过截取10
°
俯仰角范围内的点云获取雷达到探测目标的平均距离D。
[0022]所述步骤S2中电机驱动雷达旋转采集点云数据的步骤如下：
[0023]定义激光雷达内部扫描时旋转轴为Z轴，并采用右手直角坐标系；
[0024]设激光雷达内部绕Z轴旋转速度为ω
z
，则每经过t＝2π/ω
z
后，获取一帧的雷达位置和记录的信息，序列化储存；
[0025]电机旋转带动雷达绕x轴旋转的过程中，将会多次采集雷达帧数据进行旋转叠加，中心区域会形成重叠区域，若设雷达上下视场是对称的，视角为θ(弧度制)；
[0026]定义雷达垂直分辨率为P，设激光雷达的水平分辨率为N，雷达自转一周可以获取到NP个点，那么每一帧获取到的点的数量为：
[0027][0028]所述步骤S3.3中采用的ICP算法的具体步骤如下：
[0029]S3.3.1：计算两片点云q
i
和p
i
的质心，得到平移向量t；
[0030]S3.3.2：将p
i
移动S3.3.1所述平移向量t，将其结果和q
i
分别记作记作X、Y；
[0031]S3.3.3：设权重矩阵X＝x1ꢀ…ꢀ
x
n
；W是指点云中每个点被分配到的权重，x1～x
n
为点云p
i
中每个点的三维坐标，y1～y
n
为点云q
i
中每个点的三维坐标，设S＝XWY
T
，对S进行奇异值分解，变换S得到S＝U∑V
T
，其中U是正交矩阵，∑是对角矩阵，V
T
是正交矩阵；
[0032]S3.3.4：计算得出旋转矩阵R＝VU
T
；
[0033]S3.3.5：设旋转后的点云为p
i
′
，原始点云为p
i
，由p
i
′
＝Rp
i
+t，得到变换后的点云
p
i
′
，读取待匹配的点云q
i
，计算误差若不满足阈值则重复S3.3.1到S3.3.4步，直至误差满足要求。
[0034]所述步骤S4中裁剪的步骤如下：
[0035]S4.1：首先读取步骤S1.3中所述平均距离D；已知雷达上下视角为θ，所以得出R＝Dtanθ/2，R是最终获得的匹配后的点云的半径；
[0036]S4.2：通过计算原始点云与旋转中心的距离，将距离大于R的点云剔除，最终得到裁剪完成的点云。
[0037]所述步骤S5中将配准裁剪完成的点云着色的步骤如下：
[0038]S5.1：由外参矩阵乘内参矩阵，获得真实世界坐标到像素坐标的转换矩阵trans；
[0039]S5.2：依据点云坐标生成一个颜色列矩阵本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于3D
‑
2D多模态融合的密集真彩点云数据采集方法，其特征在于：包括如下步骤：S1：初始化系统：对相机内参、外参进行标定，同步电机与雷达的时间，获取雷达到探测目标的平均距离；S2：通过电机驱动雷达旋转采集点云数据；S3：利用改进的ICP算法将获取到的两帧点云进行配准并序列化储存，并继续采集点云数据至点云足够密集，其步骤包括：S3.1：旋转S2获取的一帧点云的角度，得到预处理后的当前帧的点云，记为q
i
；S3.2：将下一帧点云旋转获取得到下一帧点云的角度，得到预处理后的下一帧的点云，记为p
i
，将预处理后的下一帧的点云与S3.1处理后的当前帧的点云重合，得到粗配准的点云；S3.3：利用ICP算法，精细配准两点云，并将配准结果存储；S3.4：将S3.3配准的结果覆盖S3.1预处理后的点云，并进行存储，重复S2～S3.3，获取并匹配其余的点云；S4：裁剪配准结果；S5：结合相机获取到的RGB信息，将配准裁剪完成的点云着色。2.根据权利要求1所述的基于3D
‑
2D多模态融合的密集真彩点云数据采集方法，其特征在于：所述步骤S1具体包括：S1.1：基于张定友标定法对相机进行标定，获取到相机内参矩阵；再将相机与雷达联合标定，获取到相机的外参矩阵；S1.2：将电机与雷达进行时间同步：系统启动后，雷达将PPS信号与时间戳信息间隔地发送给电机，电机通过两个信息与雷达进行时间同步；S1.3：通过截取10
°
俯仰角范围内的点云获取雷达到探测目标的平均距离D。3.根据权利要求2所述的基于3D
‑
2D多模态融合的密集真彩点云数据采集方法，其特征在于：所述步骤S2中电机驱动雷达旋转采集点云数据的步骤如下：定义激光雷达内部扫描时旋转轴为Z轴，并采用右手直角坐标系；设激光雷达内部绕Z轴旋转速度为ω
z
，则每经过t＝2π/ω
z
后，获取一帧的雷达位置和记录的信息，序列化储存；电机旋转带动雷达绕x轴旋转的过程中，将会多次采集雷达帧数据进行旋转叠加，中心区域会形成重叠区域，若设雷达上下视场是对称的，视角为θ(弧度制)；定义雷达垂直分辨率为P，设激光雷达的水平分辨率为N，雷达自转一周可以获取到NP个点，那么每一帧获取到的点的数量为：4.根据权利要求3所述的基于3D
‑
2D多模态融合的密集真彩点云数据采集方法，其特征在于：所述步骤S3.3中采用的ICP算法的具体步骤如下：S3.3.1：计算两片点云q
i
和p
i
的质心，得到平移向量t；S3.3.2：将p
i
移动S3.3.1所述平移向量t，将其结果和q
i
分别记作记作X、Y；
S3.3.3：设权重矩阵W是指点云中每...

【专利技术属性】
技术研发人员：杨罡，王大伟，胡帆，张娜，李永祥，张兴忠，
申请(专利权)人：山西鸿顺通科技有限公司，
类型：发明
国别省市：