基于神经网络的三维点云和二维图像融合的校准方法技术

本发明专利技术公开了一种基于神经网络的三维点云和二维图像融合的校准方法，包括：获取图像的像素坐标，及激光雷达的体素坐标；建立像素坐标点和体素坐标点一一对应的N*N矩阵作为训练集；构建神经网络结构，所述神经网络结构包括矩阵乘积核和矩阵乘积层，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为体素坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；将静态标定的外参矩阵作为初始值训练模型；使用训练完成的模型得到外参矩阵，根据得到的外参矩阵对三维点云和二维图像进行融合。该方法可以得到更加精确的外参矩阵，使得三维点云到二维图像的融合更加准确。

【技术实现步骤摘要】
基于神经网络的三维点云和二维图像融合的校准方法
本专利技术涉及传感器信息融合处理
，具体地涉及一种基于神经网络的三维点云和二维图像融合的校准方法及系统。
技术介绍
在无人驾驶环境感知设备中，激光雷达和摄像头分别有各自的优缺点。摄像头的优点是成本低廉，环境场景色彩辨识度高，技术相对比较成熟。劣势在于难以获取准确的三维信息、受环境光照等的限制比较大。激光雷达的优点在于其探测距离较远，能够准确获取物体的三维信息，稳定性相当高，鲁棒性好。但目前激光雷达成本较高，而且产品的最终形态也还未确定。就两种传感器应用特点来讲，摄像头和激光雷达摄像头都可用于进行道路目标检测识别。但两种传感器为基础的检测识别算法都不能达到100％的准确率和召回率。但是无人驾驶涉及人类生命财产安全问题，对感知识别精度要求即为严格。两种传感器融合的解决方案可以互相弥补各自的确定，大大提升检测识别目标的精确度。实现激光雷达的三维点云和摄像头的二维图像融合需要获取激光雷达到图像的外参矩阵，和图像自身的内参矩阵。通过外参矩阵和内参矩阵可以达到二维三维融合的目的。也是目前的普遍的融合方法。具体原理如下：设像素坐标为Y，点云坐标为X，则：Prect是内参矩阵(相机标定得到)，是外参矩阵(velo≥cam)通过计算旋转矩阵和偏移量计算。外参矩阵的获取原理如下：首先定义世界坐标系(即激光坐标系)：(xw,yw,zw)和相机坐标系(cam0，彩色相机)：(xc,yc,zc)。世界坐标系转换为相机坐标系公式如下：其中，R为3*3的旋转矩阵，t为3*1的平移矢量(即从激光旋转并平移到cam0)，即为外参矩阵。该方法存在的实际的棘手的问题有：实际应用时矩阵很难校准的特别准确，行驶状态下由于颠簸等原因会导致激光雷达和摄像头的位姿发生抖动和偏移，行驶目标拍摄延时，激光雷达和摄像头时间戳很难配准，相机本身存在畸变，畸变校准不精确等等都会导致融合结果存在偏差。本专利技术因而来。
技术实现思路
为了解决现有三维二维融合投影不准确的问题，特别是在运动状态下三维到二维的投影结果偏差很大，很难达到商用性的现状的技术问题，本专利技术提供了一种基于神经网络的三维点云和二维图像融合的校准方法及系统，可以得到更加精确的外参矩阵，使得三维点云到二维图像的融合更加准确。本专利技术的技术方案是：一种基于神经网络的三维点云和二维图像融合的校准方法，包括以下步骤：S01：获取图像的像素坐标，及激光雷达的体素坐标；S02：建立像素坐标点和体素坐标点一一对应的N*N矩阵作为训练集；S03：构建神经网络结构，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为体素坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；S04：将静态标定的外参矩阵作为初始值训练模型；S05：使用训练完成的模型得到外参矩阵，根据得到的外参矩阵对三维点云和二维图像进行融合。优选的技术方案中，所述步骤S03中所述外参矩阵采用梯度下降法进行网络的反向传播，所述内参矩阵的学习率为0，不做反向传播。优选的技术方案中，所述步骤S03中外参矩阵乘积核的乘积运算的步长为1，核大小为1个单位。优选的技术方案中，所述步骤S04中还包括迭代一定数量后，对更新的外参矩阵进行测试，用更新的外参矩阵重新计算点云到图像的投影，计算误差，若误差小于设定阈值，判断训练完成。本专利技术还公开了一种基于神经网络的三维点云和二维图像融合的校准系统，包括：提取模块，获取图像的像素坐标，及激光雷达的体素坐标；映射处理模块：建立像素坐标点和体素坐标点一一对应的N*N矩阵作为训练集；神经网络模块：构建神经网络结构，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为体素坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；训练模块：将静态标定的外参矩阵作为初始值训练模型；融合模块：使用训练完成的模型得到外参矩阵，根据得到的外参矩阵对三维点云和二维图像进行融合。优选的技术方案中，所述神经网络模块中所述外参矩阵采用梯度下降法进行网络的反向传播，所述内参矩阵的学习率为0，不做反向传播。优选的技术方案中，所述神经网络模块中外参矩阵乘积核的乘积运算的步长为1，核大小为1个单位。优选的技术方案中，所述训练模块中还包括测试模块，用于迭代一定数量后，对更新的外参矩阵进行测试，用更新的外参矩阵重新计算点云到图像的投影，计算误差，若误差小于设定阈值，判断训练完成。与现有技术相比，本专利技术的优点是：1.本专利技术提供模拟神经网络学习方法优化外参矩阵的方案，解决现有三维二维融合投影不准确的问题，特别是在运动状态下三维到二维的投影结果偏差很大，很难达到商用性的现状的技术问题，该方法可以适配实际激光雷达和摄像头采集的情况，解决了真实设备采集时是动态的，而传统的标定时是静态的，时间戳的时间差会导致静态标定无法满足准确的三维点云到二维彩色融合投影的问题。可以为自动驾驶或者高级辅助驾驶提供更加精准的外参矩阵。2.本专利技术的神经网络是一种基于外参核的乘积网络，采用的是乘积运算规律，该网络的设计简便，实现方便，运算速度快基本不耗时，可以应用与自动驾驶汽车运行过程中，实现动态自修订。附图说明下面结合附图及实施例对本专利技术作进一步描述：图1为本专利技术基于神经网络的三维点云和二维图像融合的校准方法的流程图；图2为本专利技术图像和点云坐标位置的一一对应关系示意图；图3为本专利技术基于外参核的乘积网络结构示意图；图4为本专利技术方法中像素和点云一一坐标对应的样例图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。实施例：下面结合附图，对本专利技术的较佳实施例作进一步说明。一种基于神经网络的三维点云和二维图像融合的校准方法，包括以下步骤：S01：获取图像的像素坐标，及激光雷达的体素坐标；S02：建立像素坐标点和体素坐标点一一对应的N*N矩阵作为训练集；S03：构建神经网络结构，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为体素坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；S04：将静态标定的外参矩阵作为初始值训练模型；S05：使用训练完成的模型得到外参矩阵，根据得到的外参矩阵对三维点云和二维图像进行融合。如图2所示，为构建用于训练的数据集，采用百张以上的一一对应的点云和图像。点云和图像可以是实时的激光雷达和摄像头采集的数据。对于点云和图像进行坐标提取，该过程相当于标注本文档来自技高网...

【技术保护点】
1.一种基于神经网络的三维点云和二维图像融合的校准方法，其特征在于，包括以下步骤：/nS01：获取图像的像素坐标，及激光雷达的体素坐标；/nS02：建立像素坐标点和体素坐标点一一对应的N*N矩阵作为训练集；/nS03：构建神经网络结构，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为体素坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；/nS04：将静态标定的外参矩阵作为初始值训练模型；/nS05：使用训练完成的模型得到外参矩阵，根据得到的外参矩阵对三维点云和二维图像进行融合。/n

【技术特征摘要】
1.一种基于神经网络的三维点云和二维图像融合的校准方法，其特征在于，包括以下步骤：
S01：获取图像的像素坐标，及激光雷达的体素坐标；
S02：建立像素坐标点和体素坐标点一一对应的N*N矩阵作为训练集；
S03：构建神经网络结构，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为体素坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；
S04：将静态标定的外参矩阵作为初始值训练模型；
S05：使用训练完成的模型得到外参矩阵，根据得到的外参矩阵对三维点云和二维图像进行融合。


2.根据权利要求1所述的基于神经网络的三维点云和二维图像融合的校准方法，其特征在于，所述步骤S03中所述外参矩阵采用梯度下降法进行网络的反向传播，所述内参矩阵的学习率为0，不做反向传播。


3.根据权利要求1所述的基于神经网络的三维点云和二维图像融合的校准方法，其特征在于，所述步骤S03中外参矩阵乘积核的乘积运算的步长为1，核大小为1个单位。


4.根据权利要求1所述的基于神经网络的三维点云和二维图像融合的校准方法，其特征在于，所述步骤S04中还包括迭代一定数量后，对更新的外参矩阵进行测试，用更新的外参矩阵重新计算点云到图像的投影，计算误差，若误差小于设定阈值，判断训练完成。


...

【专利技术属性】
技术研发人员：张翠翠，孙辉，潘陶嘉诚，王若沣，
申请(专利权)人：清华大学苏州汽车研究院吴江，清华大学，
类型：发明
国别省市：江苏;32