一种融合语义信息的激光雷达目标检测方法及系统技术方案

本发明专利技术公开了一种融合语义信息的激光雷达目标检测方法及系统，所述方法包括：对每一时间戳下的图像帧进行语义分割处理，获得语义分割分数；在每一帧点云数据中添加相应摄像机坐标下的图像RGB特征；将添加所述图像RGB特征的所述点云数据投影到分割网络的输出中，并将所述语义分割分数附加到所述点云数据中；对附加所述语义分割分数和所述图像RGB特征的所述点云数据进行基于图卷积的目标分类与3D框回归，获得目标位置框和目标类别。解决了现有技术中存在对目标的特征的检测效果不够准确，进而导致对车辆、行人的目标检测不够准确和高效的技术问题。的技术问题。的技术问题。

A lidar target detection method and system based on semantic information fusion

【技术实现步骤摘要】
一种融合语义信息的激光雷达目标检测方法及系统


[0001]本专利技术涉及计算机视觉领域相关领域，尤其涉及一种融合语义信息的激光雷达目标检测方法及系统。

技术介绍

[0002]环境感知技术于智能交通、智能穿戴设备、智慧城市等领域有着重要的意义。其中，传感器获取并处理信息是实现环境感知的基础和技术前提，相机获取的图像数据具有固有的深度模糊性，受光线及天气影响较大，但是可以提供细粒度的纹理以及颜色信息；另一方面，激光雷达获取的点云数据提供了非常精确的目标空间位置信息，但是分辨率和纹理信息较弱。为了改善单一传感器造成的检测效果不佳，目前多采用多传感器融合的研究方法从而能够提供丰富且准确的环境信息。
[0003]现有的多传感器融合方法主要分为三类：特征级别融合、决策级别融合以及2D目标框投影点云的two
‑
stage融合。特征级别融合例如Xiaozhi Chen等人提出的MV3D、JasonKu等人提出的AVOD等网络结构，主要是将图像特征与点云特征分流提取，再在特征级别上进行直接级联或者进行特征的多尺度融合。但是这种融合方式最大的缺点在于“特征模糊”，一方面点云的一个点对应图像视图上的多个像素点，另一方面提取的图像特征图与点云特征图中，特征的数量级相差较大，也就造成了实际起作用的特征图中并未很好地利用到小量级的信息；决策级别融合是相对简单的融合方式，例如SuPang等人提出的CLOCs网络，即两种模态的特征不在特征层或者最开始就融合，而是分别进行各自网络的训练推理，分别得到2D和3D检测器下的proposals，再将两种模态的proposals编码成稀疏张量，对于非空的元素采用二维卷积做对应的特征融合。决策层融合的好处在于两种模态的网络结构之间互不干扰，可以独自训练和组合，但是存在一定的缺点就是在决策层做融合实际上是对原始传感器数据信息利用最少的，不能很好地利用多传感器数据之间互补的特性；以Charles R.Qi等人所提出的F
‑
Pointnet结构为代表的two
‑
stage方法首先依据2D检测器得到图像目标检测结果，再将其投影到3D激光雷达数据上。但是这种融合方式过度依赖2D检测器的性能，并且二维框投影到点云数据后，存在小目标物体由于点云的稀疏性，在投影的视锥框中无法进行点集特征提取与识别的问题。
[0004]但本申请专利技术人在实现本申请实施例中专利技术技术方案的过程中，发现上述技术至少存在如下技术问题：
[0005]现有技术中存在对目标的特征的检测效果不够准确，进而导致对车辆、行人的目标检测不够准确和高效的技术问题。

技术实现思路

[0006]本申请实施例通过提供一种融合语义信息的激光雷达目标检测方法及系统，解决了现有技术中存在对目标的特征的检测效果不够准确，进而导致对车辆、行人的目标检测不够准确和高效的技术问题，进而达到基于图像语义分割和图卷积特征提取视觉激光融合
目标检测方法，显著提高对道路车辆、行人目标检测的准确性、高效性的技术效果。
[0007]鉴于上述问题，提出了本申请实施例提供一种融合语义信息的激光雷达目标检测方法及系统。
[0008]第一方面，本申请还提供了一种融合语义信息的激光雷达目标检测方法，所述方法包括：对每一时间戳下的图像帧进行语义分割处理，获得语义分割分数；在每一帧点云数据中添加相应摄像机坐标下的图像RGB特征；将添加所述图像RGB特征的所述点云数据投影到分割网络的输出中，并将所述语义分割分数附加到所述点云数据中；对附加所述语义分割分数和所述图像RGB特征的所述点云数据进行基于图卷积的目标分类与3D框回归，获得目标位置框和目标类别。
[0009]另一方面，本申请还提供了一种融合语义信息的激光雷达目标检测系统，所述系统包括：第一获得单元，所述第一获得单元用于对每一时间戳下的图像帧进行语义分割处理，获得语义分割分数；第一添加单元，所述第一添加单元用于在每一帧点云数据中添加相应摄像机坐标下的图像RGB特征；第一投影单元，所述第一投影单元用于将添加所述图像RGB特征的所述点云数据投影到分割网络的输出中，并将所述语义分割分数附加到所述点云数据中；第二获得单元，所述第二获得单元用于对附加所述语义分割分数和所述图像RGB特征的所述点云数据进行基于图卷积的目标分类与3D框回归，获得目标位置框和目标类别。
[0010]第三方面，本专利技术提供了一种融合语义信息的激光雷达目标检测系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现第一方面所述方法的步骤。
[0011]本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0012]由于采用了通过采用语义分割处理图像和图卷积处理点云数据，语义分割采用编解码器结构，保留轮廓信息的同时来获取高层语义信息，通过图卷积结构提取点云数据特征，根据近邻点的相对坐标编码以及中心点特征更新点的状态，很好地表征了空间点的结构特征，提高了检测的准确性，进而达到基于图像语义分割和图卷积特征提取视觉激光融合目标检测方法，显著提高对道路车辆、行人目标检测的准确性、高效性的技术效果。
[0013]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0014]图1为本申请实施例一种融合语义信息的激光雷达目标检测方法的流程示意图；
[0015]图2为本申请实施例一种融合语义信息的激光雷达目标检测方法的结构示意图；
[0016]图3为本申请实施例示例性电子设备的结构示意图。
[0017]附图标记说明：第一获得单元11，第一添加单元12，第一投影单元13，第二获得单元14，总线300，接收器301，处理器302，发送器303，存储器304，总线接口305。
具体实施方式
[0018]本申请实施例通过提供一种融合语义信息的激光雷达目标检测方法及系统，解决
了现有技术中存在对目标的特征的检测效果不够准确，进而导致对车辆、行人的目标检测不够准确和高效的技术问题，进而达到基于图像语义分割和图卷积特征提取视觉激光融合目标检测方法，显著提高对道路车辆、行人目标检测的准确性、高效性的技术效果。下面，将参考附图详细的描述根据本申请的示例实施例。显然，所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
[0019]申请概述
[0020]环境感知技术于智能交通、智能穿戴设备、智慧城市等领域有着重要的意义。其中，传感器获取并处理信息是实现环境感知的基础和技术前提，相机获取的图像数据具有固有的深度模糊性，受光线及天气影响较大，但是可以提供细粒度的纹理以及颜色信息；另一方面，激光雷达获取的点云数据提供了非常精确的目标空间位置信息，但是分辨率和纹理信息较弱。为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合语义信息的激光雷达目标检测方法，其中，所述方法包括：对每一时间戳下的图像帧进行语义分割处理，获得语义分割分数；在每一帧点云数据中添加相应摄像机坐标下的图像RGB特征；将添加所述图像RGB特征的所述点云数据投影到分割网络的输出中，并将所述语义分割分数附加到所述点云数据中；对附加所述语义分割分数和所述图像RGB特征的所述点云数据进行基于图卷积的目标分类与3D框回归，获得目标位置框和目标类别。2.如权利要求1所述的方法，其中，所述对每一时间戳下的图像帧进行语义分割处理，获得语义分割分数，包括；将ResNet101作为主网络，通过编码器对所述每一时间戳下的图像帧进行下采样特征提取；对所述每一时间戳下的图像帧通过解码器进行上采样的恢复分辨率处理，获得预测特征图；根据所述预测特征图，获得所述语义分割分数。3.如权利要求1所述的方法，其中，所述在每一帧点云数据中添加相应摄像机坐标下的图像RGB特征，所述方法包括：对于每一帧点云数据，根据点云坐标系到相机坐标系的转换矩阵，将空间点云位置转换到照相机坐标系下的坐标点位置；筛选各相机坐标点中Z轴坐标值大于0.1的点，获得第一索引位置集合；根据所述第一索引位置集合通过照相机坐标系到图像坐标系的转换矩阵，获得到图像坐标系下的坐标值；加载所述点云数据对应的图像帧，获得每个坐标值下的RGB通道数据；将所述RGB通道数据级联至点云特征维度。4.如权利要求3所述的方法，其中，所述将添加所述图像RGB特征的所述点云数据投影到分割网络的输出中，并将所述语义分割分数附加到所述点云数据中，包括：对所述每一时间戳下的图像帧，索引所述分割网络输出的带有所述语义分割分数的各点图像坐标；将对应类别叠加至相应帧中已经过投影到图像坐标系的所述点云数据中。5.如权利要求1所述的方法，其中，所述对附加所述语义分割分数和所述图像RGB特征的所述点云数据进行基于图卷积的目标分类与3D框回归，获得目标位置框和目标类别，包括：对所述点云数据进行基于下采样的图构建；构建图神经网络更新迭代每一个中心点的特征，通过相邻点的状态来改善中心点的状态；定位分支预测每个类别的边界框，如果一个顶点在一个边界框中，计算预测值与groundtruth的Huber损失；如果一个顶点不在所述边界框中或者是非感兴趣类，将其定位损失置为0。6.如权利要求5所述的方法，其中，所述构建图神经网络更新迭代每一个中心点的特征，通过相邻点的状态来改善中心点的状态，公式如下：
其中，定义一个含有N个点的点云图为P＝{p1，...，p
...

【专利技术属性】
技术研发人员：李燕，陈超，齐飞，王晓甜，石光明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：