使用模型注入进行点云数据增强的设备制造技术

本申请涉及使用模型注入来增强点云数据的设备

【技术实现步骤摘要】
【国外来华专利技术】使用模型注入进行点云数据增强的设备、系统、方法和媒体


[0001]本申请大体涉及用于机器学习的点云数据增强，尤其涉及使用模型注入进行点云数据增强的设备
、
系统
、
方法和媒体
。

技术介绍

[0002]激光雷达
(Light Detection And Ranging
，
LiDAR
，在本文中也称为“Lidar”或“LIDAR”)
传感器生成表示所述
LIDAR
传感器扫描的三维
(three
‑
dimensional
，
3D)
环境
(
也称为“场景”)
的点云数据
。LIDAR
传感器的单次扫描在表示
LIDAR
传感器执行一次扫描所花费时间的时间段内，生成从空间中的一个或多个点反射光的一组点组成的点云数据的“帧”(
以下称为“点云帧”)。
旋转扫描
LIDAR
传感器等一些
LIDAR
传感器包括呈弧形发射光的激光器阵列，
LIDAR
传感器围绕单个位置旋转以生成点云帧；固态
LIDAR
传感器等其它
LIDAR
传感器包括从一个或多个位置发射光的激光器阵列并将从每个位置检测到的反射光整合在一起以形成点云帧
。
激光器阵列中的每个激光器用于在每次扫描过程中生成多个点，并且点云帧中的每个点对应于激光器在环境中空间的某个点处发射的反射光的对象
。
每个点通常存储为一组空间坐标
(X、Y、Z)
以及指示强度
(
即，使激光器反射的对象的反射率
)
等值的其它数据
。
在一些实现方式中，其它数据可以表示为值数组
。
在旋转扫描
LIDAR
传感器中，点云帧的
Z
轴通常由
LIDAR
传感器的旋转轴界定；在大多数情况下，该旋转轴与每个激光器的方位方向大致正交
(
尽管一些
LIDAR
传感器可能会使一些激光器相对于与旋转轴正交的平面略微向上或向下倾斜
)。
[0003]点云数据帧也可以通过高清雷达或深度摄像头等其它扫描技术生成；理论上，使用电磁能量或声波能量等能量扫描波束的任何技术都可以用于生成点云帧
。
尽管本文将结合
LIDAR
传感器描述示例，但应当理解的是，在一些实施例中，可以使用生成点云帧的其它传感器技术
。
[0004]LIDAR
传感器是自动驾驶车辆中用于感测自动驾驶车辆周围环境
(
即，场景
)
的主传感器之一
。
自动驾驶车辆通常包括自动驾驶系统
(automated driving system
，
ADS)
或高级驾驶员辅助系统
(advanced driver
‑
assistance system
，
ADAS)。ADS
或
ADAS
包括感知子模块，该感知子模块处理点云帧以生成可由
ADS
或
ADAS
的其它子系统使用的预测，以用于自动驾驶车辆的定位
、
自动驾驶车辆的路线规划
、
自动驾驶车辆的运动规划或自动驾驶车辆的轨迹生成
。
但是，由于点云帧的稀疏性和无序性，在点级收集和标记点云帧既耗时又成本高昂
。
点云帧中的点必须进行聚集
、
分割或分组处理
(
例如，使用对象检测
、
语义分割
、
实例分割或全景分割
)
，使得点云帧中的点的集合可以使用对象类
(
例如，“行人”或“摩托车”)
或对象类实例
(
例如，“行人
#3”)
进行标记，这些标记在机器学习中用于训练对点云帧执行对象检测或各种类型的分割等预测任务的模型
。
这一繁琐的标记过程导致标记的点云帧的可用性有限，这些标记的点云帧表示使用机器学习来训练对点云帧执行预测任务的高准确性模型所需的各种公路和交通场景
。
[0005]包括用于使用分割和对象检测等预测任务的机器学习来训练模型的点云帧的此
类标记的点云数据集的示例包括：
SemanticKITTI
数据集
(
如
J.Behley
等人描述的，“SemanticKITTI
：用于
LiDAR
序列语义场景理解的数据集
(SemanticKITTI:A Dataset for Semantic Scene Understanding of LiDAR Sequences)”，
2019
年
IEEE/CVF
国际计算机视觉大会
(International Conference on Computer Vision
，
ICCV)
，韩国首尔，
2019
年，第
9296
‑
9306
页，
doi:10.1109/ICCV.2019.00939)
；
KITTI360(
如
J.Xie、M.Kiefel、M.Sun
和
A.Geiger
描述的，“基于
3D
到
2D
标记转移的街景场景语义实例注释
(Semantic Instance Annotation of Street Scenes by3D to 2D Label Transfer)”，
2016
年
IEEE
计算机视觉和模式识别
(Computer Vision and Pattern Recognition
，
CVPR)
会议，美国内华达州拉斯维加斯，
2016
年，第
3688
‑
3697
页，
doi:10.1109/CVPR.2016.401.)
；
Nuscenes
‑
lidarseg(
如
H.Caesar
等人描述的，“nuScenes
：用于自动驾驶的多模式数据集
(nuScenes:AMultimodal Dataset for Autonomous Driving)”，
2020
年
IEEE/CVF
计算机视觉和模式识别
(C本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种方法，其特征在于，所述方法包括：获取点云对象实例；使用插值法对所述点云对象实例进行上采样，以生成曲面模型
。2.
根据权利要求1所述的方法，其特征在于：所述点云对象实例包括：方向信息，指示所述点云对象实例相对于传感器位置的方向；对于所述点云对象实例中多个点中的每一个，所述点云对象实例包括：点强度信息；点位置信息；所述曲面模型包括所述点云对象实例的所述方向信息
、
所述点强度信息和所述点位置信息
。3.
根据权利要求2所述的方法，其特征在于：所述点云对象实例包括多条扫描线，每条扫描线包括所述多个点的子集；对所述点云对象实例进行上采样包括：使用线性插值法，沿至少一条扫描线添加点
。4.
根据权利要求3所述的方法，其特征在于，对所述点云对象实例进行上采样还包括：使用线性插值法，在所述多条扫描线中的至少一对扫描线之间添加点
。5.
根据权利要求4所述的方法，其特征在于，使用线性插值法添加点包括：根据两个现有点的点位置信息的线性插值法，将所述点位置信息分配给所述添加的点；根据所述两个现有点的点强度信息的线性插值法，将所述点强度信息分配给所述添加的点
。6.
一种方法，其特征在于，所述方法包括：获取目标点云帧；确定所述目标点云帧内的锚点位置；获取对象的曲面模型；根据所述锚点位置对所述曲面模型进行转换，以生成转换后的曲面模型；生成所述转换后的曲面模型的扫描线，每条扫描线包括与所述目标点云帧的扫描线对齐的多个点；将所述转换后的曲面模型的所述扫描线添加到所述目标点云帧，以生成增强点云帧
。7.
根据权利要求6所述的方法，其特征在于，所述曲面模型包括密集点云对象实例
。8.
根据权利要求7所述的方法，其特征在于，获取所述曲面模型包括：获取点云对象实例；使用插值法对所述点云对象实例进行上采样，以生成所述曲面模型
。9.
根据权利要求6所述的方法，其特征在于，所述曲面模型包括计算机辅助设计
(computer assisted design
，
CAD)
模型
。10.
根据权利要求6所述的方法，其特征在于，所述曲面模型包括完整的密集点云对象扫描
。11.
根据权利要求...

【专利技术属性】
技术研发人员：任远，埃山，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：