可移动平台的障碍物检测方法、装置及可移动平台制造方法及图纸

一种可移动平台(200)的障碍物检测方法、装置(100)及可移动平台(200)，方法包括：获取所述可移动平台(200)所处周围环境对应的点云(S101)；将点云划分至三维网格中，并确定每个三维网格对应的网格数据，网格数据包括每个三维网格的点云密度(S102)；将网格数据输入到预先训练的神经网络中，以确定可移动平台(200)所处周围环境的障碍物信息(S103)。提出了一种新型的三维点云表示方式，通过将点云三维网格化，解决了无序点云无法作为神经网络的输入的问题，此外，将不规则点云处理成规则的表示形式，能够更好地表现障碍物的轮廓信息。同时，通过将包括点云密度的网格数据作为神经网络的输入，可以对每个三维网格的点云的数量作区分，提高障碍物检测的准确率。

【技术实现步骤摘要】
【国外来华专利技术】可移动平台的障碍物检测方法、装置及可移动平台
本专利技术涉及障碍物检测领域，尤其涉及一种可移动平台的障碍物检测方法、装置及可移动平台。
技术介绍
无人驾驶车辆是利用车载传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。车载传感器主要包括激光雷达、毫米波雷达和视觉传感器。其中，激光雷达的基本原理为主动对被探测对象发射激光脉冲信号，并获得其反射回来的脉冲信号，根据发射信号和接收信号之间的时间差计算被测对象的深度信息；基于激光雷达的已知发射方向，获得被测对象相对激光雷达的角度信息；结合前述深度和角度信息得到点云。然而，激光雷达所探测的点云为非结构化的无序数据，不可直接作为神经网络的输入，因此，如何利用点云和神经网络检测障碍物成为亟待解决的热点问题。
技术实现思路
本专利技术提供一种可移动平台的障碍物检测方法、装置及可移动平台，可以利用神经网络对点云进行处理，以得到可移动平台所处周围环境的障碍物信息，并且障碍物检测的准确率高，可以更好的描述障碍物的轮廓信息。具体地，本专利技术是通过如下技术方案实现的：根据本专利技术的第一方面，提供一种可移动平台的障碍物检测方法，所述方法包括：获取所述可移动平台所处周围环境对应的点云；将所述点云划分至三维网格中，并确定每个三维网格对应的网格数据，所述网格数据包括所述每个三维网格的点云密度；将所述网格数据输入到预先训练的神经网络中，以确定所述可移动平台所处周围环境的障碍物信息。根据本专利技术的第二方面，提供一种可移动平台的障碍物检测装置，包括：存储装置，用于存储程序指令；一个或多个处理器，调用所述存储装置中存储的程序指令，当所述程序指令被执行时，所述一个或多个处理器单独地或共同地被配置用于：获取所述可移动平台所处周围环境对应的点云；将所述点云划分至三维网格中，并确定每个三维网格对应的网格数据，所述网格数据包括所述每个三维网格的点云密度；将所述网格数据输入到预先训练的神经网络中，以确定所述可移动平台所处周围环境的障碍物信息。根据本专利技术的第三方面，提供一种可移动平台，包括：平台主体；动力系统，安装于所述平台主体，用于为所述可移动平台提供动力；传感器，安装于所述平台主体，用于获取所述可移动平台所处周围环境对应的点云；以及第二方面所述的可移动平台的障碍物检测装置。由以上本专利技术实施例提供的技术方案可见，本专利技术提出了一种新型的三维点云表示方式，通过将点云三维网格化，解决了无序点云无法作为神经网络的输入的问题，此外，将不规则点云处理成规则的表示形式，能够更好地表现障碍物的轮廓信息。同时，通过将包括点云密度的网格数据作为神经网络的输入，可以对每个三维网格的点云的数量作区分，提高障碍物检测的准确率。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例中的一种可移动平台的障碍物检测方法的方法流程图；图2是本专利技术一实施例中的一种对点云进行上采样处理的方法流程图；图3是本专利技术一实施例中的一种神经网络的一具体网络结构示意图；图4是本专利技术一实施例中的一种可移动平台的障碍物检测方法的一种具体的方法流程图；图5是本专利技术一实施例中的一种可移动平台的障碍物检测装置的结构框图；图6是本专利技术一实施例中的一种可移动平台的结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。本专利技术实施例的可移动平台可以为汽车、无人飞行器、遥控车、无人船或机器人，其中，汽车可以为无人驾驶车辆，也可以为有人驾驶车辆，无人飞行器可以为无人机或其他无人飞行器。当然，可移动平台并不限于上述列举的可移动平台，也可为其他可移动平台。以无人机驾驶车辆为例，无人驾驶车辆是利用车载传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。车载传感器主要包括激光雷达、毫米波雷达和视觉传感器。其中，激光雷达的基本原理为主动对被探测对象发射激光脉冲信号，并获得其反射回来的脉冲信号，根据发射信号和接收信号之间的时间差计算被测对象的深度信息；基于激光雷达的已知发射方向，获得被测对象相对激光雷达的角度信息；结合前述深度和角度信息得到点云。然而，激光雷达所探测的点云为非结构化的无序数据，不可直接作为神经网络的输入。本专利技术通过将点云三维网格化，解决了无序点云无法作为神经网络的输入的问题，此外，将不规则点云处理成规则的表示形式，能够更好地表现障碍物的轮廓信息。同时，通过将包括点云密度的网格数据作为神经网络的输入，可以对每个三维网格的点云的数量作区分，提高障碍物检测的准确率。图1是本专利技术一实施例中的一种可移动平台的障碍物检测方法的方法流程图；如图1所示，本专利技术实施例的可移动平台的障碍物检测方法可以包括如下步骤：S101：获取可移动平台所处周围环境对应的点云；点云的获取方式可根据需要选择，例如，在某些实施例中，点云由安装在可移动平台上的单个传感器检测获得，该传感器可以为激光雷达、毫米波雷达等，此外还可以基于立体视觉获取周围环境对应的点云。在某些实施例中，点云由安装在可移动平台上的多个传感器检测确定，多个传感器可以为激光雷达、毫米波雷达、双目摄像头中至少两个的组合；当然，多个传感器不限于上述传感器的组合，也可以为其他能够获得点云的至少两个传感器的组合。采用单个传感器检测获得的点云一般较为稀疏，在稀疏点云的条件下，障碍物检测效果不佳。因此，在获取可移动平台所处周围环境对应的点云时，可以获取预设时长内探测到的点云，从而实现点云的累积，实现点云密度上的基础提升。其中，预设时长可以根据需要设定，如50ms或其他时长大小。作为一可行的实现方式，对于采集时刻为t的点云，获取t至t-50ms的时间段内通过激光雷达检测获得的所有点云。S102：将点云划分至三维网格中，并确定每个三维网格对应的网格数据，网格数据包括每个三维网格的点云密度；该步骤中，在x、y、z三个方向上按照一定分辨率，进行栅格划分，从而将空间的点云划分至三维网格中，其中，x、y、z可以为自定义的坐标系，也可以为世界坐标系。x、y、z三个方向进行栅格划分的分辨率大小可相等，也可不相等。其中，每个三维网格本文档来自技高网...

【技术保护点】
1.一种可移动平台的障碍物检测方法，其特征在于，所述方法包括：/n获取所述可移动平台所处周围环境对应的点云；/n将所述点云划分至三维网格中，并确定每个三维网格对应的网格数据，所述网格数据包括所述每个三维网格的点云密度；/n将所述网格数据输入到预先训练的神经网络中，以确定所述可移动平台所处周围环境的障碍物信息。/n

【技术特征摘要】
【国外来华专利技术】1.一种可移动平台的障碍物检测方法，其特征在于，所述方法包括：
获取所述可移动平台所处周围环境对应的点云；
将所述点云划分至三维网格中，并确定每个三维网格对应的网格数据，所述网格数据包括所述每个三维网格的点云密度；
将所述网格数据输入到预先训练的神经网络中，以确定所述可移动平台所处周围环境的障碍物信息。


2.根据权利要求1所述的方法，其特征在于，所述点云由安装在所述可移动平台上的激光雷达检测获得。


3.根据权利要求1所述的方法，其特征在于，所述获取所述可移动平台所处周围环境对应的点云，包括：
获取预设时长内所述可移动平台所处周围环境对应的点云。


4.根据权利要求1所述的方法，其特征在于，所述获取所述可移动平台所处周围环境对应的点云之后，将所述点云划分至三维网格中之前，还包括：
对所述点云进行上采样处理；
所述将所述点云划分至三维网格中，包括：
将上采样处理后的点云划分至三维网格中。


5.根据权利要求4所述的方法，其特征在于，所述对所述点云进行上采样处理，包括：
针对每个点云，确定距离该点云的预设距离内的第一空间的点云的数量；
若所述第一空间的点云的数量小于第一预设阈值，则在所述第一空间内插入新的点云，使得上采样处理后第一空间的点云的数量达到所述第一预设阈值。


6.根据权利要求4所述的方法，其特征在于，所述上采样处理的方式为双线性插值方式。


7.根据权利要求1所述的方法，其特征在于，所述每个三维网格的点云密度根据所述每个三维网格的点云的数量和对应的三维网格的体积确定。


8.根据权利要求7所述的方法，其特征在于，所述每个三维网格的点云密度为所述每个三维网格的点云的数量和对应的三维网格的体积的比值。


9.根据权利要求1所述的方法，其特征在于，所述每个三维网格的点云密度为对所有三维网格的点云密度进行归一化后确定的点云密度。


10.根据权利要求9所述的方法，其特征在于，所述归一化后确定的点云密度为所述每个三维网格的点云密度与所述所有三维网格的点云密度中的最大值的比值。


11.根据权利要求1所述的方法，其特征在于，所述网格数据还包括所述每个三维网格的位置和/或所述每个三维网格的尺寸大小。


12.根据权利要求1所述的方法，其特征在于，所述障碍物信息包括：障碍物候选框的位置信息和所述障碍物候选框的置信度。


13.根据权利要求12所述的方法，其特征在于，所述障碍物候选框的位置信息包括：所述障碍物候选框的顶点的位置坐标。


14.根据权利要求12所述的方法，其特征在于，所述将所述网格数据输入到预先训练的神经网络中，确定所述可移动平台所处周围环境的障碍物信息之后，还包括：
根据所述障碍物候选框的位置信息和所述障碍物候选框的置信度，确定所述可移动平台所处周围环境的障碍物的预测结果。


15.根据权利要求14所述的方法，其特征在于，所述根据所述障碍物候选框的位置信息和所述障碍物候选框的置信度，确定所述可移动平台所处周围环境的障碍物的预测结果，包括：
若所述障碍物候选框的置信度大于或等于预设置信度阈值，则判定对应的障碍物候选框中存在障碍物，并将所述障碍物候选框的位置信息作为所述预测结果；
若所述障碍物候选框的置信度小于预设置信度阈值，则判定对应的障碍物候选框的中不存在障碍物。


16.根据权利要求1所述的方法，其特征在于，所述神经网络包括：
卷积和池化层，用于对输入所述神经网络的网格数据进行处理，得到第一特征图；
ROIPooling层，用于根据所述第一特征图的特征信息，预测所述可移动平台所处周围环境的初始障碍物信息；
全连接层，用于对经所述ROIPooling层处理后的第一特征图进行处理，得到第二特征图；
修正层，用于根据所述第二特征图的特征信息，修正所述初始障碍物信息，确定所述可移动平台所处周围环境的障碍物信息。


17.根据权利要求16所述的方法，其特征在于，所述全连接层包括至少两个。


18.一种可移动平台的障碍物检测装置，其特征在于，包括：
存储装置，用于存储程序指令；
一个或多个处理器，调用所述存储装置中存储的程序指令，当所述程序指令被执行时，所述一个或多个处理器单独地或共同地被配置用于：
获取所述可移动平台所处周围环境对应的点云；

【专利技术属性】
技术研发人员：蒋卓键，陈晓智，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44