导航的方法和装置制造方法及图纸

本申请提供了一种导航的方法和装置，该方法包括：在确定车辆驶入非结构化道路时，获取该非结构化道路的实景图像；获取该实景图像的点特征信息和线特征信息，该点特征信息包括该实景图像中的至少一个像素点的特征信息，该线特征信息包括该实景图像中的至少一条线段的特征信息，该点特征信息中像素点的数量根据该线特征信息中线段的数量确定；根据该点特征信息和该线特征信息，优化该车辆的运动参数。本发明专利技术实施例中提供的导航的方法，通过结合点特征信息和线特征信息，能够有效提高运动参数的优化效果，此外，通过线特征信息中线段的数量限定点特征信息中像素点的数量，能够有效降低运算复杂度。

Navigation methods and devices

The application provides a navigation method and device, which includes: acquiring the scene image of the unstructured road when determining the vehicle driving into the unstructured road; acquiring the point feature information and line feature information of the scene image, which includes the feature information of at least one pixel in the scene image, and the line feature information including the feature information of the scene image. The number of pixels in the feature information of at least one line segment is determined according to the number of line segments in the feature information of the line, and the motion parameters of the vehicle are optimized according to the feature information of the point and the feature information of the line. The navigation method provided in the embodiment of the present invention can effectively improve the optimization effect of motion parameters by combining point feature information with line feature information. In addition, the number of pixels in point feature information can be effectively reduced by limiting the number of line segments in line feature information.

【技术实现步骤摘要】
导航的方法和装置
本专利技术实施例涉及导航
，并且更具体地，涉及导航的方法和装置。
技术介绍
在导航领域中，道路场景分为结构化道路与非结构化道路，结构化道路包括高速公路、城市干道；而非结构化城区岔路、城郊道路、越野道路。结构化道路可利用人工标记的高精度地图进行导航，而非结构化道路则常需通过车辆传感器感知环境信息实现组合导航。现有技术中，将利用图像算法实现里程计功能的方法称之为“视觉里程计”，将结合惯性测量单元(Inertialmeasurementunit，IMU)的视觉里程计称为“惯性-视觉里程计”。具体地，视觉里程计是对相机拍摄的图像进行处理并计算拍摄图像过程中的摄像机运动状态实现里程计功能。惯性-视觉里程计组合导航的核心原理是由惯性测量器连续估计车体局部运动，由视觉里程计得出一定时间的路程，修正IMU引入的系统累积误差，得到正确的车辆行驶轨迹。例如，如图1所示，Mobileye公司在CVPR2016上做的专题报告(DisruptingTransportationIsJustAroundtheCorner:AutonomousDriving,ComputerVisionandMachineLearning)中提出了一种利用道路标记导航定位的方法。具体地，在结构化路段上，通过提取道路结构化特征或道标，构建带有全球定位系统(GlobalPositioningSystem，GPS)坐标的路标数据库进行高精度结构化路段定位；而非结构化路段上依靠惯性测量。这种方法虽然在规范的结构化道路下性能良好。但是，由于该方法对IMU累积误差精度较为敏感，导致无法长时间工作在非结构化道路下。为了实现在非结构化道路下的导航车辆，谷歌与加州大学洛杉矶分校的合作项目以及本田专利US9342888B2中提出了一种利用非结构化特征导航定位的方法。具体地，如图2所示，通过提取出非结构化道路场景下的自然特征点，利用点特征估计车辆运动参数并修正IMU读数，实现非结构化道路定位。但是，通过该方法进行导航定位时，非结构化的点特征提取不稳定，且数量较多，难以削减；而非结构化线特征的参数关联方法较为复杂，提取不稳定。因此，在导航领域中的非结构化道路下，亟需一种能够有效修正导航系统的IMU测量的车辆运动参数累积误差的技术方案。
技术实现思路
本申请提供一种导航的方法和装置，能够有效提高运动参数的优化效果。第一方面，提供了一种用于导航的方法，所述方法包括：在确定车辆驶入非结构化道路时，获取所述非结构化道路实景图像；获取所述实景图像的点特征信息和线特征信息，所述点特征信息包括所述实景图像中的至少一个像素点的特征信息，所述线特征信息包括所述实景图像中的至少一条线段的特征信息，所述点特征信息中像素点的数量根据所述线特征信息中线段的数量确定；根据所述点特征信息和所述线特征信息，优化所述车辆的运动参数。本专利技术实施例中提供的导航的方法，通过结合点特征信息和线特征信息，能够有效提高运动参数的优化效果。此外，通过线特征信息中线段的数量限定点特征信息中像素点的数量，能够有效降低运算复杂度。在一些可能的实现方式中，所述获取实景图像，包括：所述获取所述实景图像的点特征信息和线特征信息，包括：对所述实景图像进行图像分割，形成第一图像，所述第一图像包括路面区域和非路面区域；在所述路面区域的边界处，获取所述线特征信息；在所述非路面区域中，获取所述点特征信息。在一些可能的实现方式中，所述在所述路面区域的边界处，获取所述线特征信息，包括：在所述路面区域的边界处，通过霍夫变换对所述第一图像进行线段检测，获取第二图像；处理所述第二图像并获取用于表示所述线特征信息的至少一个特征向量。在一些可能的实现方式中，所述在所述非路面区域中，确定所述点特征信息，包括：在所述非路面区域，将所述第一图像的梯度响应极值点对应的梯度响应值按第一顺序排列，并根据所述线特征信息的数量在所述第一顺序中确定用于表示所述点特征信息的至少一个特征向量。在一些可能的实现方式中，所述点特征信息的数量与所述线特征信息的数量之间的关系满足以下公式：其中，所述kl为所述线特征信息的数量，所述kp为所述点特征信息的数量，所述mod()为取整函数，所述c为常量补偿值。在一些可能的实现方式中，所述根据所述点特征信息和所述线特征信息，优化所述车辆的运动参数，包括：根据所述点特征信息和所述线特征信息确定误差函数，根据所述误差函数优化所述运动参数。在一些可能的实现方式中，所述误差函数如下公式所示：其中，所述E(P)为所述误差函数，所述P为所述运动参数，所述P为3x4投影矩阵[R，t]，所述R是3阶旋转矩阵，所述t是3维平移向量，所述m表示图像帧的索引号，所述M表示图像帧的帧数，所述ω为所述点特征信息和所述线特征信息的加权系数，所述n表示3D地图点的索引号，所述NP表示由所述点特征信息构造的空间点的总数，所述np表示点特征对应的空间点的索引号，所述NL表示由所述线特征信息构造的空间点的总数，所述nl表示线特征对应的空间点的索引号，所述c为常量补偿值，所述表示第np个空间点对应的点特征的三维坐标，所述表示第np个空间点在第m帧图像中的对应的点特征的二维坐标，所述表示第nl个空间点对应的线特征端点的三维坐标，所述lmn表示第nl个空间点在第m帧图像中对应的线特征端点的二维坐标，所述||lmn||为所述lmn的刚量，所述Pm表示第m个图像帧对应的所述运动参数。在一些可能的实现方式中，所述对所述实景图像进行图像分割，形成第一图像，包括：通过索贝尔算子对所述实景图像进行边缘检测，形成所述第一图像。在一些可能的实现方式中，所述方法还包括：根据构图原点和优化后的所述车辆的运动参数构建所述非结构化道路的地图，其中，所述构图原点为所述车辆在驶入非结构化道路之前确定的第一地理坐标，所述第一地理坐标位于结构化道路的边缘处。本专利技术实施例中，能够有效构建出非结构化道路的地图。在一些可能的实现方式中，所述方法还包括：通过点云或栅格的形式保存所述非结构化道路的地图，并根据所述车辆的历史路线将所述非结构化道路的地图拼接到所述结构化道路的地图上，构建目标地图。在一些可能的实现方式中，在确定车辆驶入非结构化道路时，所述方法还包括：确定第二地理坐标为标定原点，所述第二地理坐标位于结构化道路的边缘处，所述车辆行驶在所述非结构化道路的过程中，记录以下标定信息：多个时间点、所述多个时间点中的每个时间点下的视觉里程计的数据、所述多个时间点中的每个时间点下的惯性测量单元IMU的数据；根据所述标定信息，修正所述车辆的视觉里程计和所述车辆的IMU。本专利技术实施例中，能够实现视觉里程计和IMU的互相标定。第二方面，提供了一种用于导航的装置，所述装置包括：获取单元，用于在确定车辆驶入非结构化道路时，获取所述非结构化道路的实景图像；获取所述实景图像的点特征信息和线特征信息，所述点特征信息包括所述实景图像中的至少一个像素点的特征信息，所述线特征信息包括所述实景图像中的至少一条线段的特征信息，所述点特征信息中像素点的数量根据所述线特征信息中线段的数量确定；处理单元，用于根据所述点特征信息和所述线特征信息，优化所述车辆的运动参数。第三方面，提供了一种用于导航的装置，所述装置包括：收发器，用于在本文档来自技高网...

【技术保护点】
1.一种用于导航的方法，其特征在于，所述方法包括：在确定车辆驶入非结构化道路时，获取所述非结构化道路的实景图像；获取所述实景图像的点特征信息和线特征信息，所述点特征信息包括所述实景图像中的至少一个像素点的特征信息，所述线特征信息包括所述实景图像中的至少一条线段的特征信息，所述点特征信息中像素点的数量根据所述线特征信息中线段的数量确定；根据所述点特征信息和所述线特征信息，优化所述车辆的运动参数。

【技术特征摘要】
1.一种用于导航的方法，其特征在于，所述方法包括：在确定车辆驶入非结构化道路时，获取所述非结构化道路的实景图像；获取所述实景图像的点特征信息和线特征信息，所述点特征信息包括所述实景图像中的至少一个像素点的特征信息，所述线特征信息包括所述实景图像中的至少一条线段的特征信息，所述点特征信息中像素点的数量根据所述线特征信息中线段的数量确定；根据所述点特征信息和所述线特征信息，优化所述车辆的运动参数。2.根据权利要求1所述的方法，其特征在于，所述获取所述实景图像的点特征信息和线特征信息，包括：对所述实景图像进行图像分割，形成第一图像，所述第一图像包括路面区域和非路面区域；在所述路面区域的边界处，获取所述线特征信息；在所述非路面区域中，获取所述点特征信息。3.根据权利要求2所述的方法，其特征在于，所述在所述路面区域的边界处，获取所述线特征信息，包括：在所述路面区域的边界处，通过霍夫变换对所述第一图像进行线段检测，获取第二图像；处理所述第二图像并获取用于表示所述线特征信息的至少一个特征向量。4.根据权利要求2所述的方法，其特征在于，所述在所述非路面区域中，确定所述点特征信息，包括：在所述非路面区域，将所述第一图像的梯度响应极值点对应的梯度响应值按第一顺序排列，并根据所述线特征信息的数量在所述第一顺序中确定用于表示所述点特征信息的至少一个特征向量。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述点特征信息的数量与所述线特征信息的数量之间的关系满足以下公式：其中，所述kl为所述线特征信息的数量，所述kp为所述点特征信息的数量，所述mod()为取整函数，所述c为常量补偿值。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述点特征信息和所述线特征信息，优化所述车辆的运动参数，包括：根据所述点特征信息和所述线特征信息确定误差函数，根据所述误差函数优化所述运动参数。7.根据权利要求6所述的方法，其特征在于，所述误差函数如下所示：其中，所述E(P)为所述误差函数，所述P为所述运动参数，所述P为3x4投影矩阵[R，t]，所述R是3阶旋转矩阵，所述t是3维平移向量，所述m表示图像帧的索引号，所述n表示3D地图点的索引号，所述M表示图像帧的帧数，所述ω为所述点特征信息和所述线特征信息的加权系数，所述NP表示由所述点特征信息构造的空间点的总数，所述np表示点特征对应的空间点的索引号，所述NL表示由所述线特征信息构造的空间点的总数，所述nl表示线特征对应的空间点的索引号，所述c为常量补偿值，所述表示第np个空间点对应的点特征的三维坐标，所述表示第np个空间点在第m帧图像中的对应的点特征的二维坐标，所述表示第nl个空间点对应的线特征端点的三维坐标，所述lmn表示第nl个空间点在第m帧图像中对应的线特征端点的二维坐标，所述||lmn||为所述lmn的刚量，所述Pm表示第m个图像帧对应的所述运动参数。8.根据权利要求2至7中任一项所述的方法，其特征在于，所述对所述实景图像进行图像分割，形成第一图像，包括：通过索贝尔算子对所述实景图像进行边缘检测，形成所述第一图像。9.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：根据构图原点和优化后的所述车辆的运动参数构建所述非结构化道路的地图，其中，所述构图原点为所述车辆在驶入所述非结构化道路之前确定的第一地理坐标，所述第一地理坐标位于结构化道路的边缘处。10.根据权利要求9所述的方法，其特征在于，所述方法还包括：通过点云或栅格的形式保存所述非结构化道路的地图，并根据所述车辆的历史路线将所述非结构化道路的地图拼接到所述结构化道路的地图上，构建目标地图。11.根据权利要求1至10中任一项所述的方法，其特征在于，在确定车辆驶入非结构化道路时，所述方法还包括：确定第二地理坐标为标定原点，所述第二地理坐标位于结构化道路的边缘处，所述车辆行驶在所述非结构化道路的过程中，记录以下标定信息：多个时间点、所述多个时间点中的每个时间点下的视觉里程计的数据、所述多个时间点中的每个时间点下的惯性测量单元IMU的数据；根据所述标定信息，修正所述车辆的视觉里程计和所述车辆的IMU。12.一种用于导航的装置，其特征在于，所述装置包括：获取单元，用于在确定车辆驶入非结构化道路时，获取所述非结构化道路的实景图像；获取所述实景图像的点特征信息和线特征信息，所述点特征信息包括所述实景图像中的至少一个像素点的特征信息，所述线特征信息包括所述实景图像中的至少一条线段的特征信息，所述点特征信息中像素点的数量根据所述线特征信息中线段的数量确定；处理单元，用于根据所述点特征信息和所述线特征信息，优化所述车辆的运动参数。13.根据权利要求12所述的装置，其特征在于，所述获取单元具体用于：对所述实景图像进行图像分割，形成第一图像，所述第一图像包括路面区域和非路面区域；在所述路面区域的边界处，获取所述线特征信息；在所述非路面区域中，获取所述点特征信息。14.根据权利要求13所述的装置，其特征在于，所述获取单元具体用于：在所述路面区域的边界处，通过霍夫变换对所述第一图像进行线段检测，获取第二图像；处理所述第二图像并获取用于表示所述线特征信息的至少一个特征向量。15.根据权利要求13所述的装置，其特征在于，所述获取单元具体用于：在所述非路面区域，将所述第一图像的梯度响应极值点对应的梯度响应值按第一顺序排列，并根据所述线特征信息的数量在所述第一顺序中确定用于表示所述点特征信息的至少一个特征向量。16.根据权利要求12至15中任一项所述的装置，其特征在于，所述点特征信息的数量与所述线特征信息的数量之间的关系满足以下公式：其中，所述kl为所述线特征信息的数量，所述kp为所述点特征信息的数量，所述mod()为取整函数，所述c为常量补偿值。17.根据权利要求12至16中任一项所述的装置，其特征在于，所述处理单元具体用于：根据所述点特征信息和所述线特征信息确定误差函数，根据所述误差函数优化所述运动参数。18.根据权利要求17所述的装置，其特征在于，所述误差函数如下所示：其中，所述E(P)为所述误差函数，所述P为所述运动参数，所述P为3x4投影矩阵[R，t]，所述R是3阶旋转矩阵，所述t是3维平移向量，所述m...

【专利技术属性】
技术研发人员：杨磊，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44