视觉定位方法、装置及计算机系统制造方法及图纸

本申请实施例公开了视觉定位方法、装置及计算机系统，所述方法包括：获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；获得相机设备采集到的带有深度信息的图像信息；对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的定位信息。通过本申请实施例，能够在实现高精度定位的同时，降低算法复杂度，提高效率、定位精度以及适用性。定位精度以及适用性。定位精度以及适用性。

【技术实现步骤摘要】
视觉定位方法、装置及计算机系统


[0001]本申请涉及视觉定位
，特别是涉及视觉定位方法及、装置及计算机系统。

技术介绍

[0002]高精度定位技术对于L3(自动系统既能完成某些驾驶任务，也能在某些情况下监控驾驶环境，但驾驶员必须准备好重新取得驾驶控制权)以上自动驾驶的实现至关重要。
[0003]自动驾驶高精度定位从定位方式上可分为三类：
[0004]第一类，基于信号的定位，代表性技术有GNSS(Global Navigation Satellite System，全球导航卫星系统定位)、UWB(Ultra Wideband，无载波通信技术)、5G(第五代移动通信技术)等。
[0005]第二类，DR(dead reckoning，航迹推算)，依靠IMU(Inertial measurement unit，惯性测量单元)、轮速计等，根据上一时刻的位置和方位推断现在的位置和方位。
[0006]第三类，基于环境特征匹配的相对定位，使用Lidar(Light Detection And Ranging，激光雷达)、Camera(相机)、millimeter-wave radar(毫米波雷达)等传感器的定位，用观测到的特征和数据库里存储的特征进行匹配，得到现在车辆的位置和姿态。
[0007]但是，基于信号的定位中GNSS的定位精度在米级，离自动驾驶的要求甚远。如果要做到厘米级，就需要做GNSS校正，纠正电离层导致的定位错误，通常采用RTK(Real Time Kinematic载波相位差分)的方式。但在楼宇、高架、隧道等场景仍会出现信号不稳或无信号的情况。
[0008]DR提供的是一种从上一时刻到当前时刻的相对位置推算，但是随着时间的增长，其定位精度逐渐下降。
[0009]相比之下，相对定位方法中通过传感器探测周围环境特征，与高精地图匹配得到车辆的相对定位信息，在自动驾驶场景下的适用性会更强。相对定位技术目前主要分为两种：以Lidar为主和以Camera为主。其中，Lidar通过激光扫描获得周围环境的精确3D信息，但成本高、易受雨雾天气影响；Camera可提供丰富视觉信息、成本低。但在匹配算法上，要么算法复杂度高，效率低，要么定位精度不够，仅适用于非强烈非凸场景的观测等问题。
[0010]因此，如何在实现高精度定位的同时，降低算法复杂度，提高效率、定位精度以及适用性，成为需要本领域技术人员解决的技术问题。

技术实现思路

[0011]本申请提供了视觉定位方法、装置及计算机系统，能够在实现高精度定位的同时，降低算法复杂度，提高效率、定位精度以及适用性。
[0012]本申请提供了如下方案：
[0013]一种视觉定位方法，包括：
[0014]获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
[0015]获得相机设备采集到的带有深度信息的图像信息；
[0016]对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；
[0017]基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的定位信息。
[0018]一种视觉定位方法，包括：
[0019]获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息，以及道路交通场景中多个特征点的位置信息；
[0020]获得相机设备采集到的带有深度信息的图像信息，并对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置信息；
[0021]通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征，并通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位；
[0022]根据初步定位结果在所述地图数据中选取一区域范围内的局部地图数据；
[0023]将所述相机设备观测到的特征点的位置与所述局部地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的精确定位信息。
[0024]一种视觉定位中的初步定位方法，包括：
[0025]获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息；
[0026]获得相机设备采集到的带有深度信息的图像信息；
[0027]通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征；
[0028]通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位。
[0029]一种地图数据，
[0030]所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，以用于基于所述类别信息，通过图像对齐的方式，将相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，匹配结果用于对所述相机设备关联车辆进行定位。
[0031]一种自动驾驶控制方法，包括：
[0032]获得关联车辆的定位信息，所述定位信息是根据所述车辆关联的相机设备的观测数据与地图数据相匹配的方式获得的，其中，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，所述观测数据中包括相机设备观测到的特征点的位置以及对应物体的类别信息；在进行所述匹配时，基于所述类别信息，通过图像对齐的方式，将所述观测数据与所述地图数据相匹配；
[0033]根据所述定位信息进行自动驾驶控制。
[0034]一种提供导航信息的方法，包括：
[0035]获得关联车辆的定位信息，所述定位信息是根据所述车辆关联的相机设备的观测数据与地图数据相匹配的方式获得的，其中，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，所述观测数据中包括相机设备观测到
的特征点的位置以及对应物体的类别信息；在进行所述匹配时，基于所述类别信息，通过图像对齐的方式，将所述观测数据与所述地图数据相匹配；
[0036]根据所述定位信息提供导航信息。
[0037]一种信息展示方法，包括：
[0038]获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
[0039]获得相机设备采集到的带有深度信息的图像信息；
[0040]对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；
[0041]将所述相机设备观测到的特征点的信息与所述地图数据进行叠加展示。
[0042]一种视觉定位装置，包括：
[0043]地图获得单元，用于获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；
[0044]图像采集信息获得单元，用于获得相机设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉定位方法，其特征在于，包括：获得地图数据，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息；获得相机设备采集到的带有深度信息的图像信息；对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置以及对应物体的类别信息；基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的定位信息。2.根据权利要求1所述的方法，其特征在于，还包括：在进行所述匹配之前进行初步定位；根据所述初步定位得到的位置信息，在所述地图数据中选取一区域范围内的局部地图数据，以用于将所述相机设备观测到的特征点的位置与所述局部地图数据中特征点的位置进行匹配。3.根据权利要求2所述的方法，其特征在于，所述地图数据中还包括代表道路几何线形的拓扑结构信息；所述初步定位，包括：通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征；通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，进行所述初步定位。4.根据权利要求2所述的方法，其特征在于，所述初步定位，包括：根据所述相机设备采集到的上一帧图像信息所获得的定位结果，所关联车辆的运动参数信息，图像采集的帧率信息，对关联车辆在当前帧采集时刻所在的位置进行预测，并根据预测结果进行所述初步定位。5.根据权利要求1所述的方法，其特征在于，所述基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，包括：通过从整体上移动所述相机设备观测到的特征点集合的位置，使其与所述地图数据中特征点集合的某子集中的特征点的重合度满足预置条件，且对应特征点所属的类别相同，则根据该时刻所述相机设备观测到的特征点集合所移动的位移信息，确定所关联车辆的定位信息。6.根据权利要求5所述的方法，其特征在于，所述相机设备观测到的特征点的位置信息是相对于车辆坐标系的位置信息，所述地图数据中特征点的位置信息是相对于地球坐标系的位置信息；所述基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，包括：通过初始化的车辆位姿参数信息，将所述相机设备观测到的特征点的位置信息转换到地球坐标系下；所述车辆位姿参数信息为车辆在世界坐标系下的位置以及姿态信息；
从所述地图数据中，确定与所述相机观测到的特征点距离最近的特征点，并计算两者之间的距离；根据所述距离以及相机观测到的特征点与所述距离最近的特征点是否为同一类别，计算误差值；通过优化所述车辆位姿参数信息，重新计算所述误差值；根据所述误差值最小时对应的车辆位姿参数信息，确定所述车辆的定位信息。7.根据权利要求6所述的方法，其特征在于，还包括：根据从所述相机设备采集到的图像数据中进行不同类别物体的识别时的准确度信息，为不同类别的特征点分别赋予对应的权重信息；在计算所述误差值时，在计算出所述相机观测到的特征点与距离最近的特征点之间的距离后，将该距离乘以所述观测到的特征点对应物体的类别信息对应的权重信息后，再计算所述误差值。8.根据权利要求1至7任一项所述的方法，其特征在于，还包括：根据所述确定出的车辆定位信息，对下一帧图像中识别出的相机设备观测到的特征点进行误检滤除。9.根据权利要求1至7任一项所述的方法，其特征在于，所述地图数据中还包括道路交通场景中随时间变化的特征点的位置以及所述类别信息；在将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配时，根据匹配时刻对应的地图数据进行匹配。10.根据权利要求1至7任一项所述的方法，其特征在于，所述地图数据中包括适用于多种不同车辆类型的多份地图数据，其中，不同地图数据中包含的特征点数量不同；所述获得地图数据包括：获得与关联车辆相匹配的地图数据。11.一种视觉定位方法，其特征在于，包括：获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息，以及道路交通场景中多个特征点的位置信息；获得相机设备采集到的带有深度信息的图像信息，并对所述图像信息进行特征识别，确定出所述相机设备观测到的特征点的位置信息；通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征，并通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位；根据初步定位结果在所述地图数据中选取一区域范围内的局部地图数据；将所述相机设备观测到的特征点的位置与所述局部地图数据中特征点的位置进行匹配，并根据匹配结果确定关联车辆的精确定位信息。12.根据权利要求11所述的方法，其特征在于，所述地图数据中还包括所述多个特征点所对应物体的类别信息；所述对所述图像信息进行特征识别所得到的信息还包括：所述相机设备观测到的特征
点对应物体的类别信息；所述将所述相机设备观测到的特征点的位置与所述局部地图数据中特征点的位置进行匹配，包括：基于所述类别信息，通过图像对齐的方式，将所述相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配。13.一种视觉定位中的初步定位方法，其特征在于，包括：获得地图数据，所述地图数据中包括代表道路几何线形的拓扑结构信息；获得相机设备采集到的带有深度信息的图像信息；通过视觉里程计的方式，获得所述相机设备在最近一时间段内的运动轨迹的线形特征；通过将所述相机设备运动轨迹的线形特征与所述地图数据中道路几何线形的拓扑结构信息进行匹配，对所关联车辆进行初步定位。14.一种地图数据，其特征在于，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，以用于基于所述类别信息，通过图像对齐的方式，将相机设备观测到的特征点的位置与所述地图数据中特征点的位置进行匹配，匹配结果用于对所述相机设备关联车辆进行定位。15.根据权利要求14所述的地图数据，其特征在于，所述地图数据中还包括代表道路几何线形的拓扑结构信息，以用于通过视觉里程计的方式，对所述关联车辆进行初步定位。16.根据权利要求14所述的地图数据，其特征在于，所述地图数据通过参数化的方式进行表达。17.一种自动驾驶控制方法，其特征在于，包括：获得关联车辆的定位信息，所述定位信息是根据所述车辆关联的相机设备的观测数据与地图数据相匹配的方式获得的，其中，所述地图数据中包括道路交通场景中多个特征点的位置以及所述特征点所对应物体的类别信息，所述观测数据中包括相机设备观测到的特征点的位置以及对应物体的类别信息；在进行所述匹配时，基于所述类别信息，通过图像对齐的方式，将所述观测数据与所述地图数据相匹配；根据所述定位信息进行自动驾驶控制。18.一种提供导航信息的方法，其特征在于，包括：获...

【专利技术属性】
技术研发人员：颜扬治，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：