用于基于视频的定位及映射的方法及系统技术方案

本发明专利技术揭示一种用于确定行进穿过道路网络的车辆(200、300)的地理位置及定向的方法及系统。所述方法包括从与行进穿过所述道路网络的所述车辆(200、300)相关联的一或多个相机(202、302)获得一系列图像(500)，所述一系列图像(500)反映所述车辆(200、300)行进的所述道路网络的环境，其中所述图像中的每一者具有所述图像被记录的相关联相机位置。接着，使用至少一些所述经获得图像及所述相关联相机位置生成表示所述车辆(200、300)行进的所述道路网络的区域的当地地图表示。比较所述经生成当地地图表示与参考地图的区段，所述参考地图区段覆盖所述车辆(200、300)行进的所述道路网络的所述区域，且基于所述比较确定所述车辆(200、300)在所述道路网络内的所述地理位置及定向。本发明专利技术还揭示用于使用由行进穿过由电子地图表示的道路网络的车辆(200、300)获得的数据生成及/或更新所述地图的方法及系统。

Method and System for Video-based Location and Mapping

【技术实现步骤摘要】
【国外来华专利技术】用于基于视频的定位及映射的方法及系统
本专利技术涉及一种用于确定观测器(例如，沿道路网络行进的车辆)的地理位置及定向的方法及系统。此外，提供一种用于生成及/或更新电子地图(即，用于映射)的方法及系统。在实施例中，可提供一种视觉全球定位及映射系统。
技术介绍
导航及运动规划是高度自动化及自主驾驶的关键组成部分。自动驾驶车辆需要能够在世界范围内自动定位其本身以确定安全措施指南。一方面，需要地图以允许在全球范围内定位，以通过全球导航卫星系统解决路线规划。另一方面，对于如车道保持及遵守交通标志的功能，需要直接环境的精确几何表示。常规地，这通过在无先前地图的情况下临时感测周围环境或在高度精确的预构建地图的支持下单独解决。临时感测是自动驾驶动作所需的最低能力且通常通过即时地图生成从最近传感器数据扩展。当不久之后重临同一区域时，这尤其有用。然而，临时感测环境容易出错且高度期望已经具有关于周围环境的高质量信息(即，地图)，其允许通过与其匹配来验证及支持直接感测。任选地且理想地，高质量预构建地图已经是可用的，这会防止感测错误馈送到即时地图且因此改进运动规划及车辆的安全性。然而，预构建地图反映世界曾经如何与其在实际自动驾驶期间的情况相反。这意味着预构建地图需要保持为最新以确保安全导航及运动规划。除了当前区的地图外，车辆中的规划系统还需要知道其定位在那幅地图内的哪个地方。对于从临时感测创建的即时地图，这很简单，但不存在到预构建地图的直接连接。为了是有用的，预构建地图的结构及所含信息需要允许车辆精确定位在其中。通过一些方式比较及对准即时创建的地图与预构建地图，需要确定车辆在预构建地图中的位置及定向。这对预构建地图的设计强加某些要求，例如适于与临时传感器数据进行比较的数据表示。用于自主驾驶的地图需要适合应用的约束及要求。汽车中的有限资源强加在经济上使用计算时间、存储器及移动带宽的算法及数据结构。在遵守这些约束的同时，系统需要实现自主驾驶的功能要求。这些包含确定关于周围环境的语义信息，例如给定地形的通行状况、动态对象(例如，其它汽车)及静态对象(例如，道路构造、交通标志)的位置及运动。对于大规模部署，地图需要足够灵活以结合过剩道路几何结构及假象且能够按比例缩放到全球尺寸而不会牺牲最新性及性能。数据结构需要能够足够扩展以用于额外几何及语义层。自主驾驶是活跃的研究领域，且每年都在朝着完全自行驶汽车取得巨大进步。尽管如此，完全自动驾驶所需的许多挑战仍未解决，且研究社群尚未确定安全规划及行驶的所有先决条件，但即使存在已知问题，也没有明确的解决方案。虽然自主驾驶平台存在众多命题及实施方案，但没有一者取得映射及定位问题的被接受的标准解决方案的状态。也不存在用于将临时数据聚集到同时有利于全球范围内的直接运动规划及额外地图匹配(即，定位)预构建地图的即时地图中的标准解决方案。用新即时数据更新预构建地图也是至关重要的且未整体上解决。这可包含解决以下问题：有效地图匹配、自动对象检测(例如交通标志)以及人类操作者进行手动数据内容管理的直观演示。当前可用地图另一问题是缺乏符合自主驾驶的要求的预构建地图材料。以频繁间隔搜集多数地图数据，且所述多数地图数据因此通常是过时的且不会提供结合新数据的容易方法。实例是航空照片及由市政雇员进行的手动映射。许多可用地图数据也未被构造以用于算术存取，例如前面提及的航空照片，其是由具有无可用结构数据的像素构成。地图精度通常也是不够的，且需要从事自主驾驶的每一研究小组创建定制地图。针对自主驾驶已明确创建的当前最先进地图很多时候也不是最佳的且仅在具有与记录时间相同的当日时间及天气条件的情况下可适用。此外，频繁使用的数据结构通常证明对真正意义上的全球地图太低效。这些种类的地图通常含有非结构化传感器数据，其由于其量而难以与传感器数据对准。此外，通常不存在到GIS坐标系统的精确连接，从而使地图不可与其它地图互操作。这些天的自主驾驶地图经常是存储在长期存储装置的即时地图。需要从一开始就是专门用于可靠的车辆定位的地图。异构传感器设置额外挑战是来自不同传感器且甚至是不同传感器类型(例如，单色相机、立体相机、激光雷达、雷达等)的数据处置，特别是因为仅仅存储原始传感器数据的地图不适于略微不同传感器的定位。因此，一般地图需要提供用所有传感器类型可查找的环境的语义信息。非功能要求映射及定位系统还面临非功能要求，且最先进方法都不能实现与先前所述的功能要求一起实现这些。系统的设计不仅需要在实验室环境中工作而且在全球范围内经受可行性及实施方案成本，这包含能够在商品硬件上及在移动数据连接的适度容量限制内运行。
技术实现思路
根据本专利技术的第一方面，提供一种用于确定行进穿过道路网络的车辆的地理位置及定向的方法，所述方法包括：从与行进穿过所述道路网络的所述车辆相关联的一或多个相机获得一系列图像，所述一系列图像反映所述车辆行进的所述道路网络的环境，其中所述图像中的每一者具有所述图像被记录的相关联相机位置；使用至少一些所述经获得图像及所述相关联相机位置生成表示所述车辆行进的所述道路网络的区域的当地地图表示；比较所述经生成当地地图表示与参考地图的区段，所述参考地图区段覆盖所述车辆行进的所述道路网络的所述区域；及基于所述比较确定所述车辆在所述道路网络内的所述地理位置及定向。本专利技术还扩展到一种用于实施根据本文描述的本专利技术的此方面或其任何实施例的方法的系统。因此，从另一方面，提供一种用于确定行进穿过道路网络的车辆的地理位置及定向的系统，所述系统包括：用于从与行进穿过所述道路网络的所述车辆相关联的一或多个相机获得一系列图像的构件，所述一系列图像反映所述车辆行进的所述道路网络的环境，其中所述图像中的每一者具有所述图像被记录的相关联相机位置；用于使用至少一些所述经获得图像及所述相关联相机位置生成表示所述车辆行进的所述道路网络的区域的当地地图表示的构件；用于比较所述经生成当地地图表示与从地图存储库提取的参考地图的区段的构件，所述参考地图区段覆盖所述车辆行进的所述道路网络的所述区域；及用于基于所述比较确定所述车辆在所述道路网络内的所述地理位置及定向的构件。视情况，本专利技术的此另一方面可包含且优选地确实包含本文关于本专利技术的任何其它方面或实施例描述的本专利技术的优选及任选特征中的任何一或多者或全部。举例来说，即使未明确陈述，所述系统也可包括用于实施关于本文在其任何方面或实施例中的方法描述的任何步骤的构件，且反之亦然。用于实施关于所述方法或系统描述的步骤中的任何者的构件可包括一或多个处理器及/或处理电路。本专利技术因此优选地是计算机实施的专利技术，且关于本专利技术的方面或实施例中的任何者描述的步骤中的任何者可在一组一或多个处理器及/或处理电路的控制下实施。在实施例中，本专利技术涉及用于确定行进穿过道路网络的车辆的地理位置及定向的技术，即，用于“定位”道路网络内的车辆。经确定地理位置及定向或定位结果可例如用于自动驾驶车辆的导航及运动规划目的。例如，所述定位结果可被提供为到车辆的自主驾驶模块的输入，例如以便确定车辆将采取的下一动作。如本文描述，至少在一些方面中，在道路网络内行进的车辆的地理位置及定向可从由与所述车辆相关联的一或多个相机记录的一系列图像(例如，视频序列)确定。所述图像将包含与车辆行进的道路网络本文档来自技高网...

【技术保护点】
1.一种用于确定行进穿过道路网络的车辆的地理位置及定向的方法，所述方法包括：从与行进穿过所述道路网络的所述车辆相关联的一或多个相机获得一系列图像，所述一系列图像反映所述车辆行进的所述道路网络的环境，其中所述图像中的每一者具有所述图像被记录的相关联相机位置；使用至少一些所述经获得图像及所述相关联相机位置生成表示所述车辆行进的所述道路网络的区域的当地地图表示；比较所述经生成当地地图表示与参考地图的区段，所述参考地图区段覆盖所述车辆行进的所述道路网络的所述区域；及基于所述比较确定所述车辆在所述道路网络内的所述地理位置及定向。

【技术特征摘要】
【国外来华专利技术】2016.12.09 EP 16203258.5;2017.09.07 GB 171438191.一种用于确定行进穿过道路网络的车辆的地理位置及定向的方法，所述方法包括：从与行进穿过所述道路网络的所述车辆相关联的一或多个相机获得一系列图像，所述一系列图像反映所述车辆行进的所述道路网络的环境，其中所述图像中的每一者具有所述图像被记录的相关联相机位置；使用至少一些所述经获得图像及所述相关联相机位置生成表示所述车辆行进的所述道路网络的区域的当地地图表示；比较所述经生成当地地图表示与参考地图的区段，所述参考地图区段覆盖所述车辆行进的所述道路网络的所述区域；及基于所述比较确定所述车辆在所述道路网络内的所述地理位置及定向。2.根据权利要求1所述的方法，其进一步包括：基于所述比较识别所述参考地图区段中的一或多个错误；及在识别出一或多个错误时将所述当地地图表示或指示所述当地地图表示的数据提供到远程服务器以更新所述参考地图区段及/或生成新参考地图区段。3.一种用于使用由行进穿过由电子地图表示的道路网络的车辆获得的数据更新及/或生成所述地图的方法，所述方法包括：从与行进穿过所述道路网络的所述车辆相关联的一或多个相机获得一系列图像，所述一系列图像反映所述车辆行进的所述道路网络的环境，其中所述图像中的每一者具有所述图像被记录的相关联相机位置；使用至少一些所述图像及所述相关联相机位置生成表示所述车辆行进的所述道路网络的区域的当地地图表示；比较所述经生成当地地图表示与参考地图的区段；基于所述比较识别所述参考地图区段中的一或多个错误；及在识别出一或多个错误时将所述当地地图表示或指示所述当地地图表示的数据提供到远程服务器以更新所述参考地图区段及/或生成新参考地图区段。4.根据任一前述权利要求所述的方法，其包括确定用于生成所述当地地图表示的所述至少一些所述图像相对于参考图像的相对相机位置，任选地，其中所述参考图像是所述一系列图像中的第一图像。5.根据任一前述权利要求所述的方法，其包括对所述图像执行逐像素语义分割，其中所述逐像素语义分割的结果是：对于所述图像中的每一者，每一像素被分配对象类或指示用于那个像素的每一对象类的概率的对象类向量。6.根据任一前述权利要求所述的方法，其包括处理至少一些所述图像以检测一或多个地标对象，及使用所述检测到的一或多个地标对象生成地标观测以供包含到所述当地地图表示中。7.根据任一前述权利要求所述的方法，其包括：处理至少一些所述图像以检测所述图像内的一或多个地标对象，其中所述地标对象表示所述道路网络的所述环境中的地标；针对在所述一系列图像中的每一图像中检测到的每一地标对象及使用所述图像的所述相关联相机位置确定用于将所述检测到的地标对象从其被检测到的所述图像映射到所述一系列图像中的一或多个邻近图像中的一组变换；针对在所述一系列图像中的每一图像中检测到的每一地标对象在三维坐标空间中生成所述地标对象的表示；确定从对应于所述环境中的同一地标的不同图像生成的一组三维表示；及从所述经确定的一组三维表示生成指示由所述一组三维表示所表示的所述环境中的所述地标的数据。8.一种用于识别道路网络的环境内的一或多个地标的方法，所述方法包括：从与行进穿过所述道路网络的车辆相关联的一或多个相机获得一系列图像，所述一系列图像反映所述车辆行进的所述道路网络的所述环境，其中所述图像中的每一者具有所述图像被记录的相关联相机位置；处理至少一些所述图像以检测所述图像内的一或多个地标对象，其中所述地标对象表示所述道路网络的所述环境中的地标；针对在所述一系列图像中的每一图像中检测到的每一地标对象及使用所述图像的所述相关联相机位置确定用于将所述检测到的地标对象从其被检测到的所述图像映射到所述一系列图像中的一或多个邻近图像中的一组变换；针对在所述一系列图像中的每一图像中检测到的每一地标对象在三维坐标空间中生成所述地标对象的表示；确定从对应于所述环境中的同一地标的不同图像生成的一组三维表示；及从所述经确定的一组三维表示生成指示由所述一组三维表示所表示的所述环境中的所述地标的数据。9.根据权利要求7或8所述的方法，其中指示所述地标的所述数据包含指示所述地标在所述环境中的位置及定向的信息。10.根据权利要求7到9中任一权利要求所述的方法，其包括融合每一组中的所述三维表示以确定所述地标的二维轮廓及/或在所述坐标空间中生成所述地标的重建。11.根据任一前述权利要求所述的方法，其包括处理至少一些所述图像以检测一或多个车道标志对象，及使用所述检测到的一或多个车道标志对象生成车道标志观测以供包含到所述当地地图表示中。12.根据任一前述权利要求所述的方法，其包括：处理至少一些所述图像以执行语义分割，使得所述经处理图像的每一像素被分配所述像素表示所述环境中的车道标志的至少一概率值；处理所述一系列图像中的至少一些所述图像以生成表示所述车辆行进的所述道路网络的区域的道路图像，其中所述道路图像中的每一像素的像素值是基于用于生成所述道路图像的所述图像中的所述对应像素的所述经分配概率值；处理所述道路图像以检测及分类所述图像内的一或多个车道标志对象，其中所述车道标志对象表示所述道路图像中描绘的一或多个车行道上的车道标志；及使...

【专利技术属性】
技术研发人员：T·甘金厄，P·霍尔茨什奈德，D·沙赫曼，S·曼，S·伊勒费尔德，M·霍夫曼，O·博伊，N·莱亚尔·韦尔内克，
申请(专利权)人：通腾全球信息公司，通腾定位技术德国有限公司，
类型：发明
国别省市：荷兰,NL