用于自动驾驶车辆中的以物体为中心的立体视觉的方法和系统技术方案

本示教涉及在自动驾驶车辆中处理图像数据的方法、系统、介质和实施方式。连续不断地接收由配置在车辆上的一个以上类型的传感器获取的传感器数据。传感器数据提供关于车辆周围情况的不同信息。基于由所述一个以上类型传感器中的第一类型的第一传感器在特定时间所获取的第一数据集，检测物体，其中，第一数据集提供关于车辆周围情况的第一类型的信息。于是，基于检测到的物体以及由所述一个以上类型的传感器中的第一类型的第二传感器在该特定时间所获取的第二数据集，在物体层面上，经由以物体为中心的立体视觉，推算物体的深度信息。第二数据集以相比于第一数据集不同的观点提供关于车辆周围情况的第一类型的信息。

Method and system of object centered stereo vision for autonomous vehicles

【技术实现步骤摘要】
【国外来华专利技术】用于自动驾驶车辆中的以物体为中心的立体视觉的方法和系统相关申请的交叉引用本申请要求于2017年6月6日提交的美国申请15/615,228的优先权，该申请全文并入此处作为参考。
本示教一般涉及计算机辅助的感知。具体而言，本示教涉及自适应的计算机辅助感知。
技术介绍
随着近来在人工智能(AI)方面的技术发展，出现了在不同应用领域中应用AI的浪潮。这包括自动驾驶领域，在该领域中，识别并跟踪车辆周围的物体或障碍物至关重要。传统而言，在车辆四周安装传感器，以便持续地收集周边数据。接着，对收集的数据实时地进行分析，从而检测障碍物，以便控制车辆闪避这些障碍物。2D传感器和3D传感器都已经在这些应用中得到使用。例如，可安装照相机以收集2D图像，并对这些2D图像进行分析，以检测物体。又例如激光雷达(LiDAR)以及其他的3D传感器可用于收集3D深度数据，从而提供关于车辆与障碍物之间距离的信息。传感器相当于是自动驾驶车辆的眼睛。但是，不同传感器有着不同的局限。例如，已经知道，2D照相机对照明条件非常敏感，比如一天当中不同的时间以及天气(诸如下雨或下雪)都会产生不同的影响。2D图像也不能提供深度测量。尽管距离能基于使用多个照相机的传统的立体视觉(stereo)来推算，这种推算在计算方面成本昂贵，且速度缓慢，经常不能用于生成足够的密度的深度图(depthmap)。虽然例如激光雷达等的3D传感器已经用于获取深度信息以生成周边障碍物的点云，这种传感技术也具有范围有限、以及数据密度低等局限性。除了传感器局限以外，当前，自动驾驶领域中的计算机辅助感知系统还有其他的缺点。例如，为了适应不同情况的动态(dynamics)，常常使用学习机制。然而，众所周知，在学习如何高效的生成有意义的适应用训练数据方面仍然存在瓶颈问题。传统而言，训练数据需要手动或者半手动地进行标记，这使得即时(on-the-fly)适应例如实时地进行自我校正非常困难、即使不是完全做不到。由于涉及手动工作，生成训练数据不仅太慢，而且成本非常的高。另外，自动驾驶迄今为止仍停留在示范性展示阶段。许多研究和实施没有将涉及车队(可能是几千辆车以上)时所需配置的技术可扩展性(scalability)考虑在内。例如，几千辆车每天走在路上，频繁地收集反应许多不同动态的数据。这些数据提供丰富的信息源用于连续的适应调整。然而，由于传统方法不能即时地对这些数据加标记来产生有意义的训练数据，如何在车辆运行的同时进行适应仍是个未解决的问题。另外，考虑到车队能收集的数据的体量，如何基于几千辆车的经验进行适应仍是个未能解决的问题。因此，存在这样的需求：提供一种用于自动驾驶中的计算机辅助感知系统的、改进的解决方案。
技术实现思路
这里公开的示教涉及用于在线服务的方法、系统和程序设计。具体而言，本示教涉及用于开发能与用户对话的虚拟代理的方法、系统和程序设计。在一实例中，公开了一种在计算机上实现的用于处理自动驾驶车辆中的图像数据的方法，该计算机具有至少一个处理器、存储器以及通信平台。连续不断地接收由配置在车辆上的一个以上类型的传感器获取的传感器数据。传感器数据提供关于车辆周围情况的不同信息。基于由所述一个以上类型传感器中的第一类型的第一传感器在特定时间所获取的第一数据集，检测物体，其中，第一数据集提供关于车辆周围情况的第一类型的信息。接着，基于检测到的物体以及由所述一个以上类型的传感器中的第一类型的第二传感器在该特定时间所获取的第二数据集，在物体层面上，经由以物体为中心的立体视觉(objectcentricstereo)，推算物体的深度信息。第二数据集以相比于第一数据集不同的观点(perspective)提供关于车辆周围情况的第一类型的信息。在一不同的实例中，公开了一种用于处理自动驾驶车辆中的图像数据的系统。该系统包括：一个以上的数据处理单元，其用于连续不断地接收由配置在车辆上的一个以上类型的传感器获取的传感器数据，其中，传感器数据提供关于车辆周围情况的不同信息；物体检测器，其被配置为由所述一个以上类型传感器中的第一类型的第一传感器在特定时间所获取的第一数据集检测物体，其中，第一数据集提供关于车辆周围情况的第一类型的信息；以及，以物体为中心的立体视觉单元，其被配置为基于检测到的物体以及由所述一个以上类型的传感器中的第一类型的第二传感器在该特定时间所获取的第二数据集，在物体层面上，基于以物体为中心的立体视觉，推算物体的深度信息，其中，第二数据集以相比于第一数据集不同的观点提供关于车辆周围情况的第一类型的信息。其他概念涉及软件，其用于实现这里给出的关于开发虚拟代理的示教。根据此概念的软件产品包括至少一个机器可读的非暂时性介质以及由该介质承载的信息。该介质承载的信息可以是可执行程序代码数据，与可执行程序代码相关联的参数，和/或与用户、请求、内容有关的信息或与社会群体等有关的信息。在一实例中，公开了一种机器可读的非暂时性介质，该介质记录有用于处理自动驾驶车辆中的图像数据的数据，使得该数据在被机器读取时，使机器执行多种步骤，包括：连续不断地接收由配置在车辆上的一个以上类型的传感器获取的传感器数据，其中，传感器数据提供关于车辆周围情况的不同信息；由所述一个以上类型传感器中的第一类型的第一传感器在特定时间所获取的第一数据集检测物体，其中，第一数据集提供关于车辆周围情况的第一类型的信息；以及，基于检测到的物体以及由所述一个以上类型的传感器中的第一类型的第二传感器在该特定时间所获取的第二数据集，在物体层面上，基于以物体为中心的立体视觉，推算物体的深度信息，其中，第二数据集以相比于第一数据集不同的观点提供关于车辆周围情况的第一类型的信息。另外的新特征一部分在下面的说明中给出，一部分将为本领域技术人员在检视下面的说明书以及附图后明了，或者可以通过制造或运行实例来习得。本示教的新特征可以通过对下面讨论的详细实例中给出的方法、设备和组合的多种实施形态的实践或使用来实现或获得。附图说明这里介绍的方法、系统和/或程序设计以示例性实施例的方式进一步介绍。这些示例性实施例将参照附图详细介绍。这些实施例是非限制性的示例性实施例，其中，贯穿多幅附图，类似的参考标号代表类似的结构，且其中：图1示出了根据本示教一实施例的计算机辅助感知系统的框架，该系统支持自动驾驶车辆的车队；图2示出了能够根据本示教的实施例布置的多模态传感器的示例性类型；图3示出了根据本示教一实施例的原位感知系统的示例性高层次系统图，该系统驻留在自动驾驶车辆内部；图4A示出了根据本示教一实施例的具有示例性结构的示例性物体检测模型；图4B示出了根据本示教一实施例的物体检测模式的示例性类型；图4C示出了根据本示教一实施例的类别模型(classmodels)的示例性类型；图5为根据本示教一实施例的用于原位感知系统的示例性过程的流程图；图6A示出了根据本示教一实施例的物体检测与跟踪单元的示例性高层次系统图；图6B为根据本示教一本文档来自技高网...

【技术保护点】
1.一种在计算机上实现的方法，该计算机具有至少一个处理器、存储器以及通信平台，该方法用于处理自动驾驶车辆中的图像数据，其包括：/n连续不断地接收由配置在车辆上的一个以上类型的传感器获取的传感器数据，其中，传感器数据提供关于车辆周围情况的不同信息；/n由所述一个以上类型传感器中的第一类型的第一传感器在特定时间所获取的第一数据集检测物体，其中，第一数据集提供关于车辆周围情况的第一类型的信息；以及/n基于检测到的物体以及由所述一个以上类型的传感器中的第一类型的第二传感器在该特定时间所获取的第二数据集，在物体层面上，基于以物体为中心的立体视觉，推算物体的深度信息，其中，第二数据集以相比于第一数据集不同的观点提供关于车辆周围情况的第一类型的信息。/n

【技术特征摘要】
【国外来华专利技术】20170606 US 15/615,2281.一种在计算机上实现的方法，该计算机具有至少一个处理器、存储器以及通信平台，该方法用于处理自动驾驶车辆中的图像数据，其包括：
连续不断地接收由配置在车辆上的一个以上类型的传感器获取的传感器数据，其中，传感器数据提供关于车辆周围情况的不同信息；
由所述一个以上类型传感器中的第一类型的第一传感器在特定时间所获取的第一数据集检测物体，其中，第一数据集提供关于车辆周围情况的第一类型的信息；以及
基于检测到的物体以及由所述一个以上类型的传感器中的第一类型的第二传感器在该特定时间所获取的第二数据集，在物体层面上，基于以物体为中心的立体视觉，推算物体的深度信息，其中，第二数据集以相比于第一数据集不同的观点提供关于车辆周围情况的第一类型的信息。


2.权利要求1的方法，其中，基于以物体为中心的立体视觉来推算深度信息的步骤包括：
获得所述一个以上传感器中第一类型的第一与第二传感器之间的视差；
基于视差，将来自第一数据集的物体翘波到第二数据集，以推算第二数据集中的对应的物体；以及
基于从第一数据集检测到的物体以及从第二数据集推算出的对应物体，推算物体的深度信息。


3.权利要求2的方法，其中，深度信息经由以下的至少一种对物体进行描绘：
一个以上的量度，其各自表示物体与车辆之间的距离；
与物体上的不同点相关联的量度阵列，其表征一深度图，其中，阵列中的各个量度表示物体上的对应点与车辆之间的距离；以及
它们的组合。


4.权利要求3的方法，其中，所述一个以上的量度包括以下的至少一种：
第一量度，表示车辆与物体上最接近车辆的点之间的距离；
第二量度，表示车辆与物体之间的平均距离；
第三量度，表示物体的不同点上关于车辆的距离量度的变动；以及
它们的组合。


5.权利要求1的方法，进一步包括：
获得由所述一个以上类型传感器中的第二类型的第三传感器在该特定时间所获取的第三数据集，其中，第三数据集提供关于车辆周围情况的第二类型的信息；以及
增强基于第一与第二数据集推算的物体的深度信息，其中，深度信息根据由第三数据集提供的第二类型的信息来增强，以生成物体的增强的深度信息。


6.权利要求5的方法，其中，物体用基于该特定时间确定的时间戳归档，其深度信息是深度信息或增强的深度信息。


7.权利要求1的方法，进一步包括：
从该特定时间的第一数据集检测附加的一个以上的物体；
基于以物体为中心的立体视觉，根据在该特定时间获取的第二数据集，推算所述附加的一个以上物体每一个的附加深度信息；
基于从所述一个以上类型传感器中的第一类型的第一与第二传感器连续接收的第一与第二数据集，跟踪物体以及所述附加的一个以上物体中的至少一个；以及
推算所跟踪的物体以及附加的一个以上物体中的至少一个的对应的深度信息。


8.一种记录有数据的机器可读的非暂时性介质，该数据用于处理自动驾驶车辆中的图像数据，其中，该数据在被机器读取时，使得机器执行：
连续不断地接收由配置在车辆上的一个以上类型的传感器获取的传感器数据，其中，传感器数据提供关于车辆周围情况的不同信息；
由所述一个以上类型传感器中的第一类型的第一传感器在特定时间所获取的第一数据集检测物体，其中，第一数据集提供关于车辆周围情况的第一类型的信息；以及
基于检测到的物体以及由所述一个以上类型的传感器中的第一类型的第二传感器在该特定时间所获取的第二数据集，在物体层面上，基于以物体为中心的立体视觉，推算物体的深度信息，其中，第二数据集以相比于第一数据集不同的观点提供关于车辆周围情况的第一类型的信息。


9.权利要求8的介质，其中，基于以物体为中心的立体视觉来推算深度信息的步骤包括：
获得所述一个以上传感器中第一类型的第一与第二传感器之间的视差；
基于视差，将来自第一数据集的物体翘波到第二数据集，以推算第二数据集中的对应的物体；以及
基于从第一数据集检测到的物体以及从第二数据集推算出的对应物体，推算物体的深度信息。


10.权利要求9的介质，其中，深度信息经由以下的至少一种对物体进行描绘：
一个以上的量度，其各自表示物体与...

【专利技术属性】
技术研发人员：H·郑，D·W·刘，小T·P·戴利，
申请(专利权)人：智加科技公司，
类型：发明
国别省市：美国;US