利用相机进行车辆环境建模制造技术

本文描述了用于利用相机进行车辆环境建模的系统和技术。可以获得代表道路表面的按时间排序的图像序列。该序列中的一个图像是当前图像。然后可以将数据集提供给人工神经网络(ANN)，以产生场景的三维结构。在此，数据集包括该图像序列的一部分，该图像序列包括当前图像、从中获得图像的传感器的运动、和核点。然后使用场景的三维结构对道路表面建模。

【技术实现步骤摘要】
【国外来华专利技术】利用相机进行车辆环境建模优先权声明本专利申请根据35USC§119要求以下申请的优先权权益：于2018年4月18日递交的、标题为“PARALLAXNET-LEARNINGOFGEOMETRYFROMMONOCULARVIDEO(从单目视频进行几何结构的视差学习)”的美国临时申请序列号62/659,47；于2018年4月26日递交的、标题为“MOVING/NOTMOVINGDNN(移动/非移动DNN)”的美国临时申请序列号62/662,965；于2018年4月27日递交的、标题为“ROADPLANEWITHDNN(具有DNN的道路平面)”的美国临时申请序列号62/663,529；于2018年11月19日递交的、标题为“PUDDLEDETECTIONFORAUTONOMOUSVEHICLECONTROL(用于自主车辆控制的水坑检测)”的美国临时申请序列号62/769,236；以及于2018年11月19日递交的、标题为“ROADCONTOURMEASUREMENTFORAUTONOMOUSVEHICLES(用于自主车辆的道路轮廓测量)”的美国临时申请序列号62/769,241；并且，以上所有申请的全部内容通过引用并入本文中。
本文描述的实施例大体涉及计算机视觉技术，更具体地，涉及利用相机进行车辆环境建模。
技术介绍
通常称为汽车的“自动驾驶”或“辅助驾驶”操作的自主或半自主汽车技术，正在商用和消费级车辆中快速发展和部署。这些系统使用一系列传感器来连续观察车辆的运动和周围环境。可以使用各种传感器技术来观察车辆的周围环境，例如，道路表面和边界、其他车辆、行人、对象和危险、标志和道路标记、以及其他相关项。用一个或多个相机实现的图像捕获传感器对于对象检测和识别以及读取标志和道路标记特别有用。基于相机的系统已用于测量三维结构，例如道路的竖直轮廓、车道标记、和路缘，并用于检测对象或危险。期望实用的传感器系统在变化的天气和道路条件下可靠地运行。这些期望趋向于在处理输入时带来无数挑战。在夜间来自阴影或灯光的输入噪声可能会干扰道路表面检测。潮湿的道路或其他反射性表面通常会引入明显的运动，这违反了道路表面模型。此外，考虑到这些道路表面检测的困难，在对道路表面进行建模以实现自主驾驶或辅助驾驶时需要对危险进行快速(例如，实时)的检测给硬件带来了负担。附图说明在不一定按比例绘制的附图中，相似的数字可以在不同的视图中描述相似的组件。具有不同字母后缀的相似数字可以表示相似组件的不同实例。附图通过示例而非限制的方式大体上示出了本文档中讨论的各种实施例。图1是车辆环境的示例的框图。图2是根据实施例的用于利用相机进行车辆环境建模的系统的示例的框图。图3示出了根据实施例的当前图像和先前图像。图4示出了根据实施例的用于产生道路表面的伽马(gamma)模型的神经网络的示例。图5示出了根据实施例的基于机器学习(ML)的竖直轮廓引擎的示例深度神经网络(DNN)。图6是根据实施例的详述DNN的示例架构的表格。图7-8是根据实施例的详述DNN的更复杂示例架构的表格。图9示出了根据实施例的DNN训练系统的示例。图10示出了根据实施例的多模式损失函数应用引擎的示例。图11示出了根据实施例的神经网络的示例，该神经网络产生关于对象是否在移动的决策。图12示出了根据实施例的卷积神经网络的示例，该卷积神经网络产生关于对象是否在移动的决策。图13是示出根据实施例的用于操作竖直轮廓检测引擎的方法的示例的流程图。图14是示出根据实施例的用于配置DNN以在基于ML的轮廓引擎中使用的方法的示例的流程图。图15是示出根据实施例的用于在自主车辆沿道路移动时实时测量道路的竖直轮廓的方法的示例的流程图。图16是示出根据实施例的用于处理图像序列上的残余流(residualflow)以测量道路的竖直轮廓的示例途径的流程图。图17是示出根据实施例的用于车辆控制的水坑检测和响应决策的方法的示例的流程图。图18是示出根据实施例的用于基于竖直轮廓信息和附加的水坑检测标准来通过计算确定存在一个或多个水坑的方法的示例的流程图。图19是示出根据实施例的用于通过计算确定自主车辆的当前情境场景的方法的示例的流程图。图20是示出根据实施例的用于对可用驾驶响应解决方案进行计算评估的方法的示例的流程图，这些可用驾驶响应解决方案可以或可以不被选择来对检测到水坑做出响应。图21示出了根据实施例的用于与自动车辆控制系统一起使用的用于对道路进行轮廓分析的基于相机的车载系统。图22示出根据实施例的车辆上的多相机阵列。图23示出了根据实施例的可由多相机阵列捕获的视场的示例。图24是示出根据实施例的竖直轮廓检测引擎的示例的框图。图25示出了根据实施例的预处理器引擎的示例。图26示出了根据实施例的用于利用相机进行车辆环境建模的方法的示例的流程图。图27是示出可以在上面实现一个或多个实施例的机器的示例的框图。图28是示出根据实施例的计算设备的示例硬件和软件架构的图示。图29是示出根据实施例的可以使用的处理设备的框图。图30是示出根据实施例的中央处理单元的示例组件的框图。具体实施方式各种车辆环境建模技术可以与各种传感器配置一起使用。当使用相机(例如，可见光谱、红外(IR)等)时，传感器产生由像素组成的图像。像素的各个方面可用于建模，例如颜色或亮度。一般而言，为对动态环境建模，使用了一系列图像。这种类型的建模跟踪像素在连续图像之间的移动，以推断环境的各方面，例如，车辆如何移动，其他车辆如何移动，对象(例如，人，动物，球等)如何移动，道路上的障碍物等。将图像转换为归一化状态(例如，以校正相机镜头畸变)、在图像之间按顺序对齐像素(例如，通过单应性(homography)使较早的图像变形以在很大程度上匹配较晚的图像)、以及测量剩余像素运动(例如，残余运动)的迭代过程可用于对环境进行建模。可以如下计算残余运动其中，项是伽马(gamma)—平面(例如，道路表面)上方的像素的高度H与像素到传感器的距离Z的比值，TZ表示传感器向前的平移(例如，车辆在图像之间移动了多远)，d′π表示传感器距平面的高度，表示核点信息(例如，车辆正在向哪行进)，以及表示应用基于单应性的变形后的像素的对应图像坐标。下面描述计算残余运动的一些其他细节。但是，使用直接像素匹配存在一些困难。例如，许多可能投射到道路表面上的事物并不代表道路表面，例如，阴影或反射斑块(例如水坑)。尽管可以使用滤波技术来减少这种噪声，但是更好的解决方案涉及经过训练以直接从一系列图像中计算伽马的人工智能(例如，机器学习系统、人工神经网络(ANN)、深度ANN(DNN)、卷积ANN(CNN)等)。这需要对道路表面成像中的常见噪声问题的鲁棒解决方案。此外，这样的系统还可以接受传感器运动或核点信息以进一步增强其伽马结果。本文档来自技高网...

【技术保护点】
1.一种用于对道路表面进行建模的设备，所述设备包括：/n硬件传感器接口，所述硬件传感器接口用于获得代表道路表面的按时间排序的图像序列，所述图像序列中的一个图像是当前图像；以及/n处理电路，所述处理电路用于：/n向人工神经网络(ANN)提供数据集以产生场景的三维结构，所述数据集包括：/n所述图像序列的一部分，所述图像序列的所述一部分包括所述当前图像；/n捕获所述图像序列的传感器的运动；以及/n核点；并且/n使用所述场景的三维结构对所述道路表面进行建模。/n

【技术特征摘要】
【国外来华专利技术】20180418 US 62/659,470;20180426 US 62/662,965;20181.一种用于对道路表面进行建模的设备，所述设备包括：
硬件传感器接口，所述硬件传感器接口用于获得代表道路表面的按时间排序的图像序列，所述图像序列中的一个图像是当前图像；以及
处理电路，所述处理电路用于：
向人工神经网络(ANN)提供数据集以产生场景的三维结构，所述数据集包括：
所述图像序列的一部分，所述图像序列的所述一部分包括所述当前图像；
捕获所述图像序列的传感器的运动；以及
核点；并且
使用所述场景的三维结构对所述道路表面进行建模。


2.根据权利要求1所述的设备，其中，所述核点被提供为与所述当前图像具有相同维数的梯度图像，所述梯度图像中的像素的值表示所述当前图像中的像素距所述核点的距离。


3.根据权利要求2所述的设备，其中，所述梯度图像仅表示距所述核点的水平距离，并且其中，第二梯度图像被提供给所述ANN，以表示距所述核点的竖直距离。


4.根据权利要求1所述的设备，其中，所述传感器的运动被提供为与所述当前图像具有相同维数的恒定值图像。


5.根据权利要求4所述的设备，其中，所述恒定值是所述传感器的前向运动与所述传感器距平面的高度的比值。


6.根据权利要求1所述的设备，其中，为了对所述道路表面进行建模，所述处理电路通过将所述场景的三维结构与来自第二ANN的输出进行比较来识别反射区域，所述第二ANN被训练为接受所述图像序列的所述一部分并产生第二三维结构，其中，与训练所述第一ANN相比，训练所述第二ANN在所述图像序列的所述一部分中使用更多的摄影测量损失。


7.根据权利要求1所述的设备，其中，所述处理电路被配置为使用所述三维结构来调用第二ANN，以确定特征表示在所述道路表面的环境内移动的对象还是不移动的对象。


8.根据权利要求1所述的设备，其中，所述ANN是卷积神经网络(CNN)。


9.根据权利要求8所述的设备，其中，所述传感器的运动和所述核点在瓶颈层处被提供给所述CNN。


10.根据权利要求1所述的设备，其中，所述ANN是利用无监督训练技术来训练的，在所述无监督训练技术中，误差是通过测量未来图像的模型和所述未来图像之间的差异来确定的，所述未来图像的模型是通过对所述未来图像之前的图像进行伽马变形产生的。


11.根据权利要求1所述的设备，其中，所述ANN是利用无监督训练技术来训练的，在所述无监督训练技术中，误差是...

【专利技术属性】
技术研发人员：伊达·布卢门塔尔，杰弗里·莫斯科维茨，纳达夫·沙格，基甸·斯坦因，
申请(专利权)人：移动眼视力科技有限公司，
类型：发明
国别省市：以色列;IL