探测关于对象和/或自由空间的至少一部分的信息的方法技术

本发明专利技术涉及一种用于探测关于系统的周围环境的图示(4)中的至少一个对象(1、2)和/或自由空间(3)的至少一部分的信息的方法，其中，所述方法至少包括以下步骤：a)执行地面实况生成；b)执行障碍物和自由空间探测；c)执行跨越不同摄像头(5)和/或不同数字图像图示的泛化。不同摄像头(5)和/或不同数字图像图示的泛化。不同摄像头(5)和/或不同数字图像图示的泛化。

【技术实现步骤摘要】
探测关于对象和/或自由空间的至少一部分的信息的方法


[0001]本专利技术涉及一种用于探测关于系统的周围环境的图示中的至少一个对象和/或自由空间的至少一部分的信息的方法，尤其基于至少一个或多个由至少一个或多个摄像头获得的数字图像图示和/或基于由系统的至少一个有源的周围环境传感器、有利地由车辆获得的传感器数据。此外，提出一种用于执行该方法的计算机程序、一种具有该计算机程序的机器可读的存储介质以及一种用于车辆的对象识别系统。本专利技术尤其可以用于实现至少部分自动化的或自主的驾驶。此外，本专利技术还可以应用于机器人系统中，尤其是用于至少部分自动化的或自主的运行。

技术介绍

[0002]在先进的机器人系统中，感知系统的关键技术是识别机器人可以去哪里和障碍物位于哪里。使用经典的计算机视觉技术的常规方法是复杂的并且不连续(非端到端)工作。与此不同，深度学习技术大多在图像区域中工作，并且依赖于有源的3D传感器(如激光雷达、雷达等)来检测3D信息。这样的多传感器系统复杂且昂贵，并且需要高的技术耗费来同步和融合来自不同模态的信息。

技术实现思路

[0003]在此提出一种用于探测关于系统的周围环境的图示/呈现/表示(Darstellung)中的至少一个对象和/或自由空间的至少一部分的信息的方法，其中，所述方法至少包括以下步骤：
[0004]a)执行地面实况生成；
[0005]b)执行障碍物和自由空间探测；
[0006]c)执行跨越不同摄像头和/或不同数字图像图示的泛化/一般化(Generalisierung)。
[0007]步骤a)、b)和c)为了执行所述方法例如可以至少一次地和/或重复地以所说明的顺序来执行。此外，步骤a)、b)和c)可以至少部分地并行或同时执行。例如可以执行步骤a)，用于生成用于机器学习算法和/或机器学习系统、例如人工神经网络的训练数据。步骤b)和/或c)、尤其是步骤b)例如可以在应用经训练的算法或机器学习系统期间执行。在步骤a)和b)之间，例如可以执行机器学习算法和/或机器学习系统、尤其是人工神经网络的训练，尤其是在使用在步骤a)中生成的信息的情况下。
[0008]所述方法用于探测关于系统的周围环境的图示中的至少一个对象和/或自由空间的至少一部分的信息，尤其是基于从至少一个或多个摄像头获得的至少一个或多个数字图像图示和/或基于从系统的至少一个有源的(aktiven)周围环境传感器获得的传感器数据。系统例如可以是车辆，例如机动车。车辆例如可以是汽车。车辆或系统可以设置为用于至少部分自动化的或自主的(驾驶)运行。
[0009]探测例如可以涉及机械式的和/或传感式的探测或检测。对象例如可以是其它交
通参与者，例如其它车辆、行人或诸如此类。此外，对象例如可以是基础设施装置，例如交通灯设备、标牌或诸如此类。自由空间尤其可以是这样的空间或自由空间：系统可以(自由地)在其中操作和/或运动而不与对象碰撞/干涉。信息例如可以涉及相对于对象或空间的(相对)位置或尤其空间上的或数值的间距和/或对象或空间的在空间上的延伸或维度或扩展。
[0010]在步骤a)中，执行地面实况生成。尤其是，在步骤a)中，可以进行自动的地面实况生成。在此，有利地可以执行自动的3D障碍物柱状像素地面实况生成。“地面实况(Ground
‑
Truth)”尤其可以包括多个数据集，这些数据集描述了用于训练机器学习算法和/或机器学习系统、例如人工神经网络的基本知识。基本知识尤其可以涉及足够数量的数据组，以便能够训练用于图像分析评价的相应算法或相应系统。
[0011]在此，术语“地面实况”可以替代地或附加地涉及例如地面现实(Bodenwirklichkeit)、基部实情(Grundwahrheit)和/或场比较(Feldvergleich)。地面实况生成以有利的方式使得能够在分析来自周围环境的图示的信息时考虑地面实况数据、尤其是地面数据或者用于描述周围环境的图示中的地面(位置和/或走向)的数据。地面实况数据尤其可以提供关于周围环境的图示中的情况和/或维度和/或比例关系的附加信息和/或参考信息。地面实况数据能够尤其有助于描述在哪个位置(潜在的)对象位于/立于(aufsteht)地面上或者与在图示中可识别到的地面接触。地面实况数据例如可以有助于能够更具体地检测或描述图示中的(参考)对象。尤其是，地面实况数据可以有助于将来自图示的信息更精确地分类和/或针对正确性来检查分类的结果。
[0012]因此，地面实况数据可以特别有利地有助于训练机器学习算法和/或机器学习系统，尤其是人工神经网络。尤其是，机器学习算法和/或机器学习系统、尤其是人工神经网络可以这样学习：在(二维的)图像图示中识别在哪个位置(潜在的)对象位于地面上或者与在图示中可识别到的地面接触。此外，由此也可以有利地学习对至少一个对象或描述该对象的柱状像素的识别，该对象或该柱状像素位于相应的地面点上。
[0013]“柱状像素(Stixel)”可以理解为尤其是矩形的(3D)数据结构，该数据结构描述场景或图示的一定区域。每个柱状像素可以包含相对于摄像头或传感器(该摄像头或传感器已检测到该图示)的相对位置、高度和/或不一致性并且由此有利地包含相对于潜在对象的深度。在此，该数据结构通常“站立(steht)”在地面上。在此，地面实况生成例如可以有助于获得关于图示中的地面的位置和/或延伸的信息。此外，每个柱状像素通常具有固定的柱状像素宽度。使用柱状像素的目的通常是通过附加的代表层(柱状像素)将3D图像数据抽象化。
[0014]在步骤a)和b)之间，例如可以基于所生成的地面实况，训练机器学习算法和/或机器学习系统，尤其是人工神经网络。为了实现人工神经网络，在此可以特别有利地使用卷积神经网络(英文：Convolutional Neural Network；简称CNN)。
[0015]在步骤b)中执行障碍物和自由空间探测。尤其可以在步骤b)中进行障碍物柱状像素和自由空间探测。在此，可以有利地执行3D中的端到端障碍物柱状像素和自由空间探测。特别优选地，可以由或在2D图像图示中进行3D障碍物和自由空间探测。
[0016]术语“端到端”(英文：end
‑
to
‑
end)尤其描述了通过相同的(分析评价)装置、例如通过相同的算法和/或相同的人工神经网络进行的连续探测。有利地，因此可以在一个(单个)人工神经网络内部实施障碍物和自由空间探测并且特别有利地实施整个方法。
[0017]在步骤c)中，实施跨越不同摄像头和/或不同数字图像图示的泛化。这尤其能够包括使用不同摄像头的数据和将算法对于不同摄像头泛化。该方法可以有利地有助于或被执行用于生成用于人工对象识别算法的训练数据。
[0018]根据一个有利的构型提出，系统的周围环境的图示(至少也)基于传感器数据，所述传感器数据由系统的至少一个有源的周围环境传感器获得，并且至少一个有源的周围环境传感器包括激光雷达传感器和/或雷达传感器。优选地，有源的周围环境传感器是激本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于探测关于系统的周围环境的图示(4)中的至少一个对象(1、2)和/或自由空间(3)的至少一部分的信息的方法，其中，所述方法至少包括以下步骤：a)执行地面实况生成；b)执行障碍物和自由空间探测；c)执行跨越不同摄像头(5)和/或不同数字图像图示的泛化。2.根据权利要求1所述的方法，其中，所述系统的周围环境的图示(4)基于传感器数据，所述传感器数据从所述系统的至少一个有源的周围环境传感器获得。3.根据权利要求1或2所述的方法，其中，执行所述方法用于训练用于探测可行驶空间和障碍物信息的系统和/或深度学习算法。4.根据前述权利要求中任一项所述的方法，其中，在步骤a)中执行针对自由空间(3)的标...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：罗伯特，
类型：发明
国别省市：