用于识别车道的方法和装置、驾驶员辅助系统以及车辆制造方法及图纸

本发明专利技术涉及一种用于识别车道(F)的方法，该方法包括以下步骤：借助车辆(5)的摄像装置(2)捕获(S1)车辆周围环境的摄像机图像(K)；在捕获到的摄像机图像(K)中测定(S2)与可能的车道界限(M1、M2)的区域相对应的特征点(P1‑P15)；在各特征点(P1‑P15)周围生成(S3)所捕获到的摄像机图像(K)的图像剪裁部分；使用神经网络对图像剪裁部分进行分析(S4)，以对特征点(P1‑P15)进行分类；以及在考虑经分类的特征点(P1‑P15)情况下，测定(S5)车辆周围环境中的车道。

Methods and devices for lane identification, driver assistance systems, and vehicles

【技术实现步骤摘要】
【国外来华专利技术】用于识别车道的方法和装置、驾驶员辅助系统以及车辆
本专利技术涉及一种用于识别车道的方法、一种用于识别车道的装置、一种驾驶员辅助系统以及一种车辆。
技术介绍
驾驶员辅助系统基于大量传感器数据生成车辆周围环境的模型。除了检测障碍物和其他交通参与者外，识别车道也特别重要。通过确定车辆在车道中的运动，可在车辆意外离开车道时提前对驾驶员提出警告。此外，驾驶员辅助系统还可辅助驾驶员保持车道及控制车辆自主沿车道行驶。通常通过确定车道界限来识别车道，车道界限尤其是指车道标记和路边石边缘(Bordsteinkanten)。专利文献DE102015209467A1公布了一种使用特征矢量估计车道的方法，所述特征矢量是基于不同的传感器彼此独立地确定的。由于大多数白色或黄色车道标记与较暗的车道形成鲜明对照，因此可使用检测较亮区域和较暗区域之间的过渡的边缘检测方法来确定车道标记。广泛使用的是索贝尔(Sobel)滤波器，其中，主要计算的是两个相邻区域亮度值的差值。在亮度恒定情况下，该差值的平均值为零，而边缘上得出不同于零的数值。用于目标识别，尤其是用于车道标记识别的神经网络越来越普遍。这类方法的优点是，相对于静态索贝尔滤波器的使用，所述方法可更好地考虑不同的周围环境条件，例如由于一天中时间或天气条件的变化而导致的亮度变化。但是，由于借助神经网络识别图像的分析评估典型情况下是以像素进行的，因此计算量相对较高，这会导致能耗增加以及分析评估速度下降。
技术实现思路
因此，本专利技术的一项任务是能快速、精确地实现车道识别。该任务通过具有权利要求1所述特征的用于识别车道的方法、通过具有权利要求10所述特征的用于识别车道的装置、通过具有权利要求14所述特征的驾驶员辅助系统以及通过具有权利要求15所述特征的车辆来解决。其他优选的实施方式是从属权利要求的主题。根据第一方面，本专利技术因此提供了一种用于识别车道的方法，其中，借助车辆的摄像装置捕获该车辆周围环境的摄像机图像。测定与可能的车道界限的区域相对应的特征点。围绕各相应特征点生成捕获到的摄像机图像的图像剪裁部分(图像区，Bildausschnitt)。使用神经网络对图像剪裁部分进行分析以对特征点分类。最后，在考虑经分类的特征点情况下识别车辆周围环境中的车道。根据第二方面，本专利技术因此提供了一种用于识别车道的装置，该装置具有一接口，它用于接收借助车辆的摄像装置捕获的车辆周围环境的摄像机图像。所述装置还包括一计算装置，它在借助所述接口接收到的摄像机图像中测定对应于可能的车道界限区域的特征点。所述计算装置围绕一特征点生成捕获到的摄像机图像的图像剪裁部分，使用神经网络对所述图像剪裁部分进行分析，以用于特征点的分类，并考虑经分类的特征点测定车辆周围环境中的车道。根据第三方面，本专利技术涉及一种用于车辆的驾驶员辅助系统，该系统包括捕获车辆周围环境的摄像机图像的摄像装置，并包括根据所述摄像装置捕获到的摄像机图像识别车道的装置。根据第四方面，本专利技术涉及带有驾驶员辅助系统的车辆。本专利技术提供两阶段的车道识别。在第一阶段中，优选使用经典特征识别方法对摄像机图像进行分析，并测定对应于可能的车道界限区域的特征点。在此第一步骤中，在一粗略分析评估中已分选出不太相关的区域，即有极大可能不会出现车道界限的区域。这减少了在数据进一步处理中的计算量。在随后的第二阶段中，将对找到的特征点进行更详细的分析。为此，借助神经网络对特征点周围的图像剪裁部分进行分析评估。由此，可对特征点进行分类，即将特征点归类为是否对应于车道界限。根据已被分类为对应于车道界限的特征点对车道进行测定。神经网络相对于索贝尔滤波器的另一优点是考虑了较大的图像剪裁部分。即索贝尔滤波器通常具有约3x3像素的检测区域，而神经网络的图像剪裁部分例如可具有128x128像素的检测区域。通过该较大的图像剪裁部分使神经网络可检测周围环境的相互关系/背景，以便对特征点进行分类。例如，图像剪裁部分内的灌木丛可表示一护栏，并由此表示一错误的标识或一异常值。由此，能以有益的方式对图像剪裁部分的周围环境区域一起分析评估。因此，本专利技术优选将经典方法与神经网络的使用相结合。但是，由于进行了预过滤，因此仅须借助神经网络对摄像机图像的特定区域进行分析，并可省略所有像素的总体分析评估。由此可快速、有效地进行车道识别。同时，充分利用了神经网络的高识别精度。为防止车道界限不被识别，优选将使一像素被检测为特征点而必须超越的阈值设置得相当低。随后，借助神经网络再次滤除由此产生的错误标识。如果仅使用索贝尔滤波器，典型情况下阈值被选择成使得尽可能少地产生错误标识。但是，由此无法识别对比度小的车道界限。通过根据本专利技术所述的两阶段方法，不必做出这类折衷，并且识别准确度较高。根据所述方法优选的一其他结构形式，使用边缘检测算法测定特征点。由此，借助经典方法，并优选借助索贝尔滤波器的使用进行边缘检测。根据所述方法优选的一其他结构形式，可能的车道界限包括车道标记。尤其是，仅车道标记可被识别为可能的车道界限。车道标记或道路标记应理解为车道表面上的彩色标记，这些彩色标记划分或界定了各单一车道。然而，根据其他实施方式，尤其是在缺少车道标记的情况下，车道界限还可包括路边石边缘、护栏或植被。根据所述方法优选的一其他结构形式，神经网络是卷积神经网络。根据所述方法优选的一其他结构形式，神经网络借助数据库中预先规定的训练数据进行学习。根据一其他结构形式，训练数据包括车道界限的图像。训练数据还可包括不表示车道标记的其他结构图像。这些图像优选的选择方式是，它们能反映典型情况下借助经典边缘检测被错误识别为车道标记的结构或目标。这些结构或目标例如可能是不表示车道界限的车辆或护栏图像。经此方法学习的神经网络能将车道界限图像与不表示车道界限的图像区分开。用于借助神经网络进行分析的图像剪裁部分优选具有预先规定数量的像素或预先规定的大小。被选作训练数据的图像优选对应于借助车辆摄像装置捕获到的具有所述预先规定像素数量或大小的车辆周围环境图像的典型图像。所述图像优选至少部分在不同亮度情况下生成。例如，图像可在一天的不同时间生成。还可在不同的照明条件下生成图像，例如在光线不足或光线充足的街道上生成图像。此外，还可在例如阳光明媚、有雾、下雨或下雪等不同天气条件下捕获图像。根据所述方法优选的一其他结构形式，通过对被归类为属于车道界限的相邻特征点进行插值来测定车道界限的走向。根据车道界限的走向确定车辆可行驶车道。根据所述装置优选的一其他结构形式，计算装置使用边缘检测算法测定特征点。根据所述装置优选的一其他结构形式，计算装置使用索贝尔滤波器进行边缘检测。根据优选的一其他结构形式，所述装置的计算装置设置用于，通过对被归类为与车道界限相对应的相邻特征点进行插值来确定车道界限的走向。计算装置根据车道界限的走向确定车辆可行驶车道。附图说明下面，根据示意图中所给出的实施例对本专利技术进行进一步的本文档来自技高网...

【技术保护点】
1.一种用于识别车道(F)的方法，该方法包括以下步骤：/n借助车辆(5)的摄像装置(2)捕获(S1)车辆周围环境的摄像机图像(K)；/n在捕获到的摄像机图像(K)中测定(S2)与可能的车道界限(M1、M2)的区域相对应的特征点(P1-P15)；/n在各特征点(P1-P15)周围生成(S3)所捕获到的摄像机图像(K)的图像剪裁部分；/n使用神经网络对所述图像剪裁部分进行分析(S4)，以对所述特征点(P1-P15)进行分类；以及/n在考虑经分类的特征点(P1-P15)的情况下，测定(S5)车辆周围环境中的车道。/n

【技术特征摘要】
【国外来华专利技术】20170922 DE 102017216802.11.一种用于识别车道(F)的方法，该方法包括以下步骤：
借助车辆(5)的摄像装置(2)捕获(S1)车辆周围环境的摄像机图像(K)；
在捕获到的摄像机图像(K)中测定(S2)与可能的车道界限(M1、M2)的区域相对应的特征点(P1-P15)；
在各特征点(P1-P15)周围生成(S3)所捕获到的摄像机图像(K)的图像剪裁部分；
使用神经网络对所述图像剪裁部分进行分析(S4)，以对所述特征点(P1-P15)进行分类；以及
在考虑经分类的特征点(P1-P15)的情况下，测定(S5)车辆周围环境中的车道。


2.根据权利要求1所述的方法，其中，使用边缘检测算法测定所述特征点(P1-P15)。


3.根据权利要求2所述的方法，其中，边缘检测包括索贝尔滤波器的使用。


4.根据上述权利要求中任一项所述的方法，其中，可能的车道界限(M1、M2)包括车道标记(51、52)。


5.根据上述权利要求中任一项所述的方法，其中，神经网络是卷积神经网络。


6.根据上述权利要求中任一项所述的方法，其中，神经网络借助一数据库中预先规定的训练数据进行学习。


7.根据权利要求6所述的方法，其中，所述训练数据包括车道界限(M1、M2)的图像和不构成车道界限(M1、M2)的结构的图像。


8.根据权利要求7所述的方法，其中，所述图像至少部分是在不同的亮度和/或一天中不同时间和/或不同天气条件下生成的。


9.根据上述权利要求中任一项所述的方法，其中，通过对相邻的已被分类为与车道界限相对应的特征点(P1-P15)进行插值，测定车道界限(M1、M2)的走向，其中，根据车道界限(M1、M...

【专利技术属性】
技术研发人员：C·拜尔，C·海勒，C·洛依，A·阿布拉莫夫，
申请(专利权)人：大陆特韦斯贸易合伙股份公司及两合公司，
类型：发明
国别省市：德国;DE