车道识别系统、车道识别方法和车道识别程序技术方案

提供了一种车道识别系统，其能够通过抑制很可能分别在原始图像和鸟瞰图像中产生的噪声来改进车道识别准确度。该车道识别系统基于图像识别车道。该系统包括：合成鸟瞰图像创建模块，该合成鸟瞰图像创建模块通过连接通过将在多个不同的时间拍摄的原始图像的对应局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰图像；候选车道线提取模块，该候选车道线提取模块通过使用原始图像或者由原始图像创建的鸟瞰图像以及合成鸟瞰图像的信息来检测候选车道线；以及车道线位置估计模块，该车道线位置估计模块基于候选车道线的信息估计车道线位置。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及车道线的识别，并且更加具体地，涉及通过执行图像处理来对车道线 的位置进行估计。
技术介绍
作为用于通过应用IT技术改进交通效率和道路交通舒适度的ITS(智能交通系 统)的研究主题之一，存在一种LKS (车道保持支持)系统。这是一种利用传感器识别道路 上的车道，并且基于此而控制转向器、加速器、制动器等，使得车辆能够总是在车道中心上 运行的系统。为了实现LKS系统，车道识别技术是重要的。特别地，积极研究的是如下的这样一 项技术，利用该技术，诸如照相机的图像输入装置被置于运行车辆的前侧或者后侧中，并且 图像输入装置处理在道路上运行时拍摄的图像，以识别以诸如白色或者黄色的高亮度颜色 绘制在道路上的车道线。图18是示出在专利文献1中描绘的、广泛使用的车道识别装置1800的结构的一 个示例的概念示意图。该广泛使用的车道识别装置1800配置有图像输入装置1810、鸟瞰图 像创建模块1820、亮度分布图创建模块1830和车道线检测模块1840。图19是示出图18中所示的车道识别装置1800的行为的概念示意图。图19A是 在道路上运行时由图像输入装置1810拍摄的道路图像。这被称为原始图像1910。原始图 像1910被输入到的鸟瞰图像创建模块1820从原始图像1910创建图19B中所示的鸟瞰图 像。亮度分布图创建模块1830通过对沿着与鸟瞰图像1920所示的道路表面的道路宽 度方向垂直的方向的坐标亮度进行积分，而为沿着道路宽度方向的每一个坐标检测图19C 所示的积分亮度。最后，车道线检测模块1840获得与示出比积分亮度分布更高的积分亮度 的道路宽度方向坐标相对应的位置，以检测车道线1930。除了专利文献1之外，关于车道识别还有以下文献。专利文献2公开了从原始图 像检测车道的技术的一个示例。专利文献3公开了基于平面上的移位量从鸟瞰图像创建合 成鸟瞰图像的技术的一个示例。专利文献4公开了从原始图像检测车道的位置和类型的技 术的一个示例。专利文献5公开了判断从原始图像检测的车道是实线还是虚线的技术的一 个示例。专利文献6公开了通过使用不同的时间点的多个图像而改进车道检测准确度的 技术的一个示例。专利文献7公开了基于亮度总值的波动来改进车道检测准确度的技术的 一个示例。专利文献8公开了通过向车辆提供各种传感器而判断道路表面状态从而改进车 道检测准确度的技术的一个示例。专利文献9公开了一种通过连接不同时间点的多个图像而获取车辆周围的鸟瞰 图像的技术。专利文献10公开了当从原始图像获取鸟瞰图像时改进图像质量的技术的一 个示例。专利文献11公开了通过从短距离和长距离分开地识别车道而改进车道检测准确度的技术的一个示例。专利文献1 专利文献2 专利文献3 专利文献4 专利文献5 专利文献6 专利文献7 专利文献8 专利文献9 专利文献10专利文献11日本未审定专利公开2004-145852 日本未审定专利公开2000-242769 日本未审定专利公开2002-120675 日本未审定专利公开2002-175534 日本未审定专利公开2003-067755 日本未审定专利公开2003-346163 日本未审定专利公开2004-246641 日本未审定专利公开2005-276041 日本未审定专利公开2007-096497 日本未审定专利公开2007-249392 日本未审定专利公开Hei 09-167239
技术实现思路
本专利技术所要解决的问题图18和图19中所示的、广泛使用的车道识别装置1800面对如下问题，即很可能 发生误识别。例如，在其中雨滴或者异物附着到图像输入装置1810的情形中，由于这样的 雨滴和异物，在原始图像1910上产生点状噪声。当其被鸟瞰图像创建模块1820转换成鸟 瞰图像1920时，产生沿着纵向方向的白线噪声。不能将那些噪声与车道相区别，从而可能 发生误识别。同时，在其中未将原始图像1910转换成鸟瞰图像1920的情况下直接地从亮度分 布图检测车道的情形中，在距图像输入装置1810远的距离处的视频可能变得不清楚。因 此，难以准确地识别车道。如所描述地，在其中从原始图像1910直接地检测车道和其中在将原始图像1910 转换成鸟瞰图像1920之后检测车道的每一种情形中，很可能有噪声产生，并且那些噪声是 产生误识别的原因。然而，不仅专利文献1而且专利文献2-11均无提及能够抑制在那些情 形的每一个中很可能产生的噪声的结构。本专利技术的一个目的在于提供能够通过抑制分别地在原始图像和鸟瞰图像中很可 能产生的噪声而改进车道识别准确度的一种车道识别装置、一种车道识别方法和一种车道 识别程序。用于解决问题的手段为了实现前面的目的，根据本专利技术的车道识别装置是基于图像识别车道的车道识 别系统。该系统包括合成鸟瞰图像创建模块，该合成鸟瞰图像创建模块通过连接通过将在 多个不同的时间拍摄的原始图像的相应的局部区域转换成鸟瞰图像而获得的多个鸟瞰图 像，创建合成鸟瞰图像；候选车道线提取模块，该候选车道线提取模块通过使用原始图像或 者从原始图像创建的鸟瞰图像以及合成鸟瞰图像的信息而检测候选车道线；以及车道线位 置估计模块，该车道线位置估计模块基于候选车道线的信息估计车道线位置。此外，通过将本专利技术设计作为一种方法而获得的车道识别方法是一种基于图像识 别车道的车道识别方法。该方法包括通过连接通过将在多个不同的时间拍摄的原始图像6的对应的局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰图像；通过使用 原始图像或者从原始图像创建的鸟瞰图像以及合成鸟瞰图像的信息而检测候选车道线；以 及基于候选车道线的信息估计车道线位置。此外，通过将本专利技术设计作为一种程序而获得的车道识别程序是一种用于基于图 像控制对车道的识别的车道识别程序，该车道识别程序使得计算机执行合成鸟瞰图像创 建处理，该合成鸟瞰图像创建处理通过连接通过将在多个不同的时间拍摄的原始图像的相 应的局部区域转换成鸟瞰图像而获得的多个鸟瞰图像进行连接，创建合成鸟瞰图像；候选 车道线提取处理，该候选车道线提取处理通过使用原始图像或者从原始图像创建的鸟瞰图 像以及合成鸟瞰图像的信息而检测候选车道线；以及车道线位置估计处理，该车道线位置 估计处理基于候选车道线的信息估计车道线位置。本专利技术的效果本专利技术被设计成能够通过利用原始图像和合成鸟瞰图像两者而检测作为用于车 道线的候选的车道线的位置，从而很可能分别在原始图像和合成鸟瞰图像中产生的噪声能 够得以抵消。这使得通过抑制噪声而改进车道识别准确度成为可能。具体实施例方式(第一示例性实施例)图1是示出根据本专利技术第一示例性实施例的车道识别装置10的基础结构的框图。 车道识别装置10配置有控制单元100和图像输入装置110。控制单元100是由CPU、RAM、 OS等形成的计算机装置的主要部分，并且执行例如候选车道线检测模块120、合成鸟瞰图 像创建模块130、候选车道线验证模块140、车道线位置估计模块150和车道线位置输出模 块160的功能中的每一种功能。图像输入装置110是诸如照相机的装置，其输入将被作为目标的图像，从所述图 像中检测车道线。在下文中，从图像输入装置110输入的图像被称为原始图像。图像输入 装置110被连附到诸如汽车的车辆上。在下文本文档来自技高网...

【技术保护点】
一种基于图像来识别车道的车道识别系统，包括：合成鸟瞰图像创建模块，所述合成鸟瞰图像创建模块通过连接通过将在多个不同的时间拍摄的原始图像的对应局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰图像；候选车道线提取模块，所述候选车道线提取模块通过使用所述原始图像或者由所述原始图像创建的所述鸟瞰图像以及所述合成鸟瞰图像的信息来检测候选车道线；以及车道线位置估计模块，所述车道线位置估计模块基于所述候选车道线的信息来估计车道线位置。

【技术特征摘要】
【国外来华专利技术】JP 2008-1-11 2008-004275一种基于图像来识别车道的车道识别系统，包括合成鸟瞰图像创建模块，所述合成鸟瞰图像创建模块通过连接通过将在多个不同的时间拍摄的原始图像的对应局部区域转换成鸟瞰图像而获得的多个鸟瞰图像，创建合成鸟瞰图像；候选车道线提取模块，所述候选车道线提取模块通过使用所述原始图像或者由所述原始图像创建的所述鸟瞰图像以及所述合成鸟瞰图像的信息来检测候选车道线；以及车道线位置估计模块，所述车道线位置估计模块基于所述候选车道线的信息来估计车道线位置。2.根据权利要求1的车道识别系统，其中，所述车道线提取模块包括候选车道线检测模块，所述候选车道线检测模块从所述原始图像、由所述原始图像创 建的所述鸟瞰图像、或者所述合成鸟瞰图像检测所述候选车道线；以及车道线验证模块，所述车道线验证模块通过使用所述合成鸟瞰图像、所述原始图像、或 者由所述原始图像创建的所述鸟瞰图像的信息来验证所检测到的候选车道线是否适合用 于车道线。3.根据权利要求1所述的车道识别系统，其中，所述候选车道线提取模块包括第二合成鸟瞰图像创建模块，所述第二合成鸟瞰图像创建模块从所述原始图像或者由 所述原始图像创建的所述鸟瞰图像、以及所述合成鸟瞰图像创建第二合成鸟瞰图像，所述 第二合成鸟瞰图像的在相同位置处的像素的像素值是基于在所述两个图像的相同位置处 的像素的像素值或者其周围的像素的像素值计算的数值；以及候选车道线检测模块，所述候选车道线检测模块从所述第二合成鸟瞰图像检测所述候 选车道线。4.根据权利要求1、2或者3所述的车道识别系统，进一步包括车道线判断模块，所述车道线判断模块从所述原始图像、由所述原始图像创建的所述 鸟瞰图像、所述合成鸟瞰图像、或者所述第二合成鸟瞰图像的信息来判断所述车道线的车 道线类型。5.根据权利要求1、2或者4所述的车道识别系统，其中所述车道线验证模块基于在所述合成鸟瞰图像内的所述候选车道线上的白色或者黄 色涂料部分的布局来验证作为车道线的适合性。6.根据权利要求5所述的车道识别系统，其中在所述合成鸟瞰图像内的所述候选车道线上存在白色或者黄色涂料部分的、多于特定 数目的像素的情形下，所述车道线检测模块决定其适合用于车道线。7.根据权利要求1、3或者4所述的车道识别系统，其中所述第二合成鸟瞰图像创建模块对于在所述第二合成鸟瞰图像中的每一个像素的像 素值，在从所述原始图像创建的所述鸟瞰图像和所述合成鸟瞰图像的对应的像素中选择具 有较低内部亮度的像素值。8.根据权利要求1、2、3、4、5、6或者7所述的车道识别系统，所述车道识别系统涉及从 在持有车的后部上装载的照相机的图像执行车道识别。9.一种基于图像来识别车道的车道识别方法，包括通过连接通过将在多个不同的时间拍摄的原始图像的对应局部区域转换成鸟瞰图像2而获得的多个鸟瞰图像，创建合成鸟瞰图像；通过使用所述原始图像或者由所述原始图像创建的所述鸟瞰图像以及所述合成鸟瞰 图像的信息来检测候选车道线；以及基于所述候选车道线的信息估计车道线位置。10.根据权利要求9所述的车道识别方法，包括当检测所述候选车道线时，从所述原始图像、由所述原始图像创建的所述鸟瞰图像、或 者所述合成鸟瞰图像来检测候选车道线；以及通过使用所述合成鸟瞰图像、所述原始图像、或者由所述原始图像创建的所述鸟瞰图 像的信息来验证所检测到的候选车道线是否适合用于车道线。11.根据权利要求9所述的车道识别方法，包括当检测所述候选车道线时，从所述原始图像或者由所述原始图像创建的所述鸟瞰图像 以及所述合成鸟瞰图像创建第二合成鸟瞰图像，所述第二合成鸟瞰图像的在相同位置处的 像素的像素值是基于在所述两个图像的相同位置处的像素的像素值或者其周围的像素的 像素值计算的数值；以及从所述第二合成鸟瞰图像检测所述候选车道线。12.根据权利要求9、10...

【专利技术属性】
技术研发人员：樱井和之，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：JP[日本]