前方路缘观察系统中的增强的俯瞰视图生成技术方案

本发明专利技术公开了前方路缘观察系统中的增强的俯瞰视图生成。一种用于利用来自左前部和右前部照相机的图像来建立车辆前方区域的增强的虚拟俯瞰视图的系统和方法。所述增强的虚拟俯瞰视图不仅为驾驶员提供从原始照相机图像无法直接得到的俯瞰视图立体图，而且移除了广角镜头图像中固有的失真和夸张的立体效果。所述增强的虚拟俯瞰视图还包括对三种类型的问题的修正，这三种类型的问题典型地出现在去扭曲图像中——包括车身部分到图像内的虚假突出物、图像的边缘周围的低分辨率和噪声以及地平面以上对象的“双影”效果。

【技术实现步骤摘要】
前方路缘观察系统中的增强的俯瞰视图生成相关申请交叉引用本申请要求于2013年5月23日提交的名称为“前方路缘观察系统中的增强的俯瞰视图生成”的美国临时专利申请序列号61/826,904的优先权日的利益。
本专利技术总体上涉及车辆前方的路缘和其他结构的增强的俯瞰视图图像的显示，更特别地，涉及用于利用来自左前部和右前部照相机的图像合成车辆前方区域的增强的虚拟俯瞰视图的系统和方法，其中，增强的虚拟俯瞰视图包括对到视图内的虚假车身部分突出物、视图边缘中的低分辨率和图像噪声以及地面以上对象的双重成像的修正。
技术介绍
近些年来，车辆越来越普遍地配备前视照相机。来自前视照相机的图像被用于各种应用，包括车道偏离警告和碰撞警告。在这些应用中，照相机图像并不显示给车辆驾驶员，而是相反地，图像由车载计算机使用图像处理技术进行分析，从这些图像中检测出车道边界和潜在障碍物，并在需要时向驾驶员发出警告。尽管新技术的出现使得紧凑、可靠和便宜的数码照相机变为现实，但是长久以来的问题继续困扰驾驶员。该问题是，在停车时，驾驶员无法精确判断车辆前部相对于障碍物(例如路缘)的位置。当驶入停车空间时，由于车辆前部的阻挡，驾驶员固有地无法看到路缘，因此驾驶员不得不估计要向前开多远——以期望不会碰到路缘。这种判断能够是困难的，因为其依赖于过去的经验，周边视觉提示以及其他间接信息。如果驾驶员错误地判断前方间隙，车辆可能无法足够远地驶入停车空间，或者更糟的是，车辆前部可能碰到路缘，导致车辆损坏。在停车操纵过程中，驾驶员通常专注于停车的许多个面，而可能没有想到手动打开前方路缘观察显示器。然而，如果前方路缘观察系统基于停车操纵的环境自动显示最合适的前方图像，大多数驾驶员将发现该视觉信息是有帮助的——特别是如果该系统不仅选择了对驾驶员提供最有帮助的一个或更多个图像，而且还提供增强的图像，该增强的图像具有对固有地存在于广角镜头图像中的视觉失真的修正。需要一种前视停车辅助系统，其利用车辆前方的路缘和其他结构的可用图像，并将能使驾驶员对车辆前部相对于路缘或其他前方对象精确定位的优化图像提供给驾驶员。
技术实现思路
根据本专利技术的教导，系统和方法被公开用于利用来自左前方和右前方照相机的图像建立车辆前方区域的增强的虚拟俯瞰视图。所述增强的虚拟俯瞰视图不仅为驾驶员提供从原始照相机图像无法直接得到的俯瞰立体图，而且移除了广角镜头图像中固有的畸变和夸张的立体效果。所述增强的虚拟俯瞰视图还包括对三种类型的问题的修正，这些问题典型地出现在去扭曲图像中——包括车身部分到图像内的虚假突出物、图像边缘周围的低分辨率和图像/视频噪声以及地平面以上对象的“双影”效果。方案1、一种用于提供车辆前方区域的增强的俯瞰观察的系统，所述系统包括：安装在车辆的左前部处的第一照相机；安装在车辆的右前部处的第二照相机；与所述第一和第二照相机通信的图像采集模块，所述图像采集模块接收来自所述照相机的原始图像，并且来自所述照相机的原始图像具有大致前视图立体图；包括存储模块的处理器，所述处理器配置为提供车辆前方区域的虚拟俯瞰视图，其中，所述虚拟俯瞰视图由来自所述照相机的原始图像合成，并且所述虚拟俯瞰视图包括对车身部分到所述视图内的虚假突出物、所述视图的边缘周围的低分辨率和噪声以及地平面以上对象的双影效果的修正；以及车辆的驾驶座区域中的显示单元，用于显示来自所述处理器的虚拟俯瞰视图，用于由车辆驾驶员观看。方案2、根据方案1所述的系统，其中，对车身部分到视图内的虚假突出物的修正包括：识别所述虚拟俯瞰视图中的遮蔽区域，其中所述遮蔽区域为所述虚拟俯瞰视图中的车身部分虚假地展现为向前延伸过远的区域，并且所述遮蔽区域利用基于已知车辆几何尺寸和照相机位置信息的计算被识别。方案3、根据方案2所述的系统，其中，所述遮蔽区域被合成地重新纹理化，以展现为所述虚拟俯瞰视图中的地面，包括利用空间填充技术，其中，所述遮蔽区域基于来自所述原始图像的周围纹理和结构并利用时间填充技术(temporalfillingtechniques)而被重新纹理化，其中，来自刚好在所述原始图像中的遮蔽区域外部的实际像素基于车辆运动被置换到所述虚拟俯瞰视图中的遮蔽区域内。方案4、根据方案1所述的系统，其中，对所述视图的边缘周围的低分辨率和噪声的修正包括：识别所述虚拟俯瞰视图的左、右和上周边附近的低分辨率区域，其中，所述低分辨率区域为所述虚拟俯瞰视图中的图像分辨率由于去扭曲(de-warp)而导致低的区域，并且进一步包括利用空间分辨率增强修正所述低分辨率区域，其中，空间分辨率增强包括：利用低分辨率区域内部的颜色和强度组合所述低分辨率区域外部的表面纹理。方案5、根据方案4所述的系统，其中，修正所述低分辨率区域进一步包括：利用时间分辨率增强，其中，时间分辨率增强包括：基于车辆运动将来自刚好在所述原始图像中的低分辨率区域外部的实际像素置换到所述虚拟俯瞰视图中的低分辨率区域内。方案6、根据方案1所述的系统，其中，对地平面以上对象的双影效果的修正包括：利用从运动恢复结构技术(structure-from-motiontechniques)，该技术利用一系列所述原始图像和来自车辆雷达或激光雷达系统的对象数据以构建车辆前方的对象的三维模型，并且所述三维模型用于消除所述虚拟俯瞰视图中的双重成像。方案7、根据方案1所述的系统，其中，对地平面以上对象的双影效果的修正包括：分析所述虚拟俯瞰视图以检测所述双影效果，对于成对出现的特征假设地平面以上的新高度，并基于所述新高度重新运行去扭曲计算。方案8、根据方案1所述的系统，其中，对地平面以上对象的双影效果的修正包括：分析所述虚拟俯瞰视图以检测所述双影效果，在合并之前找到来自所述第一和第二照相机的原始图像中的共同特征点，以及利用图像配准技术转换所述原始图像，使得所述共同特征点在所述虚拟俯瞰视图中对齐。方案9、根据方案1所述的系统，其中，所述虚拟俯瞰视图显示于所述显示单元上的第一视窗中，并且鸟瞰视图显示于所述显示单元上的第二视窗中，其中，所述第一视窗大于所述第二视窗，并且所述鸟瞰视图包括位于中心的车辆示图，具有位于车辆示图前方的前视图图像以及车辆示图后方的后视图图像。方案10、根据方案1所述的系统，其中，所述虚拟俯瞰视图包括车辆前方的路缘是否将与车辆的低悬车身部件相接触的指示，并且如果确定该车辆将接触路缘，则提供警告。方案11、一种用于提供车辆前方区域的增强的俯瞰观察的方法，所述方法包括：提供来自车辆上的安装在前部的照相机的图像，其中，所述图像具有大致前视图立体图；由来自所述照相机的图像合成虚拟俯瞰视图；利用微处理器在所述虚拟俯瞰视图上执行去扭曲计算，以产生去扭曲的虚拟俯瞰视图；增强所述去扭曲的虚拟俯瞰视图，以产生增强的虚拟俯瞰视图，包括对车身部分到所述视图内的虚假突出物的修正，修正所述视图的边缘周围的低分辨率和噪声，并修正地平面以上对象的双影效果；以及在显示设备上显示所述增强的虚拟俯瞰视图，用于由驾驶员观看。方案12、根据方案11所述的方法，其中，对车身部分到所述视图内的虚假突出物的修正包括：识别所述虚拟俯瞰视图中的遮蔽区域，其中，所述遮蔽区域为所述虚拟俯瞰视图中的车身部分虚假地展现为向前延伸过远的区域，并且所述遮蔽区域利用基于已知本文档来自技高网...

【技术保护点】
一种用于提供车辆前方区域的增强的俯瞰观察的系统，所述系统包括：安装在车辆的左前部处的第一照相机；安装在车辆的右前部处的第二照相机；与所述第一和第二照相机通信的图像采集模块，所述图像采集模块接收来自所述照相机的原始图像，并且来自所述照相机的原始图像具有大致前视图立体图；包括存储模块的处理器，所述处理器配置为提供车辆前方区域的虚拟俯瞰视图，其中，所述虚拟俯瞰视图由来自所述照相机的原始图像合成，并且所述虚拟俯瞰视图包括对车身部分到所述视图内的虚假突出物、所述视图的边缘周围的低分辨率和噪声以及地平面以上对象的双影效果的修正；以及车辆的驾驶座区域中的显示单元，用于显示来自所述处理器的虚拟俯瞰视图，用于由车辆驾驶员观看。

【技术特征摘要】
2013.05.23 US 61/826904;2014.05.16 US 14/2805061.一种用于提供车辆前方区域的增强的俯瞰观察的系统，所述系统包括：安装在车辆的左前部处的第一照相机；安装在车辆的右前部处的第二照相机；与所述第一和第二照相机通信的图像采集模块，所述图像采集模块接收来自所述照相机的原始图像，并且来自所述照相机的原始图像具有前视图立体图；包括存储模块的处理器，所述处理器配置为提供车辆前方区域的虚拟俯瞰视图，其中，所述虚拟俯瞰视图由来自所述照相机的原始图像合成，并且所述虚拟俯瞰视图包括对车身部分到所述视图内的虚假突出物、所述视图的边缘周围的低分辨率和噪声以及地平面以上对象的双影效果的修正；以及车辆的驾驶座区域中的显示单元，用于显示来自所述处理器的虚拟俯瞰视图，用于由车辆驾驶员观看,其中，对地平面以上对象的双影效果的修正包括：利用从运动恢复结构技术，该技术利用一系列所述原始图像和来自车辆雷达或激光雷达系统的对象数据以构建车辆前方的对象的三维模型，并且所述三维模型用于消除所述虚拟俯瞰视图中的双重成像。2.根据权利要求1所述的系统，其中，对车身部分到视图内的虚假突出物的修正包括：识别所述虚拟俯瞰视图中的遮蔽区域，其中所述遮蔽区域为所述虚拟俯瞰视图中的车身部分虚假地展现为向前延伸过远的区域，并且所述遮蔽区域利用基于已知车辆几何尺寸和照相机位置信息的计算被识别。3.根据权利要求2所述的系统，其中，所述遮蔽区域被合成地重新纹理化，以展现为所述虚拟俯瞰视图中的地面，包括利用空间填充技术，其中，所述遮蔽区域基于来自所述原始图像的周围纹理和结构并利用时间填充技术而被重新纹理化，其中，来自刚好在所述原始图像中的遮蔽区域外部的实际像素基于车辆运动被置换到所述虚拟俯瞰视图中的遮蔽区域内。4.根据权利要求1所述的系统，其中，对所述视图的边缘周围的低分辨率和噪声的修正包括：识别所述虚拟俯瞰视图的左、右和上周边附近的低分辨率区域，其中，所述低分辨率区域为所述虚拟俯瞰视图中的图像分辨率由于去扭曲而导致低的区域，并且进一步包括利用空间分辨率增强修正所述低分辨率区域，其中，空间分辨率增强包括：利用低分辨率区域内部的颜色和强度组合所述低分辨率区域外部的表面纹理。5.根据权利要求4所述的系统，其中，修正所述低分辨率区域进一步包括：利用时间分辨率增强，其中，时间分辨率增强包括：基于车辆运动将来自刚好在所述原始图像中的低分辨率区域外部的实际像素置换到所述虚拟俯瞰视图中的低分辨率区域内。6.根据权利要求1所述的系统，其中，对地平面以上对象的双影效果的修正包括：分析所述虚拟俯瞰视图以检测所述双影效果，对于成对出现的特征假设地平面以上的新高度，并基于所述新高度重新运行去扭曲计算。7.根据权利要求1所述的系统，其中，对地平面以上对象的双影效果的修正包括：分析所述虚拟俯瞰视图以检测所述双影效果，在合并之前找到来自所述第一和第二照相机的原始图像中的共同特征点，以及利用图像配准技术转换所述原始图像，使得所述共同特征点在所述虚拟俯瞰视图中对齐。8.根据权利要求1所述的系统，其中，所述虚拟俯瞰视图显示于所述显示单元上的第一视窗中，并且鸟瞰视图显示于所述显示单元上的第二视窗中，其中，所述第一视窗大于所述第二视窗，并且所述鸟瞰视图包括位于中心的车辆示图，具有位于车辆示图前方的前视图图像以及车辆示图后方的后视图图像。9.根据权利要求1所述的系统，其中，所述虚拟俯瞰视图包括车辆前方的路缘是否将与车辆的低悬车身部件相接触的指示，并且如果确定该车辆将接触路缘，则提供警告。10.一种用于提供车辆前方区域的增强的俯瞰观察的方法，所述方法包括：提供来自车辆上的安装在前部的照相机的图像，其中，所述图像具有前视图立体图；由来自所述照相机的图像合成虚拟俯瞰视图；利用微处理器在所述虚拟俯瞰视图上执行去扭曲计算，以产生去扭曲的虚拟俯瞰视图；增强所述去扭曲的虚拟俯瞰视图，以产生增强的虚拟俯瞰视图，包括对车身部分到所述视图内的虚假突出物的修正，修...

【专利技术属性】
技术研发人员：W·张，J·王，K·S·利贝克，J·S·皮亚塞基，B·B·利特库希，R·M·弗雷克斯，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国;US