一种新的车载驾驶辅助图像生成方法技术

本发明专利技术涉及一种新的车载驾驶辅助图像生成方法，本发明专利技术是为了解决车载环视系统中近景，远景及立体物在虚拟相机图像上不能达到成像效果均具有透视效果真实性的问题。本发明专利技术提出使用球形虚拟投影面来建立实际相机与虚拟相机的映射关系。针对不同的车辆行驶状态本发明专利技术提出几种虚拟相机放置方式。这些虚拟相机放置方式可以减轻驾驶员在观看实际相机图像时需要进行坐标转换的负担，也为驾驶员提供更加容易识别的车辆周边环境图像。为了提高处理速度本发明专利技术提出“正向映射表”：首先建立从实际相机图像映射到球形虚拟投影面的映射表，再根据虚拟相机的在位置将上述映射表再次映射到虚拟相机图像平面上从而得到从真实相机图像向虚拟相机图像映射的“正向映射表”。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及，本专利技术是为了解决车载环视系统中近景，远景及立体物在虚拟相机图像上不能达到成像效果均具有透视效果真实性的问题。本专利技术提出使用球形虚拟投影面来建立实际相机与虚拟相机的映射关系。针对不同的车辆行驶状态本专利技术提出几种虚拟相机放置方式。这些虚拟相机放置方式可以减轻驾驶员在观看实际相机图像时需要进行坐标转换的负担，也为驾驶员提供更加容易识别的车辆周边环境图像。为了提高处理速度本专利技术提出“正向映射表”：首先建立从实际相机图像映射到球形虚拟投影面的映射表，再根据虚拟相机的在位置将上述映射表再次映射到虚拟相机图像平面上从而得到从真实相机图像向虚拟相机图像映射的“正向映射表”。【专利说明】
本专利技术涉及车载多目摄像机环视系统，尤其涉及车载环视系统虚拟相机图像的计算方法。
技术介绍
当今社会，汽车已成为一种必不可少的交通工具。人们在享受汽车带来的方便和快捷的同时，汽车交通事故，汽车尾气排放带来的环境污染以及交通阻塞带来的问题，已成为日益严峻的全球性社会问题。因此，利用各种先进的汽车安全技术、设备和理念减少交通事故和提高汽车安全有很大的市场潜能。上一世纪90年代以后，随着电子技术、控制技术、传感器技术和新材料在汽车产品中的广泛应用，汽车安全技术得到了更加迅猛的发展。现如今，汽车安全技术的研究已由单一安全技术的研发，向各种安全技术相融合协同的集成化、系统化和智能化方向发展。智能化的汽车安全系统以现代探测技术、光电传感技术、计算机技术和自动控制技术为核心，具有特定的识别判断能力，能在各种复杂情况下自动协助驾驶员或自行控制汽车，确保行车安全。车载环境感知系统利用各种传感器对车辆自身、周围环境及驾驶员状态等信息进行探测，通过与预先设定的标准进行比较，判别车辆是否处于危险状态及危险程度，必要时能够通过声、光等方式向驾驶员进行预警。目前车载环境感知系统使用的传感器主要有:I)单目或多目摄像机系统，通过对实时采集来的环境图像进行处理得到相关距离，位置等信息；2)激光雷达或毫米波雷达，通过发出并接收红外激光或者电波，根据多普勒效应，计算周边障碍物的距离和位置等信息；3)声纳，通过定向发出并接收超声波，计算周边障碍物的距离和位置等信息。比较起来，激光或毫米波雷达可测范围广，抗外界恶劣环境的能力强，但通常只有一层或数层扫描面，无法获得整个场景的三维立体信息，而且价格昂贵。声纳只适用于近距测量(比如倒车用)，而且只有照射方向上的一点信息。车载摄像机系统通过视觉得到信息，是目前应用最广泛也是最有前景的传感器之一。比如倒车摄像机是应用最普遍的一种车载视觉系统。它一般安装在车辆后部，方向朝侧下方。在驾驶员倒车时，系统自动接通车载显示屏，为驾驶员提供后方广域景象。当前车载图像驾驶辅助系统给驾驶员提供的辅助图像有两种方式:(一)，将实际摄像机采集到的图像直接显示给驾驶员；(二)，利用某种视点变换将实际采集到的图像变换处理后显示给驾驶员。从驾驶员的角度看，理想的车载图像驾驶辅助系统应该准确的提供车辆与周边环境的位置关系，包括1)，车辆与近景的位置关系；2)，车辆与远景的位置关系；3)车辆与立体物的位置关系。由于相机在车体上的安装位置和角度总是存在误差，所以方式(一)直接把实际采集到的图像显示出来不能通过图像准确判断车辆与环境的位置关系，而且驾驶员可能要进行坐标转换才可以理解图像与车辆的位置关系。因此利用方式(二)通过视点变换对图像进行处理之后再显示出来是多数图像驾驶辅助系统的选择。如上所述图像驾驶辅助系统是要向驾驶员提供车辆与周边环境的位置关系，近年来利用装配在车体上的多台相机通过相机标定技术与视点变换技术可以将多台相机的图像内容融合到一幅图像之中，如果这几台装配在车体上的相机的视角可以覆盖车体周围360度，则通过视点变换融合生成的图像也可以是对车体及其周边做俯瞰形式的360度无死角监控图像。(I)与本专利技术相关的现有技术一:视点变换技术 现有技术一:国际公开专利WO 00-07373 图1所示为视点变换的概念及其关键要素:1)实际相机，2)虚拟相机，3)虚拟投影面。其中实际相机和虚拟相机的内部参数和外部参数以及虚拟投影面的几何形状与姿态都是已经确定的。现有技术一可以利用装配在车体前后左右的多台相机的内部参数与外部参数对各台相机所摄取的图像做单一视点变换使其变换成为以车体为参照中心的俯瞰图，然后再对上述这些生成的俯瞰图进行拼接处理而生成一幅由多台相机图像无缝拼接得到的完整360度俯瞰图。其中图2所示为俯瞰虚拟相机及其可视范围的概念图。(2)与本专利技术相关的现有技术二:虚拟相机与虚拟投影面 现有技术二:国际公开专利WO 00-07373,日本专利JP 2004-32464，日本专利 JP 2008-83786，日本专利 JP 2008-141643，日本专利 JP 2008-148113,日本专利JP 2008-148112，日本专利 JP 2008-149879，日本专利 JP 2008-149878,日本专利 JP2008-85446 ο如上所述理想的车载图像驾驶辅助系统应该向驾驶员提供准确而是易于识别的车辆与周边环境的位置关系，包括1)，车辆与近景的位置关系；2)，车辆与远景的位置关系；3)车辆与立体物的位置关系。现有技术二就是涉及如何将以上几种位置关系信息都准确的通过图像的方式呈现给驾驶员。对于近景这些技术一般将虚拟投影面假设为位于车轮下的与车体平行的平面，然后通过这个虚拟投影面建立实际相机的成像面与虚拟相机的成像面映射关系。而为了将远景或者立体障碍物与车辆的位置关系也准确的呈现给驾驶员现有技术二提出了各种各样的虚拟投影面。为了将远景或者立体障碍物与车辆的位置关系也准确的呈现给驾驶员国际公开专利WO 00-07373提出如图3所示的几种虚拟投影面。图3 (a)为长方体投影面，其假设为:底面为近景投影面，4个竖面为远景和立体物投影面。图3 (b)为圆筒投影面，其假设为:底面为近景投影面，竖直圆柱面为远景和立体物投影面。图3 (c)为碗形投影面，其假设为:其将近景远景和立体物全部投影于碗面。图3 (d)为多平面投影面，其假设为:底面为近景投影面，两个竖面为远景和立体障碍物投影面。日本专利JP2004-32464采用以与水平路面成一定倾角的平面作为虚拟投影面，以扩大可视范围。日本专利JP 2008-83786以折面(两个平面)作为虚拟投影面，从而实现远景与近景的共同显示。日本专利JP 2008-141643把虚拟投影面设计成平滑衔接的折面。日本专利JP 2008-148113以折面(两个平面)作为虚拟投影面，且根据转向角和车辆前进后退状态调整虚拟投影面的折面角度。日本专利JP 2008-148112以折面(两个平面)作为虚拟投影面，且根据转向角和车辆前进后退状态调整虚拟投影面的转折位置。日本专利JP 2008-149879以折面(两个平面)作为虚拟投影面，且根据转向角和车辆前进后退状态调整虚拟投影面的可是区域大小。日本专利JP 2008-149878以折面(两个平面)作为虚拟投影面，且根据转向角和车辆前进后退状态调整虚拟投影面的转折方向。日本专利JP2008-85446把虚拟相机的成像面设计成折面，以同时摄取本文档来自技高网...

【技术保护点】
虚拟投影面及其设置方式，其特征在于，所述方法包括：使用球形面作为虚拟投影面来建立实际相机和虚拟相机之间的映射关系；实际相机和虚拟相机位于球形虚拟投影面的球心附近，球形虚拟投影面的半径r应当尽量大，其大小可依据车身长度V_length的大小确定；这种方式生成的虚拟相机图像中的近景，远景及立体物体具有相对真实的透视效果。

【技术特征摘要】

【专利技术属性】
技术研发人员：董延超，马薇，
申请(专利权)人：无锡维森智能传感技术有限公司，
类型：发明
国别省市：