一种车辆驾驶视野增强方法、设备及系统技术方案

本发明专利技术公开了一种车辆驾驶视野增强方法、设备及系统，所述方法包括：获取车辆当前行驶的车道上的多个车道摄像头对车道拍摄到的路面图像；从多个车道摄像头拍摄到的路面图像中确定包含有车辆的路面图像；对包含有车辆的路面图像进行图像分析，以分析出车辆在车道上的行驶位置及相对于车道的车辆行驶位姿；根据多个车道摄像头拍摄到的路面图像对车道进行路面的场景重建，得到车道的路面重建场景图；根据行驶位置及车辆行驶位姿，得到车辆在路面重建场景图中的行驶视角画面，并将行驶视角画面发送至车辆的显示装置进行显示。本发明专利技术能够无需在车辆上安装复杂的夜视系统也能够为车辆在弱光环境下安全行驶提供保障。

【技术实现步骤摘要】
一种车辆驾驶视野增强方法、设备及系统
本专利技术涉及车辆的辅助安全
，尤其涉及一种车辆夜视方法、装置及系统。
技术介绍
随着科技的发展，车辆夜视系统为车辆在夜晚等弱光环境下的感知能力逐步提高，为车辆在弱光环境下安全行驶提供了极大的保障。但是现有技术的车辆夜视系统存在以下不足：成本较高，目前只配置在少量高端品牌的高端车型上；并且夜视能力较好的夜视相机体积较大，较难安装在车辆中。
技术实现思路
本专利技术提出本专利技术提出一种车辆驾驶视野增强方法、装置及系统，无需在车辆上安装复杂的夜视系统也能够为车辆在弱光环境下安全行驶提供保障，节约成本。本专利技术一实施例提供一种车辆驾驶视野增强方法，其包括：获取车辆当前行驶的车道上的多个车道摄像头对所述车道拍摄到的路面图像；从所述多个车道摄像头拍摄到的路面图像中确定包含有所述车辆的路面图像；对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿；根据所述多个车道摄像头拍摄到的所述路面图像对所述车道进行路面的场景重建，得到所述车道的路面重建场景图；根据所述行驶位置及所述车辆行驶位姿，得到所述车辆在所述路面重建场景图中的行驶视角画面，并将所述行驶视角画面发送至所述车辆的显示装置进行显示。作为上述方案的改进，所述对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿，包括：对包含有所述车辆的所述路面图像进行车辆及车道路面的识别，以识别出车辆在车道上的行驶位置；将包含有所述车辆的所述路面图像输入训练好的深度神经网络中，以提取所述路面图像中的车辆的特征关键点；其中，所述特征关键点包括所述车辆轮毂中心和车灯；将获取到的所述车辆的特征关键点与所述车辆的预设的车辆模型的特征关键点进行计算比对，得到车辆相对于所述车道的车辆行驶位姿。作为上述方案的改进，在所述对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿之前，所述方法还包括：获取车辆的多张不同拍摄角度的车辆行驶图像，形成训练数据集；提取所述车辆行驶图像中的车辆的特征关键点，并对所述特征关键点进行标注；其中，所述特征关键点包括所述车辆轮毂中心和车灯；搭建用于目标检测的深度神经网络，并将所述训练数据集中的图像输入到深度神经网络进行训练，得到训练好的深度神经网络。作为上述方案的改进，所述对包含有所述车辆的所述路面图像进行车辆及车道路面的识别，以识别出车辆在车道上的行驶位置，包括：获取包含有所述车辆的所述路面图像中的各个物体的图像轮廓；将所述各个物体的图像轮廓与预设的车辆轮廓及预设的车道路面轮廓进行比对，以识别出所述路面图像中的车辆及车道路面；根据识别出的车辆及车道路面各自在所述路面图像中的坐标，得到车辆在车道上的行驶位置。本专利技术另一实施例提供了一种车辆驾驶视野增强设备，其包括：路面图像获取模块，用于获取车辆当前行驶的车道上的多个车道摄像头对所述车道拍摄到的路面图像；路面图像选取模块，用于从所述多个车道摄像头拍摄到的路面图像中确定包含有所述车辆的路面图像；路面图像分析模块，用于对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿；路面场景重建模块，用于根据所述多个车道摄像头拍摄到的所述路面图像对所述车道进行路面的场景重建，得到所述车道的路面重建场景图；显示控制模块，用于根据所述行驶位置及所述车辆行驶位姿，得到所述车辆在所述路面重建场景图中的行驶视角画面，并将所述行驶视角画面发送至所述车辆的显示装置进行显示。作为上述方案的改进，所述路面图像分析模块，具体包括：图像识别单元，用于对包含有所述车辆的所述路面图像进行车辆及车道路面的识别，以识别出车辆在车道上的行驶位置；车辆特征提取单元，用于将包含有所述车辆的所述路面图像输入训练好的深度神经网络中，以提取所述路面图像中的车辆的特征关键点；其中，所述特征关键点包括所述车辆轮毂中心和车灯；车辆行驶位姿分析单元，用于将获取到的所述车辆的特征关键点与所述车辆的预设的车辆模型的特征关键点进行计算比对，得到车辆相对于所述车道的车辆行驶位姿。作为上述方案的改进，所述图像识别单元具体用于：获取包含有所述车辆的所述路面图像中的各个物体的图像轮廓；将所述各个物体的图像轮廓与预设的车辆轮廓及预设的车道路面轮廓进行比对，以识别出所述路面图像中的车辆及车道路面；根据识别出的车辆及车道路面各自在所述路面图像中的坐标，得到车辆在车道上的行驶位置。本专利技术另一实施例提供了一种车辆驾驶视野增强设备，其包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述任一方案所述的车辆驾驶视野增强方法。本专利技术另一实施例提供了一种车辆驾驶视野增强系统，包括：车道摄像系统及如权利要求8所述的车辆驾驶视野增强设备；所述车道摄像系统，其包括多个分布于车道的不同路段的车道摄像头，其与所述车辆驾驶视野增强设备建立通信连接，其用于将车道摄像头拍摄到的车道路面图像上传至所述车辆驾驶视野增强设备。相比于现有技术，本专利技术实施例提供的所述车辆驾驶视野增强方法、设备及系统，首先获取车辆当前的车道上的多个摄像头对所述车道拍摄到的路面图像，从所述多个车道摄像头拍摄到的路面图像中确定包含有所述车辆的路面图像；接着对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿；然后根据所述多个车道摄像头拍摄到的所述路面图像对所述车道进行路面的场景重建，得到所述车道的路面重建场景图；再根据所述行驶位置及所述车辆行驶位姿，得到所述车辆在所述路面重建场景图中的行驶视角画面，并将所述行驶视角画面发送至所述车辆的显示装置进行显示，这样驾驶员通过车辆的显示装置可以观测到前方的路况信息，提升车辆夜视效果，保证驾驶员在夜间安全行驶。由上分析可知，本专利技术实施例无需在车辆上安装复杂的夜视系统也能够为车辆在弱光环境下安全行驶提供保障，节约成本。附图说明图1是本专利技术一实施例提供的一种车辆驾驶视野增强方法的流程示意图；图2是本专利技术一实施例提供的一种车辆驾驶视野增强设备的结构示意图；图3是本专利技术一实施例提供的另一种车辆驾驶视野增强设备的结构示意图；图4是本专利技术一实施例提供的又一种车辆驾驶视野增强设备的结构示意图；图5是本专利技术一实施例提供的一种车辆驾驶视野增强系统的架构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性本文档来自技高网...

【技术保护点】
1.一种车辆驾驶视野增强方法，其特征在于，包括：/n获取车辆当前行驶的车道上的多个车道摄像头对所述车道拍摄到的路面图像；/n从所述多个车道摄像头拍摄到的路面图像中确定包含有所述车辆的路面图像；/n对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿；/n根据所述多个车道摄像头拍摄到的所述路面图像对所述车道进行路面的场景重建，得到所述车道的路面重建场景图；/n根据所述行驶位置及所述车辆行驶位姿，得到所述车辆在所述路面重建场景图中的行驶视角画面，并将所述行驶视角画面发送至所述车辆的显示装置进行显示。/n

【技术特征摘要】
1.一种车辆驾驶视野增强方法，其特征在于，包括：
获取车辆当前行驶的车道上的多个车道摄像头对所述车道拍摄到的路面图像；
从所述多个车道摄像头拍摄到的路面图像中确定包含有所述车辆的路面图像；
对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿；
根据所述多个车道摄像头拍摄到的所述路面图像对所述车道进行路面的场景重建，得到所述车道的路面重建场景图；
根据所述行驶位置及所述车辆行驶位姿，得到所述车辆在所述路面重建场景图中的行驶视角画面，并将所述行驶视角画面发送至所述车辆的显示装置进行显示。


2.根据权利要求1所述的车辆驾驶视野增强方法，其特征在于，所述对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿，包括：
对包含有所述车辆的所述路面图像进行车辆及车道路面的识别，以识别出车辆在车道上的行驶位置；
将包含有所述车辆的所述路面图像输入训练好的深度神经网络中，以提取所述路面图像中的车辆的特征关键点；其中，所述特征关键点包括所述车辆轮毂中心和车灯；
将获取到的所述车辆的特征关键点与所述车辆的预设的车辆模型的特征关键点进行计算比对，得到车辆相对于所述车道的车辆行驶位姿。


3.根据权利要求1所述的车辆驾驶视野增强方法，其特征在于，在所述对包含有所述车辆的路面图像进行图像分析，以分析出车辆在所述车道上的行驶位置及相对于所述车道的车辆行驶位姿之前，所述方法还包括：
获取车辆的多张不同拍摄角度的车辆行驶图像，形成训练数据集；
提取所述车辆行驶图像中的车辆的特征关键点，并对所述特征关键点进行标注；其中，所述特征关键点包括所述车辆轮毂中心和车灯；
搭建用于目标检测的深度神经网络，并将所述训练数据集中的图像输入到深度神经网络进行训练，得到训练好的深度神经网络。


4.根据权利要求2所述的车辆驾驶视野增强方法，其特征在于，所述对包含有所述车辆的所述路面图像进行车辆及车道路面的识别，以识别出车辆在车道上的行驶位置，包括：
获取包含有所述车辆的所述路面图像中的各个物体的图像轮廓；
将所述各个物体的图像轮廓与预设的车辆轮廓及预设的车道路面轮廓进行比对，以识别出所述路面图像中的车辆及车道路面；
根据识别出的车辆及车道路面各自在所述路面图像中的坐标，得到车辆在车道上的行驶位置。


5....

【专利技术属性】
技术研发人员：丁磊，姚聪，
申请(专利权)人：华人运通上海自动驾驶科技有限公司，
类型：发明
国别省市：上海;31