图像处理方法、车载视觉辅助系统及存储设备技术方案

本申请提供一种图像处理方法、车载视觉辅助系统及存储设备，所述方法应用于车载视觉辅助系统，所述系统包括设于车辆盲区位置的显示装置，所述方法包括：获取用户视角对应方位的车辆的车外图像信息以及车内图像信息；获取空洞数据补偿模型；确定显示装置在车内图像信息中的显示区域，根据空洞数据补偿模型及车外图像信息，对车内图像信息中显示区域对应的图像数据进行空洞数据补偿；将补偿后获得的补偿图像针对显示装置的显示效果进行适应性调整，获得用于显示装置显示的目标图像信息。本申请中，该显示的目标图像信息内容更接近实际景象，有利于驾驶员了解视觉盲区外部的实际情况，进而降低驾驶风险。

Image processing method, vehicle vision auxiliary system and storage equipment

【技术实现步骤摘要】
图像处理方法、车载视觉辅助系统及存储设备
本申请涉及车载电子领域，特别涉及一种图像处理方法、车载视觉辅助系统及存储设备。
技术介绍
车体前方支撑柱，也称为A柱，负责连接汽车前挡风玻璃和前车门，是关乎车体安全性的重要部件。从车体结构上讲，A柱要满足侧翻安全性，同时需要满足更严格的车顶压溃标准。然而A柱也被认为是驾驶员的视觉障碍物，不少驾驶者在日常驾驶过程中，前方视线都会受到A柱影响，从而令可视范围有所缩窄，行人和弱势道路使用者的危险得以增加。为了解决A柱带来的视觉盲区的问题，当前主要有两种解决方案：一是改变A柱物理结构，在前门车窗加入固定式的小窗，以提升侧前方的可视范围。二是利用车载视觉辅助系统，在汽车中加入探测驾驶员动作和拍摄车外状况的摄像头和流媒体屏幕，以投射的方式将A柱盲区的情况显示给驾驶者。但是，即使采用一般的电子视觉系统，因该视觉系统所映射出的景象与现实景象存在差异，成像效果不佳，驾驶员仍然难以判断A柱外的实际情况，从而造成驾驶风险。
技术实现思路
本申请提供一种图像处理方法、车载视觉辅助系统及存储设备，可以提高视觉辅助系统的成像效果，降低驾驶风险。本申请提供一种图像处理方法，应用于车载视觉辅助系统，所述系统包括设于车辆盲区位置的显示装置，所述方法包括：获取用户视角对应方位的车辆的车外图像信息以及车内图像信息；获取空洞数据补偿模型，所述空洞数据补偿模型包括若干同一视角下的所述车外图像信息和车内图像信息之间的成像矩阵关系；确定所述显示装置在所述车内图像信息中的显示区域，根据所述空洞数据补偿模型及所述车外图像信息，对所述车内图像信息中显示区域对应的图像数据进行空洞数据补偿；将补偿后获得的补偿图像针对所述显示装置的显示效果进行适应性调整，获得用于所述显示装置显示的目标图像信息。本申请还提供一种车载视觉辅助系统，包括：车内摄像头，安装于所述驾驶员的头部附近，用于获取用户视角对应方位的车辆的车内图像信息；车外摄像头，安装于车辆外部，用于获取用户视角对应方位的车辆的车外图像信息；显示装置，设于车辆盲区位置，用于显示目标图像信息；处理器以及存储器，所述处理器与所述车内摄像头、车外摄像头以及存储器电性连接；所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，以执行如上所述的图像处理方法。本申请还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如上所述的图像处理方法。由上可知，本申请实施例中的图像处理方法、车载视觉辅助系统及存储设备，通过获取用户视角下的车内图像信息与车外图像信息，并结合空洞数据补偿模型进行空洞数据补偿，将补偿后获得的补偿图像针对所述显示装置的显示效果进行适应性调整，获得用于所述显示装置显示的目标图像信息。该目标图像信息通过显示装置显示后，可以使其图像内容和外部的景象相匹配，从而提高了车载视觉辅助系统的成像效果。该图像内容更接近实际景象，有利于驾驶员了解视觉盲区外部的实际情况，进而降低驾驶风险。附图说明图1为本申请实施例提供的视觉辅助成像系统的应用场景示意图。图2为本申请实施例提供的图像处理方法的实现流程图。图3为本申请实施例提供的图像拼接过程的应用场景示意图。图4为本申请实施例提供的空洞数据补偿的实现流程图。图5为本申请实施例提供的调整补偿图像的实现流程图。图6为本申请实施例提供的剪裁补偿图像的实现流程图。图7为本申请实施例提供的车载视觉辅助系统的结构示意图。具体实施方式下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征更易被本领域技术人员理解，从而对本申请的保护范围作出更为清楚的界定。本申请公开了一种图像处理方法，该视觉辅助方法应用于视觉辅助系统中。请参阅图1，图中示出了本申请实施例提供的车载视觉辅助系统的应用场景图，该车载视觉辅助系统可以包括车内摄像头111、车外摄像头112以及显示装置13。该车内摄像头112，可以设置在驾驶员的头部附近，以获取用户视角下的车内图像信息。其中，该车内摄像头112可以观察到车辆盲区位置的显示装置12，以及车辆外部的景象。在一些实施例中，该车内摄像头112的位置位于驾驶员的头部附近，使得其视角与用户的视角相近，可以通过一些转换算法获得用户视角下的车内图像信息。另外，该车内摄像头112还可以设置在头戴式设备上。该车内摄像头112的具体放置位置可以根据实际情况而定。该车外摄像头113，可以设置在车辆外部，以获取到车辆外部的车外图像信息。具体的，该车外摄像头113可以设置在车辆外部的两侧，例如设置在车辆倒后镜处，或者是设置在A柱外侧，以确保该车外图像信息包含车辆盲区位置被A柱遮挡的外部景象。该显示装置12，设于车辆盲区位置，用于显示目标图像信息，该显示装置12可以用于显示车外摄像头113获取到的外部景象。请参阅图2，图中示出了本申请实施例提供的图像处理方法的实现流程。如图2所示，该图像处理方法包括：101、获取用户视角对应方位的车辆的车外图像信息以及车内图像信息。其中，车外图像信息由车外摄像头获取，车内图像信息由车内摄像头获取。该车外图像信息应当与视角信息对应方位，例如若是在右侧的A柱方向的显示装置，则其车外图像信息应该为该车辆右侧的A柱方向以外的车外景象，而若是在左侧的A柱方向的显示装置，则所获取的车外图像信息也应该为车辆左侧的A柱方向以外的车外景象。需要注意的是，该车外图像信息的获得角度可以根据驾驶位所在的位置相对应调整。另外，该车内图像信息可以根据驾驶位进行确定，例如若是右侧的A柱，则对应所获取到的与右侧A柱相关的车内图像信息可以包含该车辆右侧的A柱方向的车内图像。在一些实施例中，该显示装置的显示控制可以与用户视角的变化关联，例如，通过检测用户的脸部或眼睛视角，来判断其正在观察的角度，从而确定其正在观察哪个方向的A柱情况。可以理解的，该显示装置的目标图像信息可以根据实际应用方式进行实时播放，也可以根据用户的观察情况进行选择性开启。102、获取空洞数据补偿模型，空洞数据补偿模型包括若干同一视角下的车外图像信息和车内图像信息之间的成像矩阵关系。由于在车内图像信息中，A柱以外的图像是观察不到的，而车外图像信息中包含有同一视角下该A柱以外的图像。在一些实施例中，可以提取车外图像信息与车内图像信息的景象特征点，并将两者对应的特征点进行匹配，以将两者的图像进行拼接，使拼接后的图像信息中对应特征点为同一图像位置。具体的，在拼接过程中可以通过训练空洞数据补偿模型，学习多个视角中两者在A柱部分的图像数据之间的关联性，从而通过空洞数据补偿模型可以获得同一视角下的车外图像信息与车内图像信息之间的成像矩阵关系。在一些实施例中，该成像矩阵关系可以由以下本文档来自技高网...

【技术保护点】
1.一种图像处理方法，应用于车载视觉辅助系统，所述系统包括设于车辆盲区位置的显示装置，其特征在于，所述方法包括：/n获取用户视角对应方位的车辆的车外图像信息以及车内图像信息；/n获取空洞数据补偿模型，所述空洞数据补偿模型包括若干同一视角下的所述车外图像信息和车内图像信息之间的成像矩阵关系；/n确定所述显示装置在所述车内图像信息中的显示区域，根据所述空洞数据补偿模型及所述车外图像信息，对所述车内图像信息中显示区域对应的图像数据进行空洞数据补偿；/n将补偿后获得的补偿图像针对所述显示装置的显示效果进行适应性调整，获得用于所述显示装置显示的目标图像信息。/n

【技术特征摘要】
1.一种图像处理方法，应用于车载视觉辅助系统，所述系统包括设于车辆盲区位置的显示装置，其特征在于，所述方法包括：
获取用户视角对应方位的车辆的车外图像信息以及车内图像信息；
获取空洞数据补偿模型，所述空洞数据补偿模型包括若干同一视角下的所述车外图像信息和车内图像信息之间的成像矩阵关系；
确定所述显示装置在所述车内图像信息中的显示区域，根据所述空洞数据补偿模型及所述车外图像信息，对所述车内图像信息中显示区域对应的图像数据进行空洞数据补偿；
将补偿后获得的补偿图像针对所述显示装置的显示效果进行适应性调整，获得用于所述显示装置显示的目标图像信息。


2.如权利要求1所述的图像处理方法，其特征在于：
所述根据所述空洞数据补偿模型及所述车外图像信息，对所述车内图像信息中显示区域对应的图像数据进行空洞数据补偿，包括：
根据所述车外图像信息进行三维重建，获得携带有深度数据的三维视图；
根据所述空洞数据补偿模型与所述三维视图，对所述车内图像信息中显示区域对应的图像数据进行空洞数据补偿。


3.如权利要求2所述的图像处理方法，其特征在于，在所述根据所述原始图像以及深度信息进行三维重建之前，还包括：
通过双目摄像头获取原始图像，以及与所述原始图像对应的深度数据；
根据所述原始图像以及与所述原始图像对应的深度数据建立监督性深度学习网络，以使所述原始图像中的特征与对应的所述深度数据关联；
基于所述监督性深度学习网络对所述车外图像信息进行三维重建。


4.如权利要求2或3所述的图像处理方法，其特征在于，所述对所述车内图像信息中显示区域对应的图像数据进行空洞数据补偿，还包括：
根据所述车外图像信息以及所述三维视图，对所述三维视图中的深度数据进行噪声修复。


5.如权利要求1所述的图像处理方法，其特征在于：
所述车外图像信息包括车外图像，以及与所述车外图像对应的深度数据；
所述根据所述空洞数据补偿模型及所述车外图像信息，对所述车内图像信息中显示区域对应的图像数据进行空洞数据补偿，包括：
根据所述车外图像以及深度数据建立携带有深度数据的三维视图；
根据所述空洞数据补偿模型与所述三维视图，对所述车内图像信息中显示区域对应的图像数据进行空洞数据补偿。


6...

【专利技术属性】
技术研发人员：李海宁，李江伟，张荃，
申请(专利权)人：深圳市德赛微电子技术有限公司，
类型：发明
国别省市：广东;44