全景环视图生成方法、车载设备及车载系统技术方案

本发明专利技术涉及一种全景环视图生成方法、车载设备和车载系统。该方法包括：获取车辆周围区域的图像、方向盘转角信息和车速信息；变换拼接生成与时间相关联的环视图，使用ORB算法提取特征点；利用方向盘转角信息和车速信息，根据车辆运动模型计算上一时刻环视图的特征点在当前时刻环视图中的位置，在当前时刻环视图中选取位于该位置附近的特征点与上一时刻环视图的特征点进行匹配；计算仿射变换矩阵并进行仿射变换，与当前时刻环视图进行加权融合并保存；重复上述步骤，获得连续更新的全景环视图。该方法、设备和系统能够消除车底盲区，实现全景透视，并且计算快速，准确度高。

Generation method of full view ring view, on-board equipment and on-board system

【技术实现步骤摘要】
全景环视图生成方法、车载设备及车载系统
本专利技术涉及机器视觉领域，特别是涉及全景环视图生成方法、车载设备及车载系统。
技术介绍
随着图像和计算机视觉技术的快速发展，目前越来越多的车辆上开始搭载全景环视系统。现有的全景环视系统一般包括成像装置和图像处理装置。成像装置包括能够覆盖车辆周边所有视场范围的多个摄像头，例如，分别安装在车辆的车头、车尾、左右后视镜等处的具有宽广视野的鱼眼摄像头。这些摄像头对车辆的周围环境进行成像，并将获取的图像传送至图像处理装置。图像处理装置将接收到的图像与时间相关联，对来自多个摄像头的同一时刻的图像进行处理，例如，图像变换和图像拼接，以获得全景环视图，即车辆周边360度的车身俯视图。但是这样的全景环视系统无法捕捉到车底区域的图像，导致在全景环视图中无法显示车底区域，形成车底区域的显示盲区，影响驾乘人员对车底区域路况的分析以及车辆行驶过程中的位置判断。
技术实现思路
基于此，有必要针对在现有技术生成的全景环视图中无法显示车底区域的问题，提供能够实现车辆透视从而显示车底区域的全景环视图生成方法、车载设备及车载系统。一种全景环视图生成方法，包括以下步骤：从安装在车辆上的多个摄像头获取所述车辆周围区域的图像，并且从所述车辆获取方向盘转角信息和车速信息；将从所述多个摄像头获取的图像通过变换和拼接生成与时间相关联的环视图，将当前时刻生成的环视图用作当前时刻环视图，并保存所述当前时刻环视图；将所述当前时刻环视图与已保存的上一时刻环视图进行配准计算，其中所述配准计算包括：使用ORB算法分别提取所述上一时刻环视图的特征点和所述当前时刻环视图的特征点；利用所述方向盘转角信息和所述车速信息，根据车辆运动模型计算所述上一时刻环视图的特征点在所述当前时刻环视图中的位置，在所述当前时刻环视图的特征点中选取位于所述位置附近的特征点与所述上一时刻环视图的特征点进行匹配；计算所述上一时刻环视图以及所述当前时刻环视图之间的仿射变换矩阵；利用所述仿射变换矩阵对所述上一时刻环视图进行仿射变换，并与所述当前时刻环视图进行加权融合，生成更新的环视图，并保存所述更新的环视图；重复上述步骤，获得连续更新的全景环视图。上述全景环视图生成方法，使用ORB算法分别提取上一时刻环视图的特征点和当前时刻环视图的特征点，然后利用方向盘转角信息和车速信息，根据车辆运动模型计算上一时刻环视图的特征点在当前时刻环视图中的位置，从而在当前时刻环视图的特征点中选取位于该位置附近的特征点与上一时刻环视图的特征点进行匹配，能够有效地减少特征点匹配的计算量，并且提高特征点匹配的精确度。之后再计算出上一时刻环视图和当前时刻环视图之间的仿射变换矩阵，利用该仿射变换矩阵实现全景环视图，从而能够消除环视图中车底区域的显示盲区，使得驾乘人员能够实时地了解车底区域路况，准确地分析和判断车辆行驶中的位置和状况，提高了驾驶的安全性。在其中一个实施例中，在所述配准计算中，还包括：利用所述方向盘转角信息和所述车速信息，根据车辆运动模型得到上一时刻至当前时刻图像坐标系的第一变换矩阵。在其中一个实施例中，所述利用所述方向盘转角信息和所述车速信息，根据车辆运动模型计算所述上一时刻环视图的特征点在所述当前时刻环视图中的位置包括：利用所述第一变换矩阵确定所述上一时刻环视图的特征点在所述当前时刻环视图中的位置。在其中一个实施例中，所述计算所述上一时刻环视图以及所述当前时刻环视图之间的仿射变换矩阵包括：根据提取的所述上一时刻环视图的特征点以及所述当前时刻环视图提取的特征点，利用RANSAC算法计算第二变换矩阵；计算所述第二变换矩阵和所述第一变换矩阵的相似度，当所述相似度小于预设阈值,使用所述第一变换矩阵为所述仿射变换矩阵，而当所述相似度大于或等于所述预设阈值，使用所述第二变换矩阵为所述仿射变换矩阵。在其中一个实施例中，所述第一变换矩阵为：其中(Px,Py)为车辆运动的旋转圆心的坐标，θ为上一时刻至当前时刻车辆的旋转角度，(u0,v0)为在所述上一时刻环视图的特征点在所述上一时刻环视图中的坐标，(u1,v1)为所述上一时刻环视图的特征点在所述当前时刻环视图中的坐标。在其中一个实施例中，所述使用ORB算法分别提取所述上一时刻环视图的特征点和所述当前时刻环视图的特征点包括：构造改进的四叉树来表示实际提取的特征点，所述四叉树的每个节点拥有自身占有的物理空间和所述节点内包含的关键点；根据所述物理空间对所述关键点等大小进行一分四分裂，同时将原有的所述关键点划分给其所在的子节点，直至所述四叉树的节点数量大于等于目标关键点数量时，或所述四叉树的节点数量不再变化时，所述四叉树停止分裂；当所述四叉树的节点具有的关键点数量大于1时，选取其中评分最高的特征点作为提取的特征点。在其中一个实施例中，在所述将从所述多个摄像头获取的图像通过变换和拼接得到当前时刻环视图，并保存所述当前时刻环视图之前，还包括根据标定得到的所述多个摄像头的内部参数、外部参数信息，对从所述多个摄像头获取的图像进行畸变校正、透视变换。一种车载设备，其搭载在车辆上，包括：数据获取装置，用于从安装在所述车辆上的多个摄像头获取所述车辆周围区域的图像，并且从所述车辆获取方向盘转角信息和车速信息；图像变换装置，用于将从所述多个摄像头获取的图像通过变换和拼接生成与时间相关联的环视图，将当前时刻生成的环视图用作当前时刻环视图；图像存储装置，用于存储所述当前时刻环视图和上一时刻环视图；图像处理装置，用于将所述当前时刻环视图与所述上一时刻环视图进行配准计算，其中所述配准计算包括：使用ORB算法分别提取所述上一时刻环视图的特征点和所述当前时刻环视图的特征点；利用所述方向盘转角信息和所述车速信息，根据车辆运动模型计算所述上一时刻环视图的特征点在所述当前时刻环视图中的位置，在所述当前时刻环视图的特征点中选取位于所述位置附近的特征点与所述上一时刻环视图的特征点进行匹配；计算所述上一时刻环视图以及所述当前时刻环视图之间的仿射变换矩阵；利用所述仿射变换矩阵对所述上一时刻环视图进行仿射变换，并与所述当前时刻环视图进行加权融合，生成更新的环视图，并保存所述更新的环视图；根据连续的时刻，生成连续更新的全景环视图。上述车载设备，通过数据获取装置获取摄像头图像以及车辆运动信息，图像处理装置利用获取的方向盘转角信息和车速信息，根据车辆运动模型计算上一时刻环视图的特征点在当前时刻环视图中的位置，从而在当前时刻环视图中选取位于该位置附近的特征点与上一时刻环视图的特征点进行匹配，能够有效地减少特征点匹配的计算量，并且提高特征点匹配的精确度。之后再计算出上一时刻环视图和当前时刻环视图之间的仿射变换矩阵，利用该仿射变换矩阵实现全景环视图，从而能够消除车身俯视图中车底区域的显示盲区，使得驾乘人员能够实时地了解车底区域路况，准确地分析和判断车辆行驶中的位置和状况，提高了驾驶的安全性。在其中一个实施例中，所述本文档来自技高网...

【技术保护点】
1.一种全景环视图生成方法，其特征在于，包括以下步骤：/n从安装在车辆上的多个摄像头获取所述车辆周围区域的图像，并且从所述车辆获取方向盘转角信息和车速信息；/n将从所述多个摄像头获取的图像通过变换和拼接生成与时间相关联的环视图，将当前时刻生成的环视图用作当前时刻环视图，并保存所述当前时刻环视图；/n将所述当前时刻环视图与已保存的上一时刻环视图进行配准计算，其中所述配准计算包括：使用ORB算法分别提取所述上一时刻环视图的特征点和所述当前时刻环视图的特征点；利用所述方向盘转角信息和所述车速信息，根据车辆运动模型计算所述上一时刻环视图的特征点在所述当前时刻环视图中的位置，在所述当前时刻环视图的特征点中选取位于所述位置附近的特征点与所述上一时刻环视图的特征点进行匹配；计算所述上一时刻环视图以及所述当前时刻环视图之间的仿射变换矩阵；/n利用所述仿射变换矩阵对所述上一时刻环视图进行仿射变换，并与所述当前时刻环视图进行加权融合，生成更新的环视图，并保存所述更新的环视图；/n重复上述步骤，获得连续更新的全景环视图。/n

【技术特征摘要】
1.一种全景环视图生成方法，其特征在于，包括以下步骤：
从安装在车辆上的多个摄像头获取所述车辆周围区域的图像，并且从所述车辆获取方向盘转角信息和车速信息；
将从所述多个摄像头获取的图像通过变换和拼接生成与时间相关联的环视图，将当前时刻生成的环视图用作当前时刻环视图，并保存所述当前时刻环视图；
将所述当前时刻环视图与已保存的上一时刻环视图进行配准计算，其中所述配准计算包括：使用ORB算法分别提取所述上一时刻环视图的特征点和所述当前时刻环视图的特征点；利用所述方向盘转角信息和所述车速信息，根据车辆运动模型计算所述上一时刻环视图的特征点在所述当前时刻环视图中的位置，在所述当前时刻环视图的特征点中选取位于所述位置附近的特征点与所述上一时刻环视图的特征点进行匹配；计算所述上一时刻环视图以及所述当前时刻环视图之间的仿射变换矩阵；
利用所述仿射变换矩阵对所述上一时刻环视图进行仿射变换，并与所述当前时刻环视图进行加权融合，生成更新的环视图，并保存所述更新的环视图；
重复上述步骤，获得连续更新的全景环视图。


2.根据权利要求1所述的全景环视图生成方法，其特征在于，所述配准计算，还包括：利用所述方向盘转角信息和所述车速信息，根据车辆运动模型得到上一时刻至当前时刻图像坐标系的第一变换矩阵；所述利用所述方向盘转角信息和所述车速信息，根据车辆运动模型计算所述上一时刻环视图的特征点在所述当前时刻环视图中的位置包括：利用所述第一变换矩阵确定所述上一时刻环视图的特征点在所述当前时刻环视图中的位置。


3.根据权利要求1所述的全景环视图生成方法，其特征在于，所述配准计算，还包括：利用所述方向盘转角信息和所述车速信息，根据车辆运动模型得到上一时刻至当前时刻图像坐标系的第一变换矩阵；所述计算所述上一时刻环视图以及所述当前时刻环视图之间的仿射变换矩阵包括：
根据提取的所述上一时刻环视图的特征点以及所述当前时刻环视图的特征点，利用RANSAC算法计算第二变换矩阵；
计算所述第二变换矩阵和所述第一变换矩阵的相似度，当所述相似度小于预设阈值,使用所述第一变换矩阵为所述仿射变换矩阵，而当所述相似度大于或等于所述预设阈值，使用所述第二变换矩阵为所述仿射变换矩阵。


4.根据权利要求2或3所述的全景环视图生成方法，其特征在于，所述第一变换矩阵为：



其中(Px,Py)为车辆运动旋转圆心的坐标，θ为上一时刻至当前时刻车辆的旋转角度，(u0,v0)为在所述上一时刻环视图的特征点在所述上一时刻环视图中的坐标，(u1,v1)为所述上一时刻环视图的特征点在所述当前时刻环视图中的坐标。


5.根据权利要求1至3任意一项所述的全景环视图生成方法，其特征在于，所述使用ORB算法分别提取所述上一时刻环视图的特征点和所述当前时刻环视图的特征点包括：
构造改进的四叉树来表示实际提取的特征点，所述四叉树的每个节点拥有自身占有的物理空间和所述节点内包含的关键点；
根据所述物理空间对所述关键点等大小进行一分四分裂，同时将原有的所述关键点划分给其所在的子节点，直至所述四叉树...

【专利技术属性】
技术研发人员：李文学，
申请(专利权)人：黑芝麻智能科技上海有限公司，
类型：发明
国别省市：上海;31