全景泊车中鸟瞰图像的自动拼接方法、系统及车辆技术方案

本发明专利技术公开了全景泊车中鸟瞰图像的自动拼接方法、系统及车辆，该方法首先借助预先设计的标定布和拼接模板，利用图像的骨架技术自动获取相邻标定鸟瞰图像中摄像头重叠区域的十字交叉线中心点，利用该中心点将标定鸟瞰图像进行拼接，然后根据相邻标定鸟瞰图像的摄像头覆盖区域内的子图像的亮度差值，利用像素点离拼接缝隙的远近对其中一幅鸟瞰图像的摄像头覆盖区域的亮度进行加权调整。该拼接方法能够自动实现，拼接精度较高，且全景拼接图像亮度变换自然、无明显的拼接缝隙。使用本发明专利技术能够减少人工拼接的时间，提高全景拼接图像的质量。

Automatic splicing method, system and vehicle for aerial view of panoramic parking

The invention discloses an automatic splicing method, the image of aerial panoramic parking system and vehicle, simulation of the calibration of cloth and splicing pre designed templates, automatic acquisition of adjacent calibration cross the line center point of an image in the camera overlap region using skeleton image technology, calibration of aerial image mosaic using the center point, then according to the brightness difference between adjacent aerial camera calibration image within the coverage area of the image, the pixels from the distance of the splicing gap of a bird's-eye view of the camera image coverage area weighted brightness adjustment. The splicing method can be realized automatically, and the stitching precision is high, and the brightness of the panoramic mosaic image is changed naturally, and the splicing gap is not obvious. The invention can reduce the time of manual splicing and improve the quality of panoramic mosaic images.

【技术实现步骤摘要】

本专利技术属于图像处理领域，涉及全景泊车中鸟瞰图像的自动拼接方法、系统及车辆。
技术介绍
驾驶员在倒车以及泊车时，发生倒车事故的概率占据了道路交通事故很大的比例。发生倒车事故的原因是多方面的，如倒车镜存在视觉盲区、恶劣天气造成的驾驶员视线模糊、驾驶员驾驶技术不熟练等。虽然倒车事故很少引起严重的交通事故，但是经常给车主带来麻烦和一些经济损失。全景辅助泊车系统通过安装在车身周围的多个鱼眼摄像头，同时采集车辆多个方向的实时图像，图像处理单元对这些图像进行处理，最终能够为驾驶员提供周边360度的全景图像，无任何死角，并且以俯视图的方式在车辆中控台上显示。全景辅助泊车系统能够以视频图像的方式告知驾驶员周围的情况除了可以帮助减轻泊车压力、辅助驾驶员倒车之外，还能避免一些安全事故，提高泊车的安全性。全景辅助泊车系统在使用之前，需要对系统进行标定，获取全景拼接参数，这是系统的核心。目前的全景辅助泊车产品，在获取拼接参数时，很多需要技术人员手工操作来完成最终的鸟瞰图像的拼接，这种工作方式将增加技术人员的工作难度，同时也降低了全景拼接的精度，此外，因四个摄像头安装的高度和角度都各不相同，使得组成全景拼接图像的各个部分亮度变化不自然，不利于驾驶员的泊车。
技术实现思路
本专利技术的目的是为克服上述现有技术的不足，提供全景泊车中鸟瞰图像的自动拼接方法，该方法能够自动实现鸟瞰图像的拼接，且全景拼接图像亮度变化自然，无明显的拼接缝隙。本专利技术提供的第二目的是提供一种全景泊车系统的标定系统，该标定系统通过对图像的获取，处理后，可实现鸟瞰图像的自动拼接，提高全景拼接图像的质量。本专利技术还提供一种车辆，该车辆采用上述的一种全景泊车系统的标定系统，通过该标定系统的使用，可实现车辆的辅助泊车。为了达成上述目的，本专利技术采用如下技术方案：本专利技术提供的第一个方案是：全景泊车中鸟瞰图像的自动拼接方法，对每个摄像头覆盖区域子图像，先进行市街区距离变换，然后利用图像的市街区距离提取该子图像的骨架，接着根据骨架点的横坐标统计直方图和纵坐标统计直方图，确定这个子图像的十字交叉线中心点；根据该十字交叉线中心点实现鸟瞰图像的拼接；采用图像的市街区距离提取该子图像的骨架，有利于实现鸟瞰图像的准确拼接。上述利用图像的市街区距离提取该子图像的骨架的方法如下：采用迭代的方法计算图像的动态阈值，根据该阈值对图像进行二值化处理，然后对图像中的目标像素点进行市街区距离变换，将每个目标像素的市街区距离和其周围像素的市街区距离进行比较，如果周围像素的市街区距离比当前像素的市街区距离都要小的话，则当前像素留下作为骨架，否则消去为背景。上述自动拼接方法，具体步骤如下：1)根据拼接模板将汽车周围用于标定的鸟瞰图像进行旋转，保证旋转后的鸟瞰图像的棋盘格方向与拼接方向一致，确定旋转后的鸟瞰图像中的棋盘格内角点构成的矩形区域；2)根据鸟瞰图像中单位棋盘方格的图像尺寸，对鸟瞰图像进行尺寸归一化处理；3)确定鸟瞰图像中摄像头覆盖区域子图像，对每个子图像进行市街区距离变换并提取子图像的骨架，确定子图像的十字交叉线中心点；4)根据步骤3)确定的十字交叉线中心点，按照预先设定好的拼接模板，将鸟瞰图像拼接为一幅全景拼接图像。进一步地，所述步骤1)的具体步骤如下：1-1)图像坐标系的建立：以摄像头拍摄的图像左上顶点为坐标原点，水平向右为横坐标x的正方向，垂直向下方向为纵坐标y的正方向；1-2)摄像头参数的确定：通过张正友标定方法确定；1-3)对汽车四周的标定图像Ai进行畸变校正后，获得普通透视图像Bi；1-4)根据普通透视图像Bi中棋盘格内角点的实际坐标、图像坐标及摄像头参数，计算透视图像Bi的单应性变换矩阵Hi，i＝0,1,2,3；Hi=hi11hi12hi13hi21hi22hi23hi31hi31hi33---(1)]]>1-5)根据确定的单应性变换矩阵Hi将透视图像Bi进行鸟瞰变换，得到鸟瞰图像Ci。进一步地，所述步骤1)中确定旋转后鸟瞰图像中棋盘格内角点构成的矩形区域方法如下：2-1)根据透视图像Bi中已经识别出的棋盘格内角点，确定这些内角点组成的矩形区域的左上、右上、左下和右下四个内角点的图像坐标，将其记为PQTij(xij,yij)，其中j＝0,1,2,3，利用单应性变换矩阵Hi，将PQTij按照公式(2)进行坐标变换，其中x′ij、y′ij分别是xij、yij坐标变换后对应的坐标值；x′ij=hi11xij+hi12yij+hi13hi31xij+hi32yij+hi33,y′ij=hi21xij+hi22yij+hi23hi31xij+hi32yij+hi33---(2)]]>2-2)变换后内角点坐标对应于鸟瞰图像Ci中棋盘格内角点构成的矩形区域的四个顶点位置的坐标，这样能够确定鸟瞰图像Ci中棋盘格内角点构成的矩形区域R1i，将矩形区域R1i的四个顶点坐标记为PPTij(x′ij,y′ij)；2-3)根据拼接模板对鸟瞰图像Ci进行角度旋转操作，以鸟瞰图像Ci的左上点为旋转中心，若逆时针旋转角度为Agi度，根据公式(4)、公式(5)、公式(6)和公式(7)可以确定变换矩阵Mi，其中xim、yim指的是旋转后图像的横坐标x和纵坐标y的最小值；根据已经确定的旋转变换矩阵Mi、旋转角度和鸟瞰图像Ci旋转前图像中的棋盘格内角点构成的矩形区域R1i，利用公式(8)能够确定旋转后的鸟瞰图像Ci中的棋盘格内角点矩形区域R2i，矩形区域R2i的四个顶点坐标可记为PTij(x″ij,y″ij)Mi=mi0mi1mi2mi3mi4mi5---(3)]]>mi0=mi4=cos(πAgi180)---(4)]]>mi1=-mi3=sin(πAgi180)---(5)]]>mi2＝-xim(6)mi5＝-yim(7)x″ij＝mi0x′ij+mi1y′ij+mi2，y″ij＝mi3x′ij+mi4y′ij+mi5(8)进一步地，所述步骤2)中对鸟瞰图像进行尺寸归一化处理的方法为：根据确定的鸟瞰图像Ci中的棋盘格内角点矩形区域R2i，可以计算出鸟瞰图像Ci中单位棋盘方格的图像尺寸ui，若预先设定的单位棋盘方格的归一化尺寸为u，那么图像Ci的缩放因子根据si对鸟瞰图像Ci进行尺寸变换处理，根据缩放因子si和棋盘格内角点矩形区域R2i，能够确定在尺寸归一化处理后的鸟瞰图像Ci中的棋盘格内角点矩形区域R3i。进一步地，所述步骤3)中提取图像骨架的方法为：根据图像Ci中的棋盘格内角点矩形区域R3i，借助标定布上棋盘格、十字交叉线的尺寸和布局，能够确定图像Ci中的十字交叉线公共区域子图像R4iC1、R4iC2，将R4iC1、R4iC2分别作为感兴趣区域图像做如下的处理：3-1)计算感兴趣区域图像的自适应阈值；3-2)根据3-1)计算的阈值将感兴趣区域进行二值化处理；3-3)对子图像中的目标像素点进行市街区距离变换；3-4)将每个目标像素的市街区距离与该目标周围像素的市街区距离进行比较，若周围像素的市街区距离小于目标像素的市街区距离，将该目标像素留下作为骨架，若否，则消去为背景。若R是一个区域，B是R的边界，对于R中的点p，找p在B上“最近”的邻点，如果有2个或以上的B中的点与p同时最近本文档来自技高网...

【技术保护点】
全景泊车中鸟瞰图像的自动拼接方法，其特征在于，对每个摄像头覆盖区域子图像，先进行市街区距离变换，然后利用图像的市街区距离提取该子图像的骨架，接着根据骨架点的横坐标统计直方图和纵坐标统计直方图，确定这个子图像的十字交叉线中心点；根据该十字交叉线中心点实现鸟瞰图像的拼接。

【技术特征摘要】
1.全景泊车中鸟瞰图像的自动拼接方法，其特征在于，对每个摄像头覆盖区域子图像，先进行市街区距离变换，然后利用图像的市街区距离提取该子图像的骨架，接着根据骨架点的横坐标统计直方图和纵坐标统计直方图，确定这个子图像的十字交叉线中心点；根据该十字交叉线中心点实现鸟瞰图像的拼接。2.如权利要求1所述的自动拼接方法，其特征在于，利用图像的市街区距离提取该子图像的骨架的方法如下：采用迭代的方法计算图像的动态阈值，根据该阈值对图像进行二值化处理，然后对图像中的目标像素点进行市街区距离变换，将每个目标像素的市街区距离和其周围像素的市街区距离进行比较，如果周围像素的市街区距离比当前像素的市街区距离都要小的话，则当前像素留下作为骨架，否则消去为背景。3.如权利要求1所述的自动拼接方法，其特征在于，具体步骤如下：1)根据拼接模板将汽车周围用于标定的鸟瞰图像进行旋转，保证旋转后的鸟瞰图像的棋盘格方向与拼接方向一致，确定旋转后的鸟瞰图像中的棋盘格内角点构成的矩形区域；2)根据鸟瞰图像中单位棋盘方格的图像尺寸，对鸟瞰图像进行尺寸归一化处理；3)确定鸟瞰图像中两两摄像头覆盖区域子图像，对每个子图像进行市街区距离变换并提取子图像的骨架，确定子图像的十字交叉线中心点；4)根据步骤3)确定的十字交叉线中心点，按照预先设定好的拼接模板，将鸟瞰图像拼接为一幅全景拼接图像。4.如权利要求3所述的自动拼接方法，其特征在于，所述步骤1)的具体步骤如下：1-1)图像坐标系的建立：以摄像头拍摄的图像左上顶点为坐标原点，水平向右为横坐标x的正方向，垂直向下方向为纵坐标y的正方向；1-2)摄像头参数的确定：通过张正友标定方法确定；1-3)对汽车四周的标定布图像Ai进行畸变校正后，获得普通透视图像Bi；1-4)根据普通透视图像Bi棋盘格内角点的实际坐标、图像坐标及摄像头参数，计算透视图像Bi的单应性变换矩阵Hi，i＝0,1,2,3；Hi=h11h12h13h21h22h23h31h32h33---(1)]]>1-5)根据确定的单应性变换矩阵Hi将透视图像Bi进行鸟瞰变换，得到鸟瞰图像Ci。5.如权利要求3所述的自动拼接方法，其特征在于，所述步骤1)中对鸟瞰图像的旋转方法如下：2-1)根据透视图像Bi中已经识别出的棋盘格内角点，确定这些内角点组成的矩形区域的左上、右上、左下和右下四个内角点的图像坐标，将其记为PQTij(xij,yij)，其中j＝0,1,2,3，利用单应性变换矩阵Hi，将PQTij按照公式(2)进行坐标变换，其中x′ij、y′ij分别是xij、yij坐标变换后对应的坐标值；x′ij=hi11xij+hi12yij+hi13hi31xij+hi32yij+hi33,y′ij=hi21xij+hi22yij+hi23hi31xij+hi32yij+hi33---(2);]]>2-2)变换后内角点坐标对应于鸟瞰图像Ci中棋盘格内角点构成的矩形区域的四个顶点位置的坐标，这样能够确定鸟瞰图像Ci中棋盘格内角点构成的矩形区域R1i，将矩形区域R1i的四个顶点坐标记为PPTij(x′ij,y′ij)；2-3)根据拼接模板对鸟瞰图像Ci进行角度旋转操作，以鸟瞰图像Ci的左上点为旋转中心，若逆时针旋转角度为Agi度，根据公式(4)、公式(5)、公式(6)和公式(7)可以确定变换矩阵Mi，其中xim、yim指的是旋转后图像的横坐标x和纵坐标y的最...

【专利技术属性】
技术研发人员：闫旭琴，李研强，王磊，张晓鹏，
申请(专利权)人：山东省科学院自动化研究所，
类型：发明
国别省市：山东;37