一种3D全景泊车辅助系统技术方案

本发明专利技术公开了一种3D全景泊车辅助系统，是属于一种应用于汽车安全辅助驾驶领域的技术。系统包括摄像头输入模块、图像校正模块、三维投影模块、图像拼接模块和图像显示模块。系统是汽车周围状况的三维景像真实地展现给驾驶员，以提高汽车泊车过程中的安全性。本发明专利技术综合了多种机器视觉和数字图像处理的处理算法，融合了机器视觉领域的多项先进技术，使汽车泊车过程具有更高的安全性。

A 3D panoramic parking assist system

The invention discloses a 3D panoramic parking assist system, belonging to the technical field applied to the automobile safety auxiliary driving field. The system includes camera input module, image correction module, 3D projection module, image mosaic module and image display module. The system is a three-dimensional scene around the car to show the real situation to the driver, in order to improve the safety in the process of car parking. The invention combines the processing algorithms of various machine vision and digital image processing, and integrates a plurality of advanced techniques in the field of machine vision, so that the parking process of the automobile has higher safety.

【技术实现步骤摘要】
一种3D全景泊车辅助系统
：本专利技术涉及将汽车周围状况的三维景像更真实地展现给驾驶员，以提高汽车泊车的安全性，属于汽车电子领域和机器视觉领域，尤其是涉及汽车安全辅助驾驶领域。
技术介绍
：近年来，汽车产业的迅速发展，我国的汽车数量也急剧上升，同时汽车驾驶人员中非职业驾驶人员所占的比例也大量增加。在街道、车库和停车场等拥挤狭小的地方倒车时，由于常规的光学后视镜存在盲区，很容易发生刮碰。为了解决视线盲区问题，一种传统的2D全景泊车辅助系统诞生了。通过安装在车身四周的四个摄像头采集图像，并转换成鸟瞰图拼接，使驾驶员可以在驾驶室内看到车身周边区域的鸟瞰图，从而避免因倒车不当而发生碰撞。但是，这种传统的2D全景泊车辅助系统是在二维平面上投影的，只可以显示鸟瞰图像，有时很难辨认障碍物；尤其是人像，由于俯视视角，人像呈点状以及影子的平面图像，这使驾驶员很难辨别，增加了泊车过程中的危险性。为了更加真实地向驾驶员展现车辆周围三维景像的状况，3D全景泊车辅助系统应运而生。在3D全景泊车辅助系统中，通过安装在车身四周的四个摄像头采集图像，然后利用一整套的图像处理技术将采集的图像投影到三维曲面上，生成的影像更接近实物，可以清晰地辨别障碍物，同时没有任何的死角和盲区，大大提升了泊车的安全性。在实现本专利技术的过程中，专利技术人发现现有技术至少存在以下几个问题：通常情况下，3D全景泊车辅助系统采用超广角镜头和鱼眼镜头，其变形和畸变难以精确校正，使形成的3D全景图存在严重变形，使景像不真实；在三维投影曲面的选择上，目前已有的三维模型呈碗型，在碗壁到底面的部分图像扭曲、形变严重；3D全景图四方向图像存在亮度不均衡，重叠区亮度不一致，并存在拼接痕迹等问题。这些存在问题影响了用户的体验，甚至因为对景物辨识不清晰，增加了泊车中的危险性。
技术实现思路
：本专利技术的目的在于提供一种3D全景泊车辅助系统，将汽车周围状况的三维景像真实地展现给驾驶员，以提高汽车泊车过程中的安全性。为实现该目的，本专利技术采取以下技术方案：本专利技术提供的一种3D全景泊车辅助系统，所述系统包括：摄像头输入模块、图像校正模块、三维投影模块、图像拼接模块和图像显示模块。1)所述摄像头输入模块，用于实时采集汽车周边状况的图像；将四个鱼眼摄像头分别安装于车体前后左右四个方向上，前后摄像头分别位于车前后的中心位置，左右摄像头分别位于车两侧中心的偏前方；由于各类车型的尺寸不一样，因此摄像头安装的角度也应按车身作相应调整。设定坐标系，分别以各摄像机为原点，过原点垂直地面向上的直线为Z轴，过原点垂直车身长轴中心且垂直Z轴的直线为X轴，过原点垂直X和Z轴的直线设为Y轴，为方便说明，初始状态设置为摄像头光轴与Z轴重合，摄像机绕Y轴旋转使视野覆盖距离车身至少8米，摄像机绕Z轴旋转使车身周围的图像能够呈现在图像的中间区域；2)所述图像校正模块，用于校正图像变形和畸变；鱼眼镜头是一种超广角的特殊镜头，它的焦距极短并且视角能达到180度，鱼眼镜头能实现近距离大视场，但同时也引入非常严重的图像变形。图像变形的主要原因是鱼眼镜头的真正成像面不是平面，而是近似于球状的曲面。除此之外，还存在鱼眼镜头的畸变，由像点发出的光线经鱼眼镜头透镜折射后，理想像点与摄像机实际成像面上所成的像点之间所存在的光学误差。因此，需通过校正变形和畸变，使之满足普通摄像机的成像模型，才能适用于后续的立体视觉操作；鱼眼变形校正采用最常用的等距投影模型，畸变校正采用对坐标偏移影响最大的径向畸变模型。经推导，带变形和畸变坐标的坐标(xu，yu)，畸变坐标(xd，yd)，和校正后(x，y)坐标关系如下：其中，f为焦距，k1，k2，k3，k4为畸变系数。为求解以上参数，须建立立体视觉模型获得校正后(x，y)和空间三维坐标点(Xw，Yw，Zw)经推导，立体视觉模型如下：其中，s为尺度因子，[RT]为外参矩阵，R为3x3的旋转矩阵，T为3x1的平移矩阵。联立校正模型和立体视觉模型，可获得带变形和畸变坐标的坐标点(xu，yu)和空间三维坐标点(Xw，Yw，Zw)的非线性关系。通过拍摄多组三维特征点，获取多组非线性关系，建立三维重投影误差的最优化方程。其中k为特征点个数，为第i个特征点的空间三维点坐标，为第i个特征点的估计空间三维点坐标，即由非线性关系求得。利用蚁群优化算法求解该非线性最优化问题，可求得最优解f，k1，k2，k3，k4。由此，通过校正模型可校正鱼眼镜头变形和图像畸变；3)所述三维投影模块，用于将四方向摄像机的校正后图像分别投影到三维曲面上；根据摄像机的安装角度和位置，计算校正后图像点到三维空间的关系；经推导，关系式如下：其中s’为尺度因子，r为绕X轴旋转角度，b为绕Y轴旋转角度，a为绕Z轴旋转角度，h为摄像头安装高度，cr，sr，cb，sb，ca，sa分别为cos(r)，sin(r)，cos(b)，sin(b)，cos(a)，sin(a)的简写。由于s’为尺度因子，只与图像缩放有关，为简化过程，可略去，由后续拼接过程进行操作。则式子变为：其中P为3x4的投影矩阵。由于车身近处环境多为地面，而远处环境多为高于地面的物体和建筑物，为使图像扭曲变形小且不同区域的图像拉抻的协调性好，设置曲率过渡柔和的类似“桶形”的三维曲面模型更为合理；以车身为中心垂直到地面的点为原点，可将生成三维曲面模型的曲线分为三段，第一段为地面直线区，第二段为过渡曲线区，第三段为高度急剧上升的曲线区，可根据以下方程设置：其中，f1，f2，f3分别三段曲线函数，R为距离原点的距离，reg1，reg2为三个曲线区域分割点，a2，b2，c2，a3，b3为函数系数，为使过渡圆滑，所设置曲线应为可导曲线，应满足：利用投影矩阵将四方向摄像机的校正后图像分别投影到三维曲面上；4)所述图像拼接模块，用于将四个摄像头采集的图像拼接在一个图像内，生成3D全景图；车辆四周地面铺设方格线，对重叠区的方格线配准，其中只包含图像缩放和旋转平移。因此可通过求取仿射矩阵进行配准。公式如下：其中，xi，yi，xj，yj为相邻两图像重叠区的点，h11，h12，h13，h21，h22，h23为仿射矩阵参数，H为仿射矩阵。由多个重叠点联立方程，如下所示：由奇异值分解法求解超静定方程，可求得仿射矩阵H。利用四方向摄像机图像共可获得四个仿射矩阵，若以其中一个图像作为参照，我们只需要三个仿射矩阵，即可使各个方向图像拼接在一个图像中。可随机选取其中三个，或建立二维重投影误差最小化函数，选取其中误差最小的三个仿射矩阵。对于四方向摄像机图像亮度不均衡问题，可分别对各方向图像的三个通道使用直方图均衡化算法解决，具体公式如下：其中T(k)为第k个灰度级所对应的灰度值，k为0到255之间的灰度级，n为图像像素点总数，ni为图像中灰度级为i的个数。对于重叠区亮度不一致的问题，可对重叠区分块处理亮度问题，可由以下步骤解决：第一步：将重叠区的区域大小分为若干子分块；第二步：对RGB图像三通道取平均值作为亮度图像L，即：第三步：获取每个子分块的增益系数，具体公式如下：其中，Gi，x，y，Gj，x，y分别为相邻图像i，j的重叠区子分块像素点(x，y)的增益系数。Li，x，y，Lj，x，y分别相邻亮度图像i，j的重本文档来自技高网...

【技术保护点】
一种3D全景泊车辅助系统，其特征在于至少包含如下模块：用于图像输入的摄像头输入模块；用于图像校正的处理模块；用于三维投影的处理模块；用于图像拼接的处理模块；用于图像显示的模块。所述的一种3D全景泊车辅助系统，具体工作步骤如下：1)将四个鱼眼摄像头分别安装于车体前后左右四个方向上，前后摄像头分别位于车前后的中心位置，左右摄像头分别位于车两侧中心的偏前方；摄像头安装的角度也应按车身作相应调整。设定坐标系，分别以各摄像机为原点，过原点垂直地面向上的直线为Z轴，过原点垂直车身长轴中心且垂直Z轴的直线为X轴，过原点垂直X和Z轴的直线设为Y轴，为方便说明，初始状态设置为摄像头光轴与Z轴重合，摄像机绕Y轴旋转使视野覆盖距离车身至少8米，摄像机绕Z轴旋转使车身周围的图像能够呈现在图像的中间区域；2)采用等距投影和径向畸变模型校正四方向摄像机图像变形和畸变；3)根据摄像机的安装角度和位置，计算四个方向图像的投影矩阵，设置曲率过渡柔和的类似“桶形”的三维曲面模型，利用投影矩阵将图像投影到三维曲面；4)借助于铺设在车辆四周地面上的方格线，对重叠区的方格线配准，求解三个仿射矩阵，使各个方向图像拼接在一个图像中；对于各方向图像亮度不均衡问题，分别对各方向图像的三个通道使用直方图均衡化算法；对重叠区域的像素点亮度不一致的问题，采用分块亮度处理方法处理；对重叠区存在的拼接痕迹问题，根据像素点离各自的边界距离比例作为权值，利用加权平均法消除 拼接痕迹，从而生成最终的3D全景图；5)将3D全景图经过适当地缩放后输出给显示设备。所述3D全景泊车辅助系统是根据摄像机的安装角度和位置来计算投影矩阵，运用投影矩阵将图像投影到三维曲面。投影矩阵如下所示：...

【技术特征摘要】
1.一种3D全景泊车辅助系统，其特征在于至少包含如下模块：用于图像输入的摄像头输入模块；用于图像校正的处理模块；用于三维投影的处理模块；用于图像拼接的处理模块；用于图像显示的模块。所述的一种3D全景泊车辅助系统，具体工作步骤如下：1)将四个鱼眼摄像头分别安装于车体前后左右四个方向上，前后摄像头分别位于车前后的中心位置，左右摄像头分别位于车两侧中心的偏前方；摄像头安装的角度也应按车身作相应调整。设定坐标系，分别以各摄像机为原点，过原点垂直地面向上的直线为Z轴，过原点垂直车身长轴中心且垂直Z轴的直线为X轴，过原点垂直X和Z轴的直线设为Y轴，为方便说明，初始状态设置为摄像头光轴与Z轴重合，摄像机绕Y轴旋转使视野覆盖距离车身至少8米，摄像机绕Z轴旋转使车身周围的图像能够呈现在图像的中间区域；2)采用等距投影和径向畸变模型校正四方向摄像机图像变形和畸变；3)根据摄像机的安装角度和位置，计算四个方向图像的投影矩阵，设置曲率过渡柔和的类似“桶形”的三维曲面模型，利用投影矩阵将图像投影到三维曲面；4)借助于铺设在车辆四周地面上的方...

【专利技术属性】
技术研发人员：周立功，
申请(专利权)人：广州求远电子科技有限公司，
类型：发明
国别省市：广东,44