【技术实现步骤摘要】
本专利技术涉及辅助驾驶，具体涉及基于机器视觉的全景环视辅助驾驶方法及系统。
技术介绍
1、随着互联网技术的发展，智能辅助驾驶系统的研究已经有了长足的发展。基于视觉的环境感知技术已在汽车产品上得到应用，其性价比高的特点也进一步推动了智能辅助驾驶系统的发展。距离错觉、宽度错觉、弯道错觉等人为感官错误是导致交通危险的重要因素，为了克服这些人为感官问题，各种现实增强技术正在快速发展并开始在汽车产品上推广应用。应用现实增强技术可以将虚拟车辆模型与真实道路环境集成在一起，帮助驾驶员更准确地认识车辆与道路环境的位置关系，降低驾驶操作难度，可提高行驶安全性，是目前车载智能辅助驾驶系统研究的热点。目前国外比较成熟的是以色列的mobileye公司；英国捷豹路虎公司在现有驾驶辅助系统基础上，结合现实增强提出了一些较新概念，进一步改善驾驶的便利性。国内近几年辅助驾驶系统同样发展迅猛，经过一段时间的沉淀，比较突出的有minieye。
2、然而目前的车载视觉系统技术研究主要针对乘用车和商用车，对于其他车种的辅助驾驶系统缺乏研究。特别是对于超重型越野车，其受整车功能和结构限制，其外形尺寸往往偏大，整车宽度、整车长度、前悬长度、后悬长度均存在超限现象，普遍存在驾驶视野不好的缺点，对驾驶人员的操作技能要求较高，驾驶难度和操作强度较大。具体表现为：特种车辆爬陡坡时，由于车头上翘，驾驶员难以观察到车辆前部道路的情况，只能通过道路两侧的参照物或其它人员在地面观察来帮助其通行，在通过陌生路段或弯道路段时，有较大的危险性；特种车辆通过狭窄通道时，由于车体宽大，
3、由于特种车辆与其他车辆相差很大，相关研究成果很难直接应用，因此必须根据特种车辆自身特点探索新的应用模式和方法。通过研发多视角图像融合、道路场景感知等相关核心技术，发展基于现实增强的特种车辆辅助驾驶技术研发能力。
技术实现思路
1、根据现有技术的不足，本专利技术的目的是提供基于机器视觉的全景环视辅助驾驶方法及系统，适用于特种车辆，基于机器视觉的车载环境感知应用技术，采用图像处理和模式识别技术，结合现实增强方法，以完整显示融合图像，智能识别道路场景信息，消除视野盲区，增强特种车辆驾驶员的视野，更好地适合特种车辆的驾驶环境。
2、为了解决上述技术问题，本专利技术采用的技术方案为：
3、基于机器视觉的全景环视辅助驾驶方法，包括：
4、采用多个鱼眼摄像头获取特种车周围的多张第一图像；
5、获取鱼眼摄像头的畸变模型；
6、采用多项式模型矫正法通过畸变模型对第一图像进行矫正，得到第二图像；
7、使用直接线性变换算法对第二图像进行俯仰图变换，得到第三图像；
8、使用加权平均算法对所有第三图像消除拼接缝隙，得到全景环视图像；
9、基于yolov5s的多任务感知算法对全景环视图像进行目标检测，获取全景环视图像中的可行驶区域分割结果和车道线分割结果；
10、对全景环视图像及全景环视图像中的目标进行显示。
11、进一步地，所述鱼眼摄像头的数量大于等于5，多个所述鱼眼摄像头安装在特种车的四周及特种车的底部。
12、进一步地，获取鱼眼摄像头的畸变模型的具体方法为：
13、通过张正友平面标定法求解出鱼眼摄像头的内部参数与畸变系数，建立起三维空间中的世界坐标系与二维平面上的图像坐标系之间的映射关系，对鱼眼摄像头分别建立径向畸变模型和切向畸变模型，将径向畸变模型和切向畸变模型结合得到畸变模型。
14、进一步地，采用多项式模型矫正法通过畸变模型对第一图像进行矫正，得到第二图像的具体方法为：
15、建立理想线性模型成像的像点与非线性成像模型成像的畸变图像像点之间的畸变转换模型，通过畸变转换模型求解第一图像上的各像素点位置在线性模型下成像时原本应该所在位置的映射关系，以将畸变位置的像素点还原到正常位置，得到第二图像。
16、进一步地，使用直接线性变换算法对第二图像进行俯仰图变换，得到第三图像的具体方法为：
17、求解单应性变换矩阵建立世界坐标系与图像坐标系之间的线性关系，来对第二图像进行透视坐标系与图像平面坐标系之间转换，把第二图像从与地面有一定夹角的拍摄角度转换为俯视角度，得到第三图像。
18、进一步地，使用加权平均算法对所有第三图像消除拼接缝隙，得到全景环视图像的具体方法为：
19、在平均值法的基础上加入权值，将配准后的相邻的两幅第三图像在重叠区域中特征点的像素灰度值按照一定的权重进行加权平均得到求解结果，将求解结果作为融合后特征点的新灰度值以消除该相邻的两幅第三图像的拼接缝隙，直到所有相邻的两幅第三图像拼接缝隙消除，得到全景环视图像。
20、进一步地，通过yolov5s的多任务感知算法对全景环视图像进行目标检测的过程中，建立图像检测解码器，图像检测解码器包括4个残差块、3个上采样模块和1个空间金字塔池化模块，通过4个残差块和3个上采样模块得到可行驶区域分割结果，在1个空间金字塔池化模块中应用多个小尺寸卷积核替换单个大尺寸卷积核以得到车道线分割结果。
21、一种基于机器视觉的全景环视辅助驾驶系统，包括：
22、拍摄模块，用于采用多个鱼眼摄像头获取特种车周围的多张第一图像；
23、标定模块，用于获取鱼眼摄像头的畸变模型；
24、矫正模块，用于采用多项式模型矫正法通过畸变模型对第一图像进行矫正，得到第二图像；
25、变换模块，用于使用直接线性变换算法对第二图像进行俯仰图变换，得到第三图像；
26、图像融合模块，用于使用加权平均算法对所有第三图像消除拼接缝隙，得到全景环视图像；
27、目标检测模块，用于基于yolov5s的多任务感知算法对全景环视图像进行目标检测，获取全景环视图像中的可行驶区域分割结果和车道线分割结果；
28、显示模块，用于对全景环视图像及全景环视图像中的目标进行显示。
29、一种电子设备，包括多个鱼眼摄像头、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，多个所述鱼眼摄像头用于获取特种车周围的多张第一图像，所述处理器执行所述程序时上述基于机器视觉的全景环视辅助驾驶方法。
30、一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于机器视觉的全景环视辅助驾驶方法。
31、与现有技术相比，本专利技术具有以下优点和有益效果：
32、(1)本专利技术提出基于机器视觉的全景本文档来自技高网...
【技术保护点】
1.基于机器视觉的全景环视辅助驾驶方法，其特征在于，包括：
2.根据权利要求1所述的基于机器视觉的全景环视辅助驾驶方法，其特征在于：
3.根据权利要求1所述的基于机器视觉的全景环视辅助驾驶方法，其特征在于，获取鱼眼摄像头的畸变模型的具体方法为：
4.根据权利要求1所述的基于机器视觉的全景环视辅助驾驶方法，其特征在于，采用多项式模型矫正法通过畸变模型对第一图像进行矫正，得到第二图像的具体方法为：
5.根据权利要求1所述的基于机器视觉的全景环视辅助驾驶方法，其特征在于，使用直接线性变换算法对第二图像进行俯仰图变换，得到第三图像的具体方法为：
6.根据权利要求1所述的基于机器视觉的全景环视辅助驾驶方法，其特征在于，使用加权平均算法对所有第三图像消除拼接缝隙，得到全景环视图像的具体方法为：
7.根据权利要求1所述的基于机器视觉的全景环视辅助驾驶方法，其特征在于：
8.一种基于机器视觉的全景环视辅助驾驶系统，其特征在于，包括：
9.一种电子设备，其特征在于，包括多个鱼眼摄像头、存储器、处理器及存
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于机器视觉的全景环视辅助驾驶方法。
...【技术特征摘要】
1.基于机器视觉的全景环视辅助驾驶方法，其特征在于，包括：
2.根据权利要求1所述的基于机器视觉的全景环视辅助驾驶方法，其特征在于：
3.根据权利要求1所述的基于机器视觉的全景环视辅助驾驶方法，其特征在于，获取鱼眼摄像头的畸变模型的具体方法为：
4.根据权利要求1所述的基于机器视觉的全景环视辅助驾驶方法，其特征在于，采用多项式模型矫正法通过畸变模型对第一图像进行矫正，得到第二图像的具体方法为：
5.根据权利要求1所述的基于机器视觉的全景环视辅助驾驶方法，其特征在于，使用直接线性变换算法对第二图像进行俯仰图变换，得到第三图像的具体方法为：
6.根据权利要求1所述的基于机器视觉的全景环视辅助驾驶方法，其特征在于，使用加权...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。