环视图像拼接方法、系统、装置、存储介质和搅拌车制造方法及图纸

本发明专利技术提供了一种环视图像拼接方法、系统、装置、存储介质和搅拌车。环视图像拼接方法包括：对图像采集装置的图像采集结果进行离线标定，生成拼接查找表；根据拼接查找表，对图像采集装置的位姿关系进行在线优化；根据在线优化的结果，对各个图像采集装置的图像采集结果进行在线拼接，获取搅拌车的俯视全景拼接图像。本发明专利技术的环视图像拼接方法尤其适用于搅拌车，其能够提高搅拌车的驾驶安全程度。

【技术实现步骤摘要】
环视图像拼接方法、系统、装置、存储介质和搅拌车
本专利技术涉及车辆工程的
，具体而言，涉及环视图像拼接方法、系统、装置、存储介质和搅拌车。
技术介绍
在相关技术中，出于提高驾驶安全程度的目的，需要在车辆之上安装有一个或多个车载摄像头，以便在车辆驾驶时全方位、多角度地获取车辆影像，供驾驶人员进行参考。尤其，在进行转弯、倒车或超车时，准确获取车辆影像对保证驾驶安全有着至关重要的意义。目前的车载摄像头的环视拼接方法都仅适用于普通的乘用车，相关技术中缺少能够对搅拌车的车载摄像头进行环视拼接的有效方法，导致了搅拌车的驾驶安全程度不够理想。
技术实现思路
本专利技术旨在解决上述技术问题的至少之一。为此，本专利技术的第一目的在于提供一种用于搅拌车的环视图像拼接方法。本专利技术的第二目的在于提供一种用于搅拌车的环视图像拼接系统。本专利技术的第三目的在于提供一种用于搅拌车的环视图像拼接装置。本专利技术的第四目的在于提供一种计算机可读存储介质。本专利技术的第五目的在于提供一种搅拌车。为实现本专利技术的第一目的，本专利技术的实施例提供了一种用于搅拌车的环视图像拼接方法，搅拌车包括至少两个的图像采集装置，环视图像拼接方法包括：对图像采集装置的图像采集结果进行离线标定，生成拼接查找表；根据拼接查找表，对图像采集装置的位姿关系进行在线优化；根据在线优化的结果，对各个图像采集装置的图像采集结果进行在线拼接，获取搅拌车的俯视全景拼接图像。本实施例在搅拌车上添加多个图像采集装置，并采用离线标定和外参在线优化相结合的方法来提高拼接精度。通过离线标定获取拼接查找表，在线拼接时根据拼接查找表先验进行位姿关系在线优化。因此，采用本实施例的搅拌车不仅具备环视拼接功能，并且其能够解决搅拌车盲区大、驾驶安全系数低的问题，通过提供准确、完整的俯视全景拼接图像，提高搅拌车的驾驶安全程度。另外，本专利技术上述实施例提供的技术方案还可以具有如下附加技术特征：上述技术方案中，对图像采集装置的图像采集结果进行离线标定，生成拼接查找表，具体包括：对图像采集装置进行内外参标定，获取图像采集装置的内参数、外参数、畸变系数和两个图像采集装置之间的相对位姿关系；根据内参数和畸变系数对图像采集装置的图像采集结果进行畸变校正；根据内参数、畸变系数和两个图像采集装置之间的相对位姿关系，获取单应性矩阵系数；根据原图和俯视图的4个图像匹配点对，获取俯视变换矩阵系数；对内参数、畸变系数、相对位姿关系、单应性矩阵系数和俯视变换矩阵系数进行保存，生成拼接查找表。采用本实施例的搅拌车驾驶安全程度高，即使搅拌车在运输过程中搅拌筒不停地转动和车身抖动剧烈导致图像采集装置的相对位姿关系会发生变化，本实施例仍能获得完整、准确的俯视全景拼接图像。上述任一技术方案中，根据拼接查找表，对图像采集装置的位姿关系进行在线优化，具体包括：对拼接查找表进行解析；根据内参数和畸变系数，获取经过畸变校正后的图像采集结果与原始的图像采集结果的映射关系，根据映射关系对原始的图像采集结果进行畸变校正；根据单应性矩阵对图像采集结果进行变换，获取初始匹配点对；提取图像采集装置的重叠区域的局部二值模式特征，并对局部二值模式特征进行最小化处理；在初始匹配点对的半径范围内，搜索获取目标匹配点对；根据拼接查找表的先验知识，建立关于目标匹配点对的目标函数，重新获取图像采集装置的外部参数，以对图像采集装置的位姿关系进行在线优化。本实施例基于离线拼接查找表的先验知识，获取初始匹配点对，提取匹配点对的局部二值模式特征，在初始匹配点半径r范围内搜索最佳匹配点对，根据最佳匹配点对和拼接查找表先验，采用Levenberg-Marquardt非线性优化方法优化摄像头相对位姿关系。局部二值模式特征维度低，具有灰度不变性和旋转不变性，计算简单，鲁棒性好。并且本实施例搜索成本低，其求解外参时由基于拼接查找表的内参数、畸变系数等建立目标函数进行求解，精度会更高。上述任一技术方案中，根据在线优化的结果，对各个图像采集装置的图像采集结果进行在线拼接，获取搅拌车的俯视全景拼接图像，具体包括：采用曝光补偿算法对待拼接的图像采集结果进行亮度均衡处理；通过加权平均融合对待拼接的图像采集结果进行拼接缝合，获得全景图像；根据俯视变换矩阵系数，对全景图像进行俯视变换，得到俯视全景拼接图像。本实施例在获取匹配点对后，采用曝光补偿算法对待拼接图像进行亮度均衡处理，采用加权平均融合方法对待拼接图像进行拼接缝合。进而，本实施例根据俯视变换矩阵系数，对全景图像进行俯视变换，得到俯视全景拼接图像。为实现本专利技术的第二目的，本专利技术的实施例提供了一种用于搅拌车的环视图像拼接系统，包括：至少两个的图像采集装置，图像采集装置用于获取图像采集结果；标定单元，标定单元对来自图像采集装置的图像采集结果离线标定，生成拼接查找表；在线拼接单元，在线拼接单元根据来自标定单元的拼接查找表，对图像采集装置的位姿关系进行在线优化，根据在线优化的结果，对各个图像采集装置的图像采集结果进行在线拼接，获取搅拌车的俯视全景拼接图像。采用本实施例的搅拌车不仅具备环视拼接功能，并且其能够解决搅拌车盲区大、驾驶安全系数低的问题，通过提供准确、完整的俯视全景拼接图像，提高搅拌车的驾驶安全程度。另外，本专利技术上述实施例提供的技术方案还可以具有如下附加技术特征：上述技术方案中，用于搅拌车的环视图像拼接系统还包括：控制单元，控制单元向人机交互单元发出控制命令；人机交互单元，人机交互单元根据控制命令对来自在线拼接单元的俯视全景拼接图像进行切换。人机交互单元在车辆档位更换和转向时，可接收从控制单元发送来控制命令，联动档位传感器信号以及用户输入信号，解析信号指令后作出判断，切换不同视角图像。上述任一技术方案中，用于搅拌车的环视图像拼接系统还包括：显示装置，显示装置与人机交互单元通讯连接，以对来自人机交互单元的俯视全景拼接图像进行显示。显示装置与人机交互单元相连，将全景图像和单视图输出到显示装置的显示屏上，直观显示车辆四周视野。为实现本专利技术的第三目的，本专利技术的实施例提供了一种用于搅拌车的环视图像拼接装置，包括：存储器，存储有计算机程序；处理器，执行计算机程序；其中，处理器在执行计算机程序时，实现如本专利技术任一实施例的环视图像拼接方法的步骤。本实施例提供的环视图像拼接装置实现如本专利技术任一实施例的用于搅拌车的环视图像拼接方法的步骤，因而其具有如本专利技术任一实施例的环视图像拼接方法的全部有益效果。为实现本专利技术的第四目的，本专利技术的实施例提供了一种计算机可读存储介质，包括：计算机可读存储介质存储有计算机程序，计算机程序被执行时，实现如本专利技术任一实施例的环视图像拼接方法的步骤。本实施例提供的计算机可读存储介质实现如本专利技术任一实施例的用于搅拌车的环视图像拼接方法的步骤，因而其具有如本专利技术任一实施例的环视图像拼接方法的全部有益效果。为实现本专利技术的第五目的，本专利技术的实施例提供了一种搅拌车，采用用于搅拌车的如本专利技术本文档来自技高网...

【技术保护点】
1.一种用于搅拌车的环视图像拼接方法，其特征在于，所述搅拌车包括至少两个的图像采集装置，所述环视图像拼接方法包括：/n对所述图像采集装置的图像采集结果进行离线标定，生成拼接查找表；/n根据所述拼接查找表，对所述图像采集装置的位姿关系进行在线优化；/n根据所述在线优化的结果，对所述各个所述图像采集装置的图像采集结果进行在线拼接，获取所述搅拌车的俯视全景拼接图像。/n

【技术特征摘要】
1.一种用于搅拌车的环视图像拼接方法，其特征在于，所述搅拌车包括至少两个的图像采集装置，所述环视图像拼接方法包括：
对所述图像采集装置的图像采集结果进行离线标定，生成拼接查找表；
根据所述拼接查找表，对所述图像采集装置的位姿关系进行在线优化；
根据所述在线优化的结果，对所述各个所述图像采集装置的图像采集结果进行在线拼接，获取所述搅拌车的俯视全景拼接图像。


2.根据权利要求1所述的用于搅拌车的环视图像拼接方法，其特征在于，所述对所述图像采集装置的图像采集结果进行离线标定，生成拼接查找表，具体包括：
对所述图像采集装置进行内外参标定，获取所述图像采集装置的内参数、外参数、畸变系数和两个所述图像采集装置之间的相对位姿关系；
根据所述内参数和所述畸变系数对所述图像采集装置的图像采集结果进行畸变校正；
根据所述内参数、所述畸变系数和两个所述图像采集装置之间的相对位姿关系，获取单应性矩阵系数；
根据原图和俯视图的4个图像匹配点对，获取俯视变换矩阵系数；
对所述内参数、所述畸变系数、所述相对位姿关系、所述单应性矩阵系数和所述俯视变换矩阵系数进行保存，生成所述拼接查找表。


3.根据权利要求2所述的用于搅拌车的环视图像拼接方法，其特征在于，所述根据所述拼接查找表，对所述图像采集装置的位姿关系进行在线优化，具体包括：
对所述拼接查找表进行解析；
根据所述内参数和所述畸变系数，获取经过畸变校正后的所述图像采集结果与原始的所述图像采集结果的映射关系，根据所述映射关系对原始的所述图像采集结果进行畸变校正；
根据单应性矩阵对所述图像采集结果进行变换，获取初始匹配点对；
提取所述图像采集装置的重叠区域的局部二值模式特征，并对所述局部二值模式特征进行最小化处理；
在所述初始匹配点对的半径范围内，搜索获取目标匹配点对；
根据所述拼接查找表的先验知识，建立关于所述目标匹配点对的目标函数，重新获取所述图像采集装置的外部参数，以对所述图像采集装置的位姿关系进行在线优化。


4.根据权利要求2或3所述的用于搅拌车的环视图像拼接方法，其特征在于，所述根据所述在线优化的结果，对所...

【专利技术属性】
技术研发人员：刘娟，郭武，贺志国，
申请(专利权)人：三一专用汽车有限责任公司，
类型：发明
国别省市：湖南;43