【技术实现步骤摘要】
本专利技术涉及图像分析，具体为基于多信息融合的车辆车轮定位分割方法和系统。
技术介绍
1、随着车辆安全意识的提高，车底安全检测逐渐受到重视。现有方法为节省人力，常将带有摄像头的机器人放在车辆前方后，控制机器人在车底行驶获取车底图像，然后基于图像进行车底安全检测分析。
2、然而，现有方法每次获取车底图像之前，都需要人工干预或监督将机器人放置在合适行驶位置后才能获取车底图像，这种方式下机器人自动化程度不高、自适应能力较弱；另外，普通摄像头拍摄角度有限，无法一次性捕捉到完整的车底图像，如果使用多个机器人去获取不同车底部位的图片，然后将多个图像经拼接后作为车底图像，这样不仅增加了硬件成本，而且拼接后的图像拼接痕迹较为明显，容易产生重影或模糊的效果，影响车底图像质量，影响后续车底安全检测的准确性。
技术实现思路
1、本专利技术的目的是提供一种机器人自动化程度高、自适应能力强，车轮定位分割结果准确，有利于后续快速获取高质量车底图像的基于多信息融合的车辆车轮定位分割方法和系统。
2、本专利技术技术方案如下：
3、一种基于多信息融合的车辆车轮定位分割方法，包括如下操作：
4、s1、获取鱼眼机器人初始位置正对的鱼眼深度图和鱼眼rgb图，分别经去畸变处理后进行融合处理，得到初始位置鱼眼深度融合图；判断初始位置鱼眼深度融合图中是否存在车辆；若不存在，执行s2；若存在，执行s3；
5、s2、获取鱼眼机器人初始位置一圈的鱼眼深度图和鱼眼rgb图，分
6、s3、判断鱼眼机器人与车辆之间的距离是否大于距离阈值；若大于，鱼眼机器人行驶至与车辆之间的距离不超过距离阈值的位置后，执行s4；若不大于，执行s4；
7、s4、获取车辆深度融合图，车辆深度融合图经细节增强处理，得到车辆增强图；车辆增强图经语义分割处理，得到车轮分割结果；基于车轮分割结果和车辆朝向，得到车辆横向中线；将车辆横向中线在地面上的投影线，作为鱼眼机器人行驶路线。
8、s2中特征拼接处理的操作具体为：获取每个深度融合图的边缘密度，判断是否存在大于边缘密度阈值的边缘密度；若存在，利用基于区域的方法对若干个深度融合图进行拼接边缘处的矫正处理，得到若干个第一深度融合矫正图；将若干个第一深度融合矫正图进行基于拼接边缘像素混合的拼接处理，得到深度融合拼接图；若不存在，利用基于特征点的方法对若干个深度融合图进行矫正处理，得到若干个第二深度融合矫正图；若干个第二深度融合矫正图经拼接处理，得到深度融合拼接图。
9、得到第一深度融合矫正图的操作具体为：按照图像获取时间对若干个深度融合图进行排序；根据第一个深度融合图或上一个深度融合矫正图，与当前深度融合图的连接位置，分别确定第一个深度融合图或上一个深度融合矫正图，和当前深度融合图的拼接边缘，得到第一拼接边缘和第二拼接边缘；基于第一拼接边缘的像素值和像素梯度，以及第二拼接边缘的像素值，获取像素偏移量；基于像素偏移量，对第二拼接边缘进行像素矫正，得到当前第一深度融合矫正图；第一张深度融合图和所有第一深度融合矫正图，形成了若干个第一深度融合矫正图。
10、得到第二深度融合矫正图的操作具体为：将当前深度融合图的图像像素值序列中，在不同尺度下高斯模糊处理后像素均为极值点的像素点，作为初始特征点；删除初始特征点中邻域对比度小于邻域对比度阈值的像素点，得到精选特征点；将精选特征点在对应标准深度融合图中相应位置处的像素点，作为标准特征点；基于精选特征点像素值和标准特征点像素值构建像素变化矩阵损失函数，经最小二乘法处理，得到像素变化矩阵；基于像素变化矩阵，对当前深度融合图进行像素矫正处理，得到当前第二深度融合矫正图；所有第二深度融合矫正图，形成了若干个第二深度融合矫正图。
11、s4中语义分割处理中的操作具体为：车辆增强图经深层卷积网络和残差学习处理，得到车辆学习图；车辆学习图与车辆增强图经融合处理，得到车辆学习融合图；车辆学习融合图分别经下采样和上采样处理后进行融合，得到车辆采样融合图；车辆采样融合图经全局平均池化、卷积和激活函数处理后，与车辆采样融合图进行加权处理，得到车辆采样特征图；车辆学习融合图经不同尺度的空洞卷积处理后进行融合，得到车辆特征卷积图；将车辆特征卷积图的空间特征图与车辆采样特征图进行叠加、卷积和上采样处理，得到车辆分割结果。
12、s1或s2中，去畸变处理的操作具体为：基于相机内参和畸变系数，计算矫正映射参数；根据矫正映射参数，将鱼眼深度图或鱼眼rgb图映射到图像平面上，得到鱼眼去畸变图，用于执行融合处理的操作。
13、s1或s2中，融合处理的操作具体为：将去畸变处理后的鱼眼深度图转换为伪彩色图像，得到鱼眼深度伪彩色图；将鱼眼深度伪彩色图的透明度调整至预设透明度后，与去畸变处理后的鱼眼rgb图进行叠加处理，得到深度融合图。
14、s4中得到车辆增强图的操作之后，还包括根据车辆增强图的车辆检测结果，对车辆增强图进行裁剪，得到车辆裁剪图，用于执行语义分割处理的操作。
15、若车辆检测结果中存在多个车辆，将与鱼眼机器人距离最近的车辆作为目标裁剪车辆，对车辆增强图进行裁剪，得到目标车辆裁剪图，用于执行语义分割处理的操作。
16、一种基于多信息融合的车辆车轮定位分割系统，用于实现上述的基于多信息融合的车辆车轮定位分割方法，包括：
17、图像获取模块，用于获取鱼眼机器人正对和一圈的鱼眼深度图和鱼眼rgb图；
18、图像处理模块，用于将图像获取模块中，鱼眼机器人初始位置正对的鱼眼深度图和鱼眼rgb图分别经去畸变处理后进行融合处理，得到初始位置鱼眼深度融合图；判断初始位置鱼眼深度融合图中是否存在车辆；若不存在，执行鱼眼机器人位姿调整模块；若存在，执行鱼眼机器人与车辆距离调整模块；用于将图像获取模块中，鱼眼机器人初始位置一圈的鱼眼深度图和鱼眼rgb图，分别经去畸变处理后进行相应位置的融合处理，得到若干个深度融合图；将若干个深度融合图进行特征拼接处理，得到深度融合拼接图；深度融合拼接图经车辆检测处理，得到车辆信息；用于获取车辆深度融合图，车辆深度融合图经细节增强处理，得到车辆增强图；
19、鱼眼机器人位姿调整模块，用于根据图像处理模块中的车辆信息中，车辆在深度融合拼接图中的位置，对鱼眼机器人进行位姿调整，使鱼眼机器人正对车辆；
20、鱼眼机器人与车辆距离调整模块，用于判断鱼眼机器人与车辆之间的距离是否大于距离阈值；若大于，鱼眼机器人行驶至与车辆之间的距离不超过距离阈值的位置后，执行车轮分割模块；若不大于，执行车轮分割模块；
21、车轮分割模块，用于将图像处理模块中的车辆增强图进本文档来自技高网...
【技术保护点】
1.一种基于多信息融合的车辆车轮定位分割方法，其特征在于，包括如下操作：
2.根据权利要求1所述的基于多信息融合的车辆车轮定位分割方法，其特征在于，所述S2中特征拼接处理的操作具体为：
3.根据权利要求2所述的基于多信息融合的车辆车轮定位分割方法，其特征在于，得到第一深度融合矫正图的操作具体为：
4.根据权利要求2所述的基于多信息融合的车辆车轮定位分割方法，其特征在于，得到第二深度融合矫正图的操作具体为：
5.根据权利要求1所述的基于多信息融合的车辆车轮定位分割方法，其特征在于，所述S4中语义分割处理中的操作具体为：
6.根据权利要求1所述的基于多信息融合的车辆车轮定位分割方法，其特征在于，所述S1或S2中，去畸变处理的操作具体为：
7.根据权利要求1所述的基于多信息融合的车辆车轮定位分割方法，其特征在于，所述S1或S2中，融合处理的操作具体为：
8.根据权利要求1所述的基于多信息融合的车辆车轮定位分割方法，其特征在于，所述S4中得到车辆增强图的操作之后，还包括根据所述车辆增强图的车辆检测结果，对
9.根据权利要求8所述的基于多信息融合的车辆车轮定位分割方法，其特征在于，若所述车辆检测结果中存在多个车辆，将与鱼眼机器人距离最近的车辆作为目标裁剪车辆，对车辆增强图进行裁剪，得到目标车辆裁剪图，用于执行所述语义分割处理的操作。
10.一种基于多信息融合的车辆车轮定位分割系统，用于实现权利要求1所述的基于多信息融合的车辆车轮定位分割方法，其特征在于，包括：
...【技术特征摘要】
1.一种基于多信息融合的车辆车轮定位分割方法，其特征在于，包括如下操作：
2.根据权利要求1所述的基于多信息融合的车辆车轮定位分割方法，其特征在于，所述s2中特征拼接处理的操作具体为：
3.根据权利要求2所述的基于多信息融合的车辆车轮定位分割方法，其特征在于，得到第一深度融合矫正图的操作具体为：
4.根据权利要求2所述的基于多信息融合的车辆车轮定位分割方法，其特征在于，得到第二深度融合矫正图的操作具体为：
5.根据权利要求1所述的基于多信息融合的车辆车轮定位分割方法，其特征在于，所述s4中语义分割处理中的操作具体为：
6.根据权利要求1所述的基于多信息融合的车辆车轮定位分割方法，其特征在于，所述s1或s2中，去畸变处理的操作具体为：
7.根据权...
【专利技术属性】
技术研发人员：杨克显，孙振行，庞先昂，
申请(专利权)人：山东博昂信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。