【技术实现步骤摘要】
本专利技术涉及计算机视觉及多模态融合，具体涉及一种基于多模态融合的跨相机病害检测与定位追溯方法、系统、设备及介质。
技术介绍
1、道路工程是以道路为核心所展开的一系列处理过程。除了相应的道路专业技术以外，还需要考虑对应的效能等方面。随着社会的发展，人们对于机动车的保有量不断提升、大载荷的运输需求也与日俱增。因此道路需要承载这些交通工具的重复压力，与此同时，由于道路暴露在自然环境中，还需要额外承受复杂的自然环境影响。这些问题都可能导致病害的产生或进一步恶化。道面病害事件的发生将导致道面寿命缩减、道面使用性能下降等，严重地影响了出行安全，并且加重了道面安全管理压力及运行成本。而道面出现的问题，最直观的影响就是存在明显的安全隐患和道面使用能力下降，跑道道面断裂，包括整块板和局部，出现错台或局部松动等，应当在发现后及时予以补休或者处理；道面的管理机构应当也需要及时对道面进行一次综合评价，包括功能评价和性能评价等。因此，迫切需要先进的道面检测、管理和维护技术，以提高道面使用性能，延长使用寿命。
2、在现代的道路工程管理中，智能巡检设备已经开始逐步替代传统的人工巡查，有效的提升了道路管养的效率。目前的巡检设备搭载了多种巡检设备，多源数据采集设备包括车载相机等，边缘计算设备。同时也部署了多种道面检测算法，能够实现路面病害的快速检测上传等，有助于道路病害的养护及追溯。能够有效提升道路的使用年限，增加行驶的安全性与舒适性。
3、目前的巡检设备搭载了多种巡检设备，其中包括定位设备gnss以及gps，多源数据采集设备包括车载相
4、巡检设备部署多种数据采集装置，能够基于视觉信息，地理信息等多维数据展开巡查工作。但是由于巡检过程的地理环境复杂多变，自然环境多样，由于雨天雾天等天气的干扰，会使得对病害的检测效果提出更高的要求。除此之外，不同于常规目标，病害特征相似化程度高，并且由于检测的不稳定，因此也需要进一步提升病害的跟踪能力。随着智能巡检开始代替人工巡检，对道路的巡检也逐渐成为一种更为频繁的工作。仅仅依靠车载相机难以适应更为复杂的巡检场景以及自然环境的变化，相机的拍摄质量以及目标的干扰情况都会极大影响检测效果。除此之外，虽然在巡检设备中搭载了多源数据采集设备，包括视觉信息，位置信息等，而在整个巡检过程中对于不同的数据源信息处理较为割裂，难以实现多源数据的联合识别。在目标去重方面，目前对于跨相机的目标跟踪主要应用在车辆及行人的检测中，相比较而言病害的特征相似度高，检测的稳定性低，因此对于病害的跨相机跟踪也一直难以展开，对同一目标进行多次识别会极大的增加数据的存储成本以及无效的养护成本。
技术实现思路
1、本专利技术的目的是提供一种基于多模态融合的跨相机病害检测与定位追溯方法、系统、设备及介质，结合车载相机以及车载激光雷达两类数据源，并且结合对应的gps定位系统及激光雷达的测距系统展开基于多源数据融合的跨相机病害检测及跟踪的研究，以适合不同的场景需求以及不同的复杂环境。
2、实现上述目的，本专利技术提供的技术方案是：
3、本申请的第一方面提供了一种基于多模态融合的跨相机病害检测与定位追溯方法，包括：
4、基于lidar点云数据及视觉图像数据两种数据源的融合实现多模态融合的目标检测；
5、基于跟踪算法进行单目相机跟踪，包含采用reid算法实现对单相机的目标去重；
6、基于gps对于检测设备的空间定位，结合激光雷达对目标的三维坐标计算得到目标真实空间坐标信息；与已有的相同空间位置的目标利用reid算法进行特征相似度计算，决定是否保留新检测到的目标结果，实现对跨相机的目标去重及追溯。
7、为优化上述技术方案，采取的具体措施还包括：
8、所述的基于lidar点云数据及视觉图像数据两种数据源的融合实现多模态融合的目标检测，包括：
9、视觉图像的畸变处理：选用张氏标定法进行畸变校准，得到校准后的视觉图像；
10、生成lidar点云数据的二维投影图：由于激光点云的维度与视觉图像的维度不匹配，需将激光点云的lidar点云数据进行数据转换，lidar点云数据到对应相机坐标系统的数据的二维投影对应关系为：
11、
12、其中，表示激光雷达坐标系到图像坐标系的转换矩阵，r表示相机的旋转平移矩阵，t表示相机的平移矩阵，v表示lidar点云数据，y表示相机坐标系统的数据，pcam表示相机的畸变校准矩阵；由此得到激光点云投影在相机坐标系中的点云相机二维投影图像；
13、构建多模态卷积神经网络：以yolo算法为基础，将单通道的backbone结构优化为双输入的特征提取网络，将车载相机中采集到的视觉图像经过畸变处理后的校准图像以及进行数据转换后的点云相机二维投影图像分别输入到各自的backbone中，在各自的backbone中引出各自的特征层，在后续引入fpn，实现多模态的特征级融合；在特征融合过程中引入注意力机制，优化特征融合方式强化重要特征权重；最后的检测输出通过添加检测头detect，实现对不同尺度目标的检测；多模态卷积神经网络的输出结果包括：对应目标的检测中心(centx，centy)、对应的检测框大小(w，h)及检测目标的置信度s。
14、所述的基于跟踪算法进行单目相机跟踪，包含reid算法实现对单相机的目标去重，包括：以deepocsort算法进行目标跟踪，其中包含了对检测的输出结果分别进行图像校准、外部特征匹配、检测框预测及目标关联，实现对检测目标的跟踪；deepocsort跟踪算法以oc-sort为基础，添加了包含深度视觉信息的目标重识别模块。deepocsort跟踪算法融合了视觉信息与oc-sort的预测估计信息，利用目标的外观特征来修正对结果的预测。
15、对单相机的目标去重中，将检测的输出结果形成目标检测集合(centx-w/2，centy+h/2，centx+w/2，centy-h/2，s)，其中centx-w/2、centy+h/2表示检测框左上角坐标，centx+w/2、centy-h/2表示检测框右下角坐标；采用cmc技术对每帧间提供相机补偿；通过reid算法对检测目标进行外观特征识别，在检测目标里选择具有相对较高置信度s的检测目标，将这些检测目标的外观特征动态引入到目标重识别模块的深度视觉轨道中，并动态调整oc-sort模块与目标重识别模块间的权重比例。
16、对单相机的目标去重中，还包括：进行自适应权重分配，通过引入外观特征矩阵来自适应地改变特征外观权重，根据检测框的数量以及当前的轨道数来决定外观矩阵组成；检测框预测：oc-sort结合o本文档来自技高网...
【技术保护点】
1.一种基于多模态融合的跨相机病害检测与定位追溯方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态融合的跨相机病害检测与定位追溯方法，其特征在于：所述的基于LiDAR点云数据及视觉图像数据两种数据源的融合实现多模态融合的目标检测，包括：
3.根据权利要求2所述的基于多模态融合的跨相机病害检测与定位追溯方法，其特征在于：所述的基于跟踪算法进行单目相机跟踪，包含Reid算法实现对单相机的目标去重，包括：
4.根据权利要求3所述的基于多模态融合的跨相机病害检测与定位追溯方法，其特征在于：对单相机的目标去重中，将检测的输出结果形成目标检测集合(centx-w/2，centy+h/2，centx+w/2，centy-h/2，s)，其中centx-w/2、centy+h/2为检测框左上角坐标，centx+w/2、centy-h/2为检测框右下角坐标；采用CMC技术对每帧间提供相机补偿；通过Reid算法对检测目标进行外观特征识别，在检测目标里选择具有相对较高置信度s的检测目标，将这些检测目标的外观特征动态引入到目标重识别模块的深度视觉轨道中，并动态
5.根据权利要求4所述的基于多模态融合的跨相机病害检测与定位追溯方法，其特征在于：对单相机的目标去重中，还包括：进行自适应权重分配，通过引入外观特征矩阵来自适应地改变特征外观权重，根据检测框的数量以及当前的轨道数来决定外观矩阵组成；检测框预测：OC-SORT算法结合OCM、OCR及OOS模块来优化相机运动模型中的误差，利用卡尔曼滤波器预测结果，通过匈牙利算法关联预测结果；目标匹配：计算检测目标与预测目标的特征相似度及目标关联结果，利用自适应加权将检测目标与预测目标进行关联实现最佳匹配。
6.根据权利要求4所述的基于多模态融合的跨相机病害检测与定位追溯方法，其特征在于：所述的基于GPS对于检测设备的空间定位以方向信息读取，结合激光雷达对目标的三维坐标计算得到目标真实空间坐标信息；对已有的空间位置相同的目标利用Reid算法进行特征相似度计算，决定是否保留新检测到的目标结果，实现对跨相机的目标去重及追溯，具体为：
7.根据权利要求6所述的基于多模态融合的跨相机病害检测与定位追溯方法，其特征在于：对检测设备的空间定位以方向信息读取的方法为：
8.一种基于多模态融合的跨相机病害检测与定位追溯系统，其特征在于，包括：
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现如权利要求1-7任一项所述的基于多模态融合的跨相机病害检测与定位追溯方法。
10.一种计算机可读存储介质，存储有计算机程序，所述计算机程序使计算机执行如权利要求1-7任一项所述的基于多模态融合的跨相机病害检测与定位追溯方法。
...【技术特征摘要】
1.一种基于多模态融合的跨相机病害检测与定位追溯方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态融合的跨相机病害检测与定位追溯方法，其特征在于：所述的基于lidar点云数据及视觉图像数据两种数据源的融合实现多模态融合的目标检测，包括：
3.根据权利要求2所述的基于多模态融合的跨相机病害检测与定位追溯方法，其特征在于：所述的基于跟踪算法进行单目相机跟踪，包含reid算法实现对单相机的目标去重，包括：
4.根据权利要求3所述的基于多模态融合的跨相机病害检测与定位追溯方法，其特征在于：对单相机的目标去重中，将检测的输出结果形成目标检测集合(centx-w/2，centy+h/2，centx+w/2，centy-h/2，s)，其中centx-w/2、centy+h/2为检测框左上角坐标，centx+w/2、centy-h/2为检测框右下角坐标；采用cmc技术对每帧间提供相机补偿；通过reid算法对检测目标进行外观特征识别，在检测目标里选择具有相对较高置信度s的检测目标，将这些检测目标的外观特征动态引入到目标重识别模块的深度视觉轨道中，并动态调整oc-sort模块与目标重识别模块间的权重比例。
5.根据权利要求4所述的基于多模态融合的跨相机病害检测与定位追溯方法，其特征在于：对单相机的目标去重中，还包括：进行自适应权重分配，通过引入外观特征矩阵来自适应地改变特征外观权重，根据检测...
【专利技术属性】
技术研发人员：周凌伟，王琳，葛恒志，龚平，吕方惠，
申请(专利权)人：中电鸿信信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。