小样本循环一致性引导的桥梁多类型损伤通用识别方法及系统技术方案

本发明专利技术公开了一种小样本循环一致性引导的桥梁多类型损伤通用识别方法及系统，其中，该方法包括：对预设桥梁损伤类型进行数据对齐，将数据对齐后的数据集划分为支持集和查询集，以建立小样本循环一致性引导的桥梁多类型损伤通用识别模型；利用小样本循环一致性引导的桥梁多类型损伤通用识别模型计算查询集的第一损失值；利用桥梁多类型损伤通用识别模型，并引入循环一致，计算支持集的第二损失值；基于第一损失值和第二损失值计算小样本循环一致性引导的桥梁多类型损伤通用识别模型的综合损失，再通过误差反向传播算法进行更新模型，直到模型收敛。该方法解决了小样本问题，也解决了传统方法需要针对不同任务建立不同识别模型的不足。别模型的不足。别模型的不足。

【技术实现步骤摘要】
小样本循环一致性引导的桥梁多类型损伤通用识别方法及系统


[0001]本专利技术涉及智慧基础设施、桥梁智能检测
，特别涉及一种小样本循环一致性引导的桥梁多类型损伤通用识别方法及系统。

技术介绍

[0002]桥梁是我国基础设施建设和国民经济发展的重要组成部分，目前我国的桥梁数量及规模均跃居世界前列。桥梁结构在长达上百年服役期内不可避免地遭受环境侵蚀、材料老化、疲劳荷载、灾害及突发事件等复杂因素的耦合作用，形成混凝土剥落、混凝土裂缝、钢筋暴露、拉索腐蚀剥落、钢结构疲劳裂纹等多类型损伤。桥梁结构所面临的服役安全形势愈发严峻，检测监测和运维管养任务日趋加重。
[0003]结构健康监测和检测技术已经成为保障桥梁安全的先进有效方法。传统的人工检测方法严重依赖检测人员的主观判断，准确性和稳定性较低，对某些难抵达区域的检测十分困难、危险性大，并且成本高、预报滞后、时效性差，已经满足不了当前数字化时代的桥梁安全管理需求。
[0004]目前，计算机视觉和深度学习技术获得了飞速发展。特别是在有监督学习领域，随着可用数据集的增加，国内外研究者相继提出了一系列适用于不同计算机视觉识别任务的图像分类、目标检测和语义分割方法，分别实现对输入图像的全局场景理解、对图像包含目标物体的边界框定位和像素级分类识别。这些方法已经开始应用于桥梁结构损伤的图像识别中，基于图像的桥梁结构损伤识别方法的先进性依赖于计算机视觉领域识别模型的最新进展。目前，对不同网络模型的改进思路可以概括为以下两种形式：
[0005](1)通过改进网络架构，如ResNet/U
‑
Net/DenseNet/PANet等，增加相邻或不同层级特征图之间的联系以及特征融合或聚合，增加特征提取的深度和宽度，提高模型的特征提取能力；
[0006](2)通过设计特殊功能模块，如通道或空间自注意力机制和Transformer系列架构等，加入新功能模块或替换原始模块来提高模型对某些重要性特征的感知能力(比如图像局部像素区域或整体之间的相关性等)，从而提高模型性能。
[0007]目前，主流基于计算机视觉的桥梁损伤识别方法通常采用有监督学习的方式，模型的识别效果十分依赖于监督条件：在实际工程中，首先要收集大量的训练数据和标签，并且训练样本的数量越多、类别越丰富、标签精度越高，模型的识别和泛化能力就越好。然而，在实际桥梁复杂使役场景下，桥梁损伤图像数据集往往具有信息不完备、样本不充分、数据不平衡、标签不精准的特点，即某些类别的实际数据往往具有小样本、强干扰的特点，导致所训练模型在小样本图像上的特征表达能力不全面，进而导致在小样本数据集上训练得到的模型在真实场景中的识别精度和泛化能力较差。
[0008]除了存在小样本数据的有偏识别问题，桥梁多类型损伤识别面临的另一个难题是如何使用一个统一的模型实现对多类型损伤的通用识别。传统计算机视觉领域的多类别物
体语义分割任务往往具有以下特点：数据集中的单张图像基本包括了全部或大多数的目标类型；与之不同的是，实际桥梁获取的损伤图像往往只含有一类或少数几类损伤，并不会包含所有类型或大部分类型的损伤形式，这就导致模型可能偏向含有较多数量样本的损伤类型，而在数量较少的损伤类型上识别效果较差。

技术实现思路

[0009]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0010]为此，本专利技术的第一个目的在于提出一种小样本循环一致性引导的桥梁多类型损伤通用识别方法。
[0011]本专利技术的第二个目的在于提出一种小样本循环一致性引导的桥梁多类型损伤通用识别系统。
[0012]本专利技术的第三个目的在于提出一种计算机设备。
[0013]本专利技术的第四个目的在于提出一种非临时性计算机可读存储介质。
[0014]为达到上述目的，本专利技术第一方面实施例提出了小样本循环一致性引导的桥梁多类型损伤通用识别方法，包括以下步骤：步骤S1，对预设桥梁损伤类型进行数据对齐，将数据对齐后的数据集划分为支持集和查询集；步骤S2，利用所述支持集和所述查询集建立小样本循环一致性引导的桥梁多类型损伤通用识别模型；步骤S3，利用所述小样本循环一致性引导的桥梁多类型损伤通用识别模型计算所述查询集的第一损失值；步骤S4，利用所述小样本循环一致性引导的桥梁多类型损伤通用识别模型，并引入循环一致，计算所述支持集的第二损失值；步骤S5，基于所述第一损失值和所述第二损失值计算所述小样本循环一致性引导的桥梁多类型损伤通用识别模型的综合损失，再通过误差反向传播算法进行更新模型，直到模型收敛。
[0015]本专利技术实施例的小样本循环一致性引导的桥梁多类型损伤通用识别方法，针对桥梁损伤图像识别的小样本难题，将图像划分为支持集和查询集，通过设计模型在查询集和支持集上的循环一致性，解决了小样本问题；实现了采用一个统一模型对不同类型桥梁损伤的通用识别，解决了传统方法需要针对不同任务建立不同识别模型的不足；仅使用小样本图像，创建了查询集和支持集的双重监督信息利用模式，实现了两条监督路径的同时学习：首先以支持集原始图像和标注、查询集原始图像为输入，获得多类损伤高维特征空间的余弦相似度张量，并且以查询集标注为真实值、计算查询集损失；然后基于查询集原始图像和余弦相似度张量获得查询集标注的近似结果，以支持集原始图像为输入，以支持集标注为真实值、计算支持集损失。
[0016]另外，根据本专利技术上述实施例的小样本循环一致性引导的桥梁多类型损伤通用识别方法还可以具有以下附加的技术特征：
[0017]进一步地，在本专利技术的一个实施例中，所述步骤S1具体包括：
[0018]步骤S101，定义所述预设桥梁损伤类型，将桥梁多类型损伤图像和与其对应的多通道像素级标注进行数据对齐，形成小样本数据集；
[0019]步骤S102，将所述小样本数据集随机划分为互斥的支持集和查询集。
[0020]进一步地，在本专利技术的一个实施例中，所述步骤S3具体包括：
[0021]步骤S301，将所述支持集的原始图像输入所述小样本循环一致性引导的桥梁多类
型损伤通用识别模型的编码器中进行特征提取，获得高层级特征图，同时与之对应的多通道像素级标注图像经过与编码器相同层级的下采样模块，获得掩码图；
[0022]步骤S302，将所述掩码图与所述高层级特征图进行逐元素地乘积运算，再进行全局平均池化，得到特征向量簇；
[0023]步骤S303，将所述查询集的原始图像输入所述小样本循环一致性引导的桥梁多类型损伤通用识别模型的编码器，获得相应的高层级特征图，将所述特征向量簇按损伤类型通道方向拆分成多个特征向量，逐点计算每个特征向量与所述查询集的原始图像的高层级特征图的余弦相似度张量；
[0024]步骤S304，将所述余弦相似度张量按损伤类型通道方向进行逐通道拆分和通道扩充，与所述查询集的原始图像的高层级特征图进行逐元素相乘，获得对应多个损伤类型和特征图；然后按规定的损伤类型顺序逐个经过与编码器具有反对称结构的解码器，获得所述查询本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种小样本循环一致性引导的桥梁多类型损伤通用识别方法，其特征在于，包括以下步骤：步骤S1，对预设桥梁损伤类型进行数据对齐，将数据对齐后的数据集划分为支持集和查询集；步骤S2，利用所述支持集和所述查询集建立小样本循环一致性引导的桥梁多类型损伤通用识别模型；步骤S3，利用所述小样本循环一致性引导的桥梁多类型损伤通用识别模型计算所述查询集的第一损失值；步骤S4，利用所述小样本循环一致性引导的桥梁多类型损伤通用识别模型，并引入循环一致，计算所述支持集的第二损失值；步骤S5，基于所述第一损失值和所述第二损失值计算所述小样本循环一致性引导的桥梁多类型损伤通用识别模型的综合损失，再通过误差反向传播算法进行更新模型，直到模型收敛。2.根据权利要求1所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法，其特征在于，所述步骤S1具体包括：步骤S101，定义所述预设桥梁损伤类型，将桥梁多类型损伤图像和与其对应的多通道像素级标注进行数据对齐，形成小样本数据集；步骤S102，将所述小样本数据集随机划分为互斥的支持集和查询集。3.根据权利要求1所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法，其特征在于，所述步骤S3具体包括：步骤S301，将所述支持集的原始图像输入所述小样本循环一致性引导的桥梁多类型损伤通用识别模型的编码器中进行特征提取，获得高层级特征图，同时与之对应的多通道像素级标注图像经过与编码器相同层级的下采样模块，获得掩码图；步骤S302，将所述掩码图与所述高层级特征图进行逐元素地乘积运算，再进行全局平均池化，得到特征向量簇；步骤S303，将所述查询集的原始图像输入所述小样本循环一致性引导的桥梁多类型损伤通用识别模型的编码器，获得相应的高层级特征图，将所述特征向量簇按损伤类型通道方向拆分成多个特征向量，逐点计算每个特征向量与所述查询集的原始图像的高层级特征图的余弦相似度张量；步骤S304，将所述余弦相似度张量按损伤类型通道方向进行逐通道拆分和通道扩充，与所述查询集的原始图像的高层级特征图进行逐元素相乘，获得对应多个损伤类型和特征图；然后按规定的损伤类型顺序逐个经过与编码器具有反对称结构的解码器，获得所述查询集的原始图像的预测结果，与所述查询集的多通道像素级标注计算第一损失值。4.根据权利要求3所述的小样本循环一致性引导的桥梁多类型损伤通用识别方法，其特征在于，所述步骤S4具体包括：对所述余弦相似度张量沿损伤类型通道方向做softmax运算，获得所述查询集的原始图像的像素级标注的独热编码，然后以所述查询集的原始图像及其多通道像素级标注的独热编码、所述支持集的原始图像为输入，以所述支持集中与原始图像对应的多通道像素级标注图像作为真实值，重复步骤S302至步骤S304，获得所述支持集的原始图像的预测结果，
与所述支持集的多通道像素级标注计算第二损失值。5.根据权利要求3所述的小样本循环一致性引导的桥梁多...

【专利技术属性】
技术研发人员：徐阳，李惠，范云蕾，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：