本发明专利技术提供一种复杂铁路多模态的电弧检测方法，涉及图像识别技术领域，该方法为获取复杂铁路的多模态图像数据；利用特征提取层、特征选择层和可迁移特征学习层，构建电弧检测模型；将多模态图像数据输入所述电弧检测模型，利用损失函数进行训练，得到训练好的电弧检测模型；其中，训练好的电弧检测模型用于对复杂铁路图像数据进行分析，得到电弧检测结果，完成对复杂铁路多模态的电弧检测。本发明专利技术解决了复杂铁路环境下电弧检测精度不高的问题。
【技术实现步骤摘要】
本说明书涉及图像识别，特别涉及一种复杂铁路多模态的电弧检测方法。
技术介绍
1、近年来，基于图像的电弧检测算法逐渐受到关注。这种方法比基于信号的检测更直观，且只需一个摄像头，适合实际环境中使用。例如，紫外光探测利用紫外相机、火焰探测器和光电倍增管(pmt)等设备，通过窄带滤光片提高检测精度。尽管紫外光探测能有效屏蔽环境光源和背景干扰，但光电倍增管对工作环境敏感，输出信号微弱且信噪比高，采样频率有限，无法完全屏蔽日光等干扰。红外光信号检测则通过监控实时温度和红外波长信号判定电弧的发生，对环境光照不敏感，但其他高温物体容易造成误判。
2、然而，列车运行过程中面临诸多挑战，如眩光、反射光、复杂接触网线路干扰因素导致眩光和反射光与电弧光相似，增加了噪声，容易导致检测错误。因此，采用单一传感器可见光图像检测的方式存在局限性，难以在复杂环境下有效检测电弧。为应对上述挑战，huang等人设计了一种融合可见光和红外图像的深度学习模型，充分利用电弧的高温特性和红外图像在高温目标检测中的优势。该模型通过动态调整不同图像模态的可信度权重，有效整合了多种传感器信息，显著降低了单一检测方法在特定场景下的误判率。然而，该方法在检测过程中对红外图像和可见光图像分别采用了多个模型，未能充分融合这两种图像的特征以实现相互修正。鉴于深度学习网络的“黑盒子”特性，如何设计具有“可解释性”的网络架构，更好地融合和分解红外与可见光图像的特征，从而在复杂环境下提高电弧检测的精度，仍然是一个关键研究问题。
技术实现思路
1、针对现有技术中的上述不足，本专利技术提供的一种复杂铁路多模态的电弧检测方法解决了复杂铁路环境下电弧检测精度不高的问题。
2、为了达到上述专利技术目的，本专利技术采用的技术方案为：一种复杂铁路多模态的电弧检测方法，包括：
3、s1：获取复杂铁路的多模态图像数据；其中，所述多模态图像数据包括可见光图像和红外光图像；
4、s2：利用特征提取层、特征选择层和可迁移特征学习层，构建电弧检测模型；
5、s3：将所述多模态图像数据输入所述电弧检测模型，利用损失函数进行训练，得到训练好的电弧检测模型；其中，所述训练好的电弧检测模型用于对复杂铁路图像数据进行分析，得到电弧检测结果，完成对复杂铁路多模态的电弧检测。
6、进一步地，所述电弧检测模型包括：
7、特征提取层，用于对所述可见光图像和所述红外光图像进行融合和特征提取，得到多模态电弧特征；其中，所述多模态电弧特征包括低秩特征和稀疏特征；
8、特征选择层，用于基于预测边界框和质量评价指标，提取多模态图像数据中低质量对象和高质量对象的关联特征，得到高质量样本特征；
9、可迁移特征学习层，用于利用所述高质量样本特征对所述多模态电弧特征进行学习，基于相似性分数，得到电弧检测结果。
10、进一步地，所述多模态电弧特征的表达式为：
11、；
12、；
13、其中，表示第t步学习到的多模态电弧特征，表示软阈值算子可以表示激活函数，表示卷积层中可训练变量，表示红外和自然光融合后的图像，表示调节低秩系数和稀疏系数之间权衡的参数，表示第t-1步学习到的表征系数，表示特征信息，表示第t-1步学习到的表征系数，表示卷积层中可训练的参数，表示卷积层中可训练的参数，表示卷积操作，表示更新权重，即动量系数，表示表示完整的字典的转置，表示输入数据，表示缩小输入矩阵的阈值，是一个可学习的变量。
14、进一步地，所述可迁移特征学习层包括：
15、卷积模块，用于将所述高质量样本特征对所述多模态电弧特征嵌入到对应的特征空间，分别得到高质量特征空间向量和电弧特征空间向量；
16、全连接模块，基于所述高质量特征空间向量和所述电弧特征空间向量，通过最优化运输，得到联合概率分布集合，作为电弧检测结果。
17、进一步地，所述联合概率分布集合的表达式为：
18、；
19、；
20、；
21、其中，表示和所有的联合概率分布集合，表示高质量样本特征库的特征空间向量，表示联合概率分布矩阵，用于描述高质量样本特征与低质量样本特征之间的分布映射关系，表示指特征矩阵的维度，与批大小和高质量样本库的大小相关，表示联合概率分布的边际分布，维度对应于批大小，表示表示联合概率分布的另一边际分布，维度对应于高质量样本特征库的大小，表示表示高质量样本空间向。，表示表示通过联合概率矩阵计算的特征对齐权重，表示示最优传输问题中的优化目标函数，表示是特征相似度矩阵，通常基于余弦相似度计算，表示求解使目标函数达到最大值的变量，表示最优传输问题中的目标值，表示联合概率分布矩阵的熵，用于正则化目标函数，表示表示约束项的权重，表示kl散度，衡量联合分布和目标分布之间的差异，表示表示正则化参数，表示联合概率矩阵的元素，即特定高低质量特征之间的匹配概率，表示经过归一化的联合概率分布，用于进一步优化对齐特性。
22、进一步地，所述相似性分数包括高质量样本特征相似性分数和多模态电弧特征相似性分数，其具体表达式分别为：
23、；
24、；
25、；
26、其中，表示高质量样本特征相似性分数，即低质量样本的权重，用于反映其在联合概率分布中的重要性，表示取最大值的操作，、和表示表示联合概率矩阵中每行的各列元素，分别对应第个低质量特征与每个高质量特征之间的匹配权重，表示多模态电弧特征相似性分数，即高质量样本的权重，用于反映其在特征匹配中的重要性，表示联合概率矩阵中的单个元素，即低质量样本和高质量样本的匹配概率，表示用于标记样本是否为高相似度的正样本，表示示低质量样本的总权重，通常与联合概率矩阵中的行最大值，表示低质量样本集的大小，表示批处理中低质量样本的数量,表示高质量样的总权重，通常通过联合概率矩阵的列加和计算得出，表示高质量样本集的大小，表示特征选择模块中存储的高质量样本的数量。
27、进一步地，所述损失函数的表达式为：
28、；
29、其中，表示损失函数结果，用于优化低质量样本和高质量样本特征之间的相似性，表示用于指示样本i是否被认为是高相似度的正样本，表示批量大小，即当前训练中低质量和高质量样本特征的数量，表示表示特征相似性函数，表示高质量样本特征向量，表示低质量样本特征向量，表示示对比损失的温度参数，用于控制相似性分布的平滑程度，表示低质量样本和高质量样本的数量范围。
30、本专利技术的有益效果为：一种复杂铁路多模态的电弧检测方法，融合了可见光和红外图像，并设计电弧检测模型，提供可学习的表示特征，用于分解融合后图像中的低秩特征和稀疏特征。（1）利用可迁移的模仿学习电弧检测模型，可以在高质量示例的监督下提高低质量示例的表示能力；（2）通过最优化理论设计了基于无监督的可迁移表示学习网络，避免了对任何预定义阈值的依赖，能够通过无监督的聚类实现全局和局部的一致性，本文档来自技高网
...
【技术保护点】
1.一种复杂铁路多模态的电弧检测方法，其特征在于，包括：
2.根据权利要求1所述的复杂铁路多模态的电弧检测方法，其特征在于，所述电弧检测模型包括：
3.根据权利要求2所述的复杂铁路多模态的电弧检测方法，其特征在于，所述多模态电弧特征的表达式为：
4.根据权利要求2所述的复杂铁路多模态的电弧检测方法，其特征在于，所述可迁移特征学习层包括：
5.根据权利要求4所述的复杂铁路多模态的电弧检测方法，其特征在于，所述联合概率分布集合的表达式为：
6.根据权利要求5所述的复杂铁路多模态的电弧检测方法，其特征在于，所述相似性分数包括高质量样本特征相似性分数和多模态电弧特征相似性分数，其具体表达式分别为：
7.根据权利要求1所述的复杂铁路多模态的电弧检测方法，其特征在于，所述损失函数的表达式为：
【技术特征摘要】
1.一种复杂铁路多模态的电弧检测方法，其特征在于，包括：
2.根据权利要求1所述的复杂铁路多模态的电弧检测方法，其特征在于，所述电弧检测模型包括：
3.根据权利要求2所述的复杂铁路多模态的电弧检测方法，其特征在于，所述多模态电弧特征的表达式为：
4.根据权利要求2所述的复杂铁路多模态的电弧检测方法，其特征在于，所述可迁移特征学习层包括：
【专利技术属性】
技术研发人员：程尧，颜靖柯，周宁，黄莉，张卫华，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。