【技术实现步骤摘要】
本专利技术涉及铁轨异物检测领域，特别涉及一种边缘端部署的铁轨异物半监督异常检测方法及系统。
技术介绍
1、铁路作为重要的交通基础设施之一，铁轨异物(人、动物、泥石流或者工具)的存在可能会导致列车事故和铁路设备的损坏，因此铁轨异物的快速检测和处理至关重要。传统的识别异物方法需要在沿线铁轨安装多个摄像头，缺乏分析功能，需要人工检查，成本高，且存在较高的遗漏风险。
2、近几年，随着人工智能技术的发展，越来越多的智能分析方法应用到铁轨异物检测中。现有手段存在的问题是：目前的算法以有监督训练为主，需要大量人工标注，开发周期长且场景适应性差，无法应对突发情况；同时算法部署在服务器端，考虑到数据传输的开销与延迟，会大大降低检测的实时性与稳定性。
3、目前用于铁路领域进行异物检测的方法主要有：（1）采用对抗生成网络，比较输入图片和重构图片之间的差异来判断异物；（2）采用目标检测和分割方法进行异物检测；（3）利用传统视觉异常检测方法，检测铁轨连续性、异常边缘、方差和相关性、光流场异常点。
4、例如，技术方案一（专利申请号为cn202110785139.1，专利申请名称为“一种面向铁轨图像的半监督异物检测方法”），使用高清相机获得铁路轨道的二维图像，并将其转换为灰度图；采用基于gan的异常检测方法，在模型训练阶段只输入正常的铁轨图像；在测试阶段模型可已重构出正常样本的图像，却无法重构出异常样本图像；在推理阶段，设置一个阈值，当重构图像与原图之间差异大于所设阈值，该图像就被判定为异常。本专利技术采用半监督的方式，在
5、技术方案一的缺点为:(1)采用的对抗生成网络较难训练，训练成本高；(2)未限定检测区域，全局检测会增加误报召回率。
6、技术方案二（专利申请号为cn202211323105.1，专利申请名称为“一种基于单目热红外摄像头的铁轨异物识别方法及系统”），通过yolov5进行异物的初步定位，进而对于不同的目标类别采用不同的模型进行语义分割，根据分割结果自动地对原始图像集进行标注，用于训练本专利提出的改进的语义分割网络，将热感图像带有的温度信息加入改进的语义分割网络的计算权重中，对原始的图像完成分割，得到异物分割图。
7、技术方案二的缺点为:(1)采用有目标检测和分割等监督学习方法，需要针对特定场景进行数据数据收集和标注，人工成本高；(2)采用transformer结构，不易于边端移植。
8、技术方案三（专利申请号为cn202211053889.0，专利申请名称为“一种铁轨异物检测方法”），目的是解决现有技术中采用视频监控所存在的技术问题。该铁轨异物检测方法包括铁轨障碍物检测：读取监测区域，检测铁轨连续性、异常边缘、方差和相关性、光流场异常点，将检测得到的数据进行融合，得出铁轨障碍物尺寸和距离估计。
9、技术方案三的缺点为:(1)利用传统视觉异物检测方法检测铁轨障碍物，泛化能力有限，场景适应性不高；(2)异物检测目标个数受限，仅支持行人检测，要增加类别需要重新训练。
10、总结上述技术方案，现有技术的缺点总结如下：
11、(1)采用的算法方案或者训练难度大，或者标注成本高，或者有监督训练，泛化性不强，无法应对未知异物，比如gan、目标检测算法和传统异物检测方法；
12、(2)铁轨场景较为复杂，单一算法难以满足不同场景变化的需求；
13、(3)算法未轻量化，不适合边端设备部署；
14、(4)人工参与度较多，自动化程度不高，缺乏统一的多算法支持和简便的部署方式。
技术实现思路
1、本专利技术的目的在于克服现有技术的缺点与不足，提供一种边缘端部署的铁轨异物半监督异常检测方法，该方法支持三种半监督异常检测算法，可以根据场景变化进行自动选择，满足不同大小异物检测的需求，且都支持未知异物检测，应对不同突发情况；算法开发过程只需提供正样本图片，无需进行额外标注，即可一站式的完成从模型训练、量化和移植部署整个流程，自动化程度高，且大大缩短开发周期。算法部署在边缘设备，保证了检测系统的实时性和稳定性。最后，本专利技术还支持部分算法进行边端训练，可在边端根据场景变化进行模型更新。
2、本专利技术的另一目的在于提供一种边缘端部署的铁轨异物半监督异常检测系统。
3、本专利技术的目的通过以下的技术方案实现：
4、一种边缘端部署的铁轨异物半监督异常检测方法，包括以下步骤：
5、对摄像头捕获的视频流，边缘设备进行编码、解码得到图像帧序列，设置帧间隔阈值来对图像帧序列进行抽帧处理；
6、对抽帧得到的某一帧图像，利用语义分割模型进行图像分割，得到铁轨区域分割图像；
7、对于某一帧图像，将前面得到的铁轨区域分割图像输入到混合专家系统，混合专家系统的门限网络给若干个专家模型分配权重，记录当前帧被分配权重最高的专家模型，对应频率加1；同理，通过连续多帧图像的统计，得到各个专家模型的统计频率，频率最高的专家模型对应的铁轨异物半监督异常检测模型作为当前铁轨区域分割图像的检测模型并完成铁轨异物检测。
8、所述混合专家系统的输出公式如下：
9、；
10、其中，为输入图片，为输出异物概率密度图；为门限网络针对第个专家模型的概率输出，为第i个专家模型，当的时候，对应的专家模型就不会激活。
11、理论上，越大，对应的第个专家模型被选上的概率也就越大，该专家模型的输出也将成为最终的输出。
12、所述门限网络的损失函数如下：
13、；
14、其中，c表示一个图像样本，为第个专家模型的输出；是理想的输出，也就是真值，网络通过学习，使得将逐步逼近的目标值；是门限网络分配给第个专家模型的权重，等同于；通过减小损失函数，训练门限网络参数权重。
15、所述专家模型对应的半监督铁轨异物检测模型包括基于标准化流模型的自动训练及部署的铁轨异物检测方法，所述标准化流模型的训练过程采用基于训练数据统计方差的早停策略：当标准化流模型输出特征的均方差不大于预设阈值时，判断检测模型将要发生崩溃，停止检测模型的训练；并将时间点最接近停止训练前的检测模型作为最终结果。
16、将所述标准化流模型的整体训练数据分成个批次进行均方差计算，计算整体训练数据经过标准化流模型后输出特征的均方差的过程如下：
17、 ；
18、；
19、；
20、其中，表示前个批次数据的整体方差，表示当前第个批次的局部方差，表示当前第个批次的局部均值，表示前个批次数据的整体均值；和分别表示第j和个批次的图像。
21、所述基于标准化流模型的自动训练及部署的铁轨异物检测方法，通过标准化流模型输出特征的概率密度值来判断是否产生铁轨异物，若大于预设阈值，则认为产生铁轨异物。
22、通过所述标准化流模型本文档来自技高网...
【技术保护点】
1.一种边缘端部署的铁轨异物半监督异常检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述混合专家系统的输出公式如下：
3.根据权利要求1所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述门限网络的损失函数如下：
4.根据权利要求1所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述专家模型对应的半监督铁轨异物检测模型包括基于标准化流模型的自动训练及部署的铁轨异物检测方法，所述标准化流模型的训练过程采用基于训练数据统计方差的早停策略：当标准化流模型输出特征的均方差不大于预设阈值时，判断检测模型将要发生崩溃，停止检测模型的训练；并将时间点最接近停止训练前的检测模型作为最终结果。
5.根据权利要求4所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，将所述标准化流模型的整体训练数据分成个批次进行均方差计算，计算整体训练数据经过标准化流模型后输出特征的均方差的过程如下：
6.根据权利要求4所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于
7.根据权利要求4所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，通过所述标准化流模型输出特征计算所有像素位置的铁轨异物概率图的计算方式如下：
8.根据权利要求7所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述设定阈值为自适应地设置阈值，通过以下方式计算：
9.根据权利要求7所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述设定阈值用于处理产品图像边缘区域，在产品非边缘区域采用高阈值进行处理。
10.根据权利要求4所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述标准化流模型采用fastflow。
11.根据权利要求4所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，其铁轨异物检测模型采用fastflow作为标准化流模型，采用标准正太分布作为fastflow的后验估计，并使用在ImageNet分类数据集上预训练的ResNet18网络作为特征提取器。
12.根据权利要求1所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述专家模型对应的半监督铁轨异物检测模型包括基于变分自编码器多层特征感知的铁轨异物检测方法，包括以下步骤：
13.根据权利要求12所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述步骤S4具体如下：
14.根据权利要求12所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述自编码器的训练过程如下：
15.根据权利要求12所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述自编码器模型训练的损失函数计算公式如下：
16.根据权利要求12所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述自编码器的教师模型为ResNet50、VGG19、HRNet中的一种。
17.根据权利要求12所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述步骤S2具体如下：
18.根据权利要求12所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述变分自编码器的训练过程如下：
19.根据权利要求12所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述变分自编码器的损失函数定义如下：
20.根据权利要求19所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述通过以下公式计算：
21.根据权利要求1所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述专家模型对应的半监督铁轨异物检测模型包括基于深度特征对比的铁轨异物检测方法，包括以下步骤：
22.根据权利要求21所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，训练阶段中，所述铁轨异常样本中的异物图像生成方法如下：
23.根据权利要求21所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，训练阶段中，所述铁轨异常样本中的异物图像生成方法如下：
24.根据权利要求21所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，训练阶段中，所述铁轨异常样本中的异物图像生成后，再生成异常区域图像，对应的公式为：
25.根据权利要求21所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述编码模块采用两个相同权...
【技术特征摘要】
1.一种边缘端部署的铁轨异物半监督异常检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述混合专家系统的输出公式如下：
3.根据权利要求1所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述门限网络的损失函数如下：
4.根据权利要求1所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述专家模型对应的半监督铁轨异物检测模型包括基于标准化流模型的自动训练及部署的铁轨异物检测方法，所述标准化流模型的训练过程采用基于训练数据统计方差的早停策略：当标准化流模型输出特征的均方差不大于预设阈值时，判断检测模型将要发生崩溃，停止检测模型的训练；并将时间点最接近停止训练前的检测模型作为最终结果。
5.根据权利要求4所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，将所述标准化流模型的整体训练数据分成个批次进行均方差计算，计算整体训练数据经过标准化流模型后输出特征的均方差的过程如下：
6.根据权利要求4所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述基于标准化流模型的自动训练及部署的铁轨异物检测方法，通过标准化流模型输出特征的概率密度值来判断是否产生铁轨异物，若大于预设阈值，则认为产生铁轨异物。
7.根据权利要求4所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，通过所述标准化流模型输出特征计算所有像素位置的铁轨异物概率图的计算方式如下：
8.根据权利要求7所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述设定阈值为自适应地设置阈值，通过以下方式计算：
9.根据权利要求7所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述设定阈值用于处理产品图像边缘区域，在产品非边缘区域采用高阈值进行处理。
10.根据权利要求4所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述标准化流模型采用fastflow。
11.根据权利要求4所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，其铁轨异物检测模型采用fastflow作为标准化流模型，采用标准正太分布作为fastflow的后验估计，并使用在imagenet分类数据集上预训练的resnet18网络作为特征提取器。
12.根据权利要求1所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述专家模型对应的半监督铁轨异物检测模型包括基于变分自编码器多层特征感知的铁轨异物检测方法，包括以下步骤：
13.根据权利要求12所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述步骤s4具体如下：
14.根据权利要求12所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述自编码器的训练过程如下：
15.根据权利要求12所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述自编码器模型训练的损失函数计算公式如下：
16.根据权利要求12所述边缘端部署的铁轨异物半监督异常检测方法，其特征在于，所述自编码器的教师模型为resnet50、vgg19、hrnet中的一种。
...【专利技术属性】
技术研发人员：区英杰，谭焯康，符桂铭，董万里，雷广源，
申请(专利权)人：广州英码信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。