【技术实现步骤摘要】
本专利技术涉及图像处理，具体而言，涉及一种基于视觉曼巴的轨道表面缺陷检测方法及装置、存储介质、电子设备。
技术介绍
1、相关技术中，随着城市化进程的推进，铁路运营的里程、速度和密度不断增加，铁路安全的重要性愈发凸显，其健康与稳定对公共安全和财产具有深远影响。由于铁路基础设施的工作环境复杂，轨道在服役期间不可避免地会出现缺陷，并日积月累和扩展。
2、轨道缺陷通常分为内部缺陷和外部缺陷。在列车的长期运行中，轨道承受的挤压力和过度摩擦逐渐加剧，内部缺陷会逐步扩展。如今，轨道生产工艺成熟，内部缺陷大幅减少。但由于列车车轮与轨道表面之间摩擦力和冲击力的增大，外界环境的多变等因素，使得轨道表面缺陷成为轨道交通的威胁之一。常见的轨道表面缺陷包括裂纹、磨损和变形等。如果不及时检测并修复，表面缺陷随着时间的推移而不断扩大。
3、随着人工智能技术的高速发展，基于深度学习的目标检测算法也广泛应用到轨道表面缺陷检测领域中。尽管当前深度学习技术在轨道表面缺陷检测任务中取得一定的成果，但这些方法仍存在一些问题。主要有：(1)轨道巡检现场光线低微，导致采集到的轨道表面缺陷图像出现亮度不均衡和轨道表面缺陷与背景相似的问题，容易导致漏检和误检，现有方法对于轨道表面缺陷的检测性能不高。(2)由于轨道交通的客运量巨大，留给轨道表面缺陷检测的时间通常很短。通过对轨道表面图像的观察，申请人发现轨道表面缺陷呈现离散分布，多数轨道表面处于正常状态，使用复杂的深度学习网络会造成计算资源和时间的浪费。
4、针对相关技术中存在的上述问题，暂未发
技术实现思路
1、本专利技术提供了一种基于视觉曼巴的轨道表面缺陷检测方法及装置、存储介质、电子设备，以解决相关技术中的技术问题。
2、根据本专利技术的一个实施例，提供了一种基于视觉曼巴的轨道表面缺陷检测方法，包括：获取待检测的轨道表面图像；将所述轨道表面图像分割为多个互不重叠的补丁图，并基于所述补丁图创建多个嵌入图像，其中，每个嵌入图像对应一个分辨率；对所述多个嵌入图像进行全向连续性扫描，并提取多层次特征信息，其中，所述多层次特征信息包括所有分辨率的嵌入图像的特征信息；对所述多个嵌入图像和所述多层次特征信息进行融合，得到融合特征；将所述融合特征输入目标基于视觉曼巴的轨道表面缺陷检测网络rvmnet模型，并输出所述轨道表面图像中轨道表面缺陷的缺陷位置和缺陷类别。
3、可选地，将所述轨道表面图像分割为多个互不重叠的补丁图，并基于所述补丁图创建多个嵌入图像，包括：将所述轨道表面图像分割为多个互不重叠且尺度相同的多个二维特征图，得到补丁图；通过线性投影将所述补丁图中的二维特征图编码为多个嵌入图像。
4、可选地，通过线性投影将所述补丁图中的二维特征图编码为多个嵌入图像包括：通过线性投影将所述补丁图中的二维特征图编码为初始分辨率的第一嵌入图像；对所述第一嵌入图像进行下采样，得到第一中间分辨率的第二嵌入图像，并将所述第二嵌入图像的通道数增加一倍，其中，所述初始分辨率是所述第一中间分辨率的两倍；对所述第二嵌入图像进行下采样，得到第二中间分辨率的第三嵌入图像，并将所述第三嵌入图像的通道数增加一倍，其中，所述第一中间分辨率是所述第二中间分辨率的两倍；对所述第三嵌入图像进行下采样，得到第三中间分辨率的第四嵌入图像，并将所述第四嵌入图像的通道数增加一倍，其中，所述第二中间分辨率是所述第三中间分辨率的两倍。
5、可选地，对所述多个嵌入图像进行全向连续性扫描，并提取全局特征信息包括：针对每个嵌入图像，按照多个扫描轨迹对所述嵌入图像进行全向连续性扫描，得到多个扫描序列，其中，每个扫描序列对应一个扫描轨迹；提取每个所述扫描序列的特征图；合并所述多个扫描序列的特征图，得到全局特征信息；对所述多个嵌入图像对应的多个全局特征信息进行快速空间金字塔池化，得到多层次特征信息。
6、可选地，按照多个扫描轨迹对所述嵌入图像进行全向连续性扫描，得到多个扫描序列，包括：从所述嵌入图像的首行首列开始，逐行进行全向连续性扫描，得到第一扫描序列；从所述嵌入图像的首行首列开始，逐列进行全向连续性扫描，得到第二扫描序列；从所述嵌入图像的末行末列开始，逐行进行全向连续性扫描，得到第三扫描序列；从所述嵌入图像的末行末列开始，逐列进行全向连续性扫描，得到第四扫描序列，其中，所述多个扫描序列包括所述第一扫描序列、所述第二扫描序列、所述第三扫描序列、以及所述第四扫描序列。
7、可选地，对所述多个嵌入图像和所述多层次特征信息进行融合，得到融合特征，包括：对所述多层次特征信息进行上采样，得到与所述嵌入图像尺度相同的层级特征；针对每个嵌入图像，对所述嵌入图像和尺度相同的层级特征进行逐像素拼接，得到拼接特征；通过卷积操作融合多个尺度的拼接特征，得到融合特征。
8、可选地，在将所述融合特征输入目标rvmnet模型之前，所述方法还包括：采集轨道表面缺陷图像集；对所述轨道表面缺陷图像集进行数据增强，得到样本集；将所述样本集划分为训练集、验证集和测试集；采用所述训练集训练初始rvmnet模型，并计算训练过程中的分类损失和回归损失，其中，所述分类损失用于表征预测类别与真实类别之间的差异，所述回归损失用于表征预测边界框与真实边界框之间的差异；基于所述分类损失和回归损失调整所述初始rvmnet模型的参数值，得到中间rvmnet模型；采用所述验证集对所述中间rvmnet模型进行交叉验证，并基于验证结果调整所述中间rvmnet模型的参数值，得到目标rvmnet模型；采用所述测试集对所述目标rvmnet模型进行测试，得到定性指标值和定量指标值；判断所述定性指标值和所述定量指标值是否均符合预设条件；若所述定性指标值和所述定量指标值均符合预设条件，输出所述目标rvmnet模型。
9、根据本专利技术的另一个实施例，提供了一种基于视觉曼巴的轨道表面缺陷检测装置，包括：获取模块，用于获取待检测的轨道表面图像；分割模块，用于将所述轨道表面图像分割为多个互不重叠的补丁图，并基于所述补丁图创建多个嵌入图像，其中，每个嵌入图像对应一个分辨率；扫描模块，用于对所述多个嵌入图像进行全向连续性扫描，并提取多层次特征信息，其中，所述多层次特征信息包括所有分辨率的嵌入图像的特征信息；融合模块，用于对所述多个嵌入图像和所述多层次特征信息进行融合，得到融合特征；检测模块，用于将所述融合特征输入目标基于视觉曼巴的轨道表面缺陷检测网络rvmnet模型，并输出所述轨道表面图像中轨道表面缺陷的缺陷位置和缺陷类别。
10、可选地，所述分割模块包括：分割单元，用于将所述轨道表面图像分割为多个互不重叠且尺度相同的多个二维特征图，得到补丁图；编码单元，用于通过线性投影将所述补丁图中的二维特征图编码为多个嵌入图像。
11、可选地，所述编码单元包括：编码子单元，用于通过线性投影将所述补丁图中的二维特征图编码为初始分辨率的第一嵌入图像；第一采样子单元，用于对所述第一嵌入图像进行下采样，得到第一中间分辨率的第本文档来自技高网...
【技术保护点】
1.一种基于视觉曼巴的轨道表面缺陷检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，将所述轨道表面图像分割为多个互不重叠的补丁图，并基于所述补丁图创建多个嵌入图像，包括：
3.根据权利要求2所述的方法，其特征在于，通过线性投影将所述补丁图中的二维特征图编码为多个嵌入图像包括：
4.根据权利要求1所述的方法，其特征在于，对所述多个嵌入图像进行全向连续性扫描，并提取全局特征信息包括：
5.根据权利要求4所述的方法，其特征在于，按照多个扫描轨迹对所述嵌入图像进行全向连续性扫描，得到多个扫描序列，包括：
6.根据权利要求1所述的方法，其特征在于，对所述多个嵌入图像和所述多层次特征信息进行融合，得到融合特征，包括：
7.根据权利要求1所述的方法，其特征在于，在将所述融合特征输入目标RVMNet模型之前，所述方法还包括：
8.一种基于视觉曼巴的轨道表面缺陷检测装置，其特征在于，包括：
9.一种存储介质，其特征在于，存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行
10.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：
...【技术特征摘要】
1.一种基于视觉曼巴的轨道表面缺陷检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，将所述轨道表面图像分割为多个互不重叠的补丁图，并基于所述补丁图创建多个嵌入图像，包括：
3.根据权利要求2所述的方法，其特征在于，通过线性投影将所述补丁图中的二维特征图编码为多个嵌入图像包括：
4.根据权利要求1所述的方法，其特征在于，对所述多个嵌入图像进行全向连续性扫描，并提取全局特征信息包括：
5.根据权利要求4所述的方法，其特征在于，按照多个扫描轨迹对所述嵌入图像进行全向连续性扫描，得到多个扫描序列，包括：
6.根据权...
【专利技术属性】
技术研发人员：杨韵，华远盛，盛文，刘欣琳，朱松，朱家松，
申请(专利权)人：深圳大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。