【技术实现步骤摘要】
本专利技术涉及托辊故障检测，具体而言，涉及一种托辊卡阻检测方法及电子设备。
技术介绍
1、托辊是皮带机的重要组成部件，随着皮带长度增加托辊数量也会成比例上升，大量的托辊中出现故障异常的可能性也会增加，其中托辊卡阻是一种严重的部件故障，由于卡阻后托辊辊体表面与皮带之间进行滑动摩擦，产生热量显著增加，甚至会导致火灾发生。因此，对托辊卡阻故障的检测至关重要。
2、相关技术中，结合托辊旋转与高温协同的检测方式，主要是通过获取当前托辊的旋转状态和温度状态，同时满足托辊旋转异常与高温异常时判断托辊卡阻故障，但是旋转异常与高温异常都是单独计算的，然而，这种方式在实际应用中存在一定的局限性，因为旋转异常与高温异常都是独立处理的，未能充分考虑两者之间的关联性，会导致判断结果不够准确。
技术实现思路
1、有鉴于此，本专利技术实施例的目的在于，提供一种托辊卡阻检测方法及电子设备以至少部分地改善上述问题。
2、为了实现上述目的，本专利技术实施例采用的技术方案如下：
3、第一方面，本专利技术实施例提供了一种托辊卡阻检测方法，所述方法包括：
4、获取待检测托辊的可见光视频、热红外视频以及诊断需求指令；
5、按照预设温度区间范围将所述热红外视频转换成热红外伪彩视频；
6、将所述可见光视频、所述热红外伪彩视频以及所述诊断需求指令输入托辊卡阻检测模型，得到所述待检测托辊的卡阻故障检测结论与维修建议。
7、可选地，所述按照预设温度区间
8、对所述热红外视频的每帧热红外温度图像按照预设温度区间范围进行截断，得到截断后的截断温度图像；
9、将各所述截断温度图像进行归一化处理，得到归一化灰度图像；
10、将各所述归一化灰度图像映射到伪彩色图像，得到热红外伪彩视频。
11、可选地，所述托辊卡阻检测模型包括视觉编码器、线性投影层以及大语言模型，所述将所述可见光视频、所述热红外伪彩视频以及所述诊断需求指令输入托辊卡阻检测模型，得到所述待检测托辊的卡阻故障检测结论与维修建议，包括：
12、将所述可见光视频和所述热红外伪彩视频分别输入所述视觉编码器中，得到可见光特征图和热红外特征图；
13、将所述可见光特征图和所述热红外特征图进行融合，得到融合特征图；
14、将所述融合特征图输入所述线性投影层，得到视觉特征向量；
15、将所述诊断需求指令输入词嵌入层，得到指令特征向量；
16、将所述视觉特征向量与所述指令特征向量进行融合后，输入所述大语言模型，得到所述待检测托辊的卡阻故障诊断结论与检维修建议。
17、可选地，所述托辊卡阻检测模型还包括时序池化层以及空间池化层，所述将所述可见光特征图和所述热红外特征图进行融合，得到融合特征图，包括：
18、将所述可见光特征图分别输入所述时序池化层以及所述空间池化层，分别进行时序池化和空间池化，得到可见光时序特征图以及可见光空间特征图；
19、将所述热红外特征图分别输入所述时序池化层以及所述空间池化层，分别进行时序池化和空间池化，得到热红外时序特征图以及热红外空间特征图；
20、将所述可见光时序特征图、所述可见光空间特征图、所述热红外时序特征图以及热红外空间特征图进行融合，得到融合特征图。
21、可选地，所述时序池化的过程包括：
22、对于每个时间步，对所述时间步的所有空间位置的特征进行求和，得到总空间特征向量；
23、使用所述总空间特征向量除以所述所有空间位置的总数，得到时序池化特征图；
24、所述空间池化的过程包括：
25、对于每个空间位置，对所述空间位置的所有时间步的特征进行求和，得到总时序特征向量；
26、使用所述总空间特征向量除以所述所有时间步的总数，得到空间池化特征图。
27、可选地，所述线性投影层为全连接层，所述视觉特征向量的计算公式为：
28、z＝w·v+b
29、其中，v为所述融合特征图，w为所述线性投影层的权重矩阵，b为所述线性投影层的偏置向量，z为投影后的所述视觉特征向量。
30、可选地，所述方法还包括训练所述托辊卡阻检测模型的步骤，包括：
31、获取视觉数据集以及指令数据集；
32、使用所述视觉数据集，基于clip预训练权重，对所述视觉编码器进行全参数量多任务微调学习；
33、冻结所述视觉编码器的权重，使用所述指令数据集，对所述线性投影层进行全参数微调，对所述大语言模型进行lora微调；
34、使用所述指令数据集，端到端同时微调所述视觉编码器、所述线性投影层以及所述大语言模型的权重；其中，所述视觉编码器、所述线性投影层进行全参数微调，所述大语言模型进行lora微调。
35、可选地，所述使用所述视觉数据集，基于clip预训练权重，对所述视觉编码器进行全参数量多任务微调学习，包括：
36、使用clip范式对所述视觉编码器进行预训练；
37、将经过预训练的视觉编码器作为骨干网络，并添加目标检测和语义分割的任务头，使用所述视觉数据集进行全参数量多任务微调学习。
38、可选地，所述多任务微调学习的损失函数为：
39、ltotal＝γdet(lcls+λ1·lbbox)+γseg(α·lseg_ce+β·lseg_dice)
40、其中，ltotal为总损失函数，由目标检测损失以及分割损失组成，目标检测损失包括分类损失和边界框损失，分割损失包括交叉熵损失和dice损失；lcls为所述分类损失，用于评估目标类别预测的准确性，lbbox为所述边界框损失，用于评估预测框和真实框的差距，lseg_ce为所述交叉熵损失，用于评估每个像素的分类准确性，lseg_dice为所述dice损失，用于评估预测的分割区域与真实分割区域的重叠程度，γdet、γseg是所述目标检测损失和所述分割损失的权重系数，λ1、α、β是各损失的权重系数；
41、
42、其中，n为是样本总数，c为类别总数，是第i个样本属于第c类的真实标签，取值为0或1，是第i个样本被预测为第c类的概率；
43、
44、其中，npos是正样本的数量，即对应真实框的正样本，是边界框的预测值，是边界框的真实值，为平滑的l1损失函数，用于减少大误差对训练的不良影响；
45、
46、其中，h为图像的高度，w为图像的宽度，c为类别的总数，yijc是第(i，j)像素属于第c类的真实标签，取值为0或1，pijc是第(i，j)像素被预测为第c类的概率；
47、
48、其中，h为图像的高度，w为图像的宽度，c为类别的总数，yijc是第(i，j)像素属于第c类的真实标签，取值为0或1，pijc是第(本文档来自技高网...
【技术保护点】
1.一种托辊卡阻检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述按照预设温度区间范围将所述热红外视频转换成热红外伪彩视频，包括：
3.根据权利要求1所述的方法，其特征在于，所述托辊卡阻检测模型包括视觉编码器、线性投影层以及大语言模型，所述将所述可见光视频、所述热红外伪彩视频以及所述诊断需求指令输入托辊卡阻检测模型，得到所述待检测托辊的卡阻故障检测结论与维修建议，包括：
4.根据权利要求3所述的方法，其特征在于，所述托辊卡阻检测模型还包括时序池化层以及空间池化层，所述将所述可见光特征图和所述热红外特征图进行融合，得到融合特征图，包括：
5.根据权利要求4所述的方法，其特征在于，所述时序池化的过程包括：
6.根据权利要求3所述的方法，其特征在于，所述线性投影层为全连接层，所述视觉特征向量的计算公式为：
7.根据权利要求3所述的方法，其特征在于，所述方法还包括训练所述托辊卡阻检测模型的步骤，包括：
8.根据权利要求7所述的方法，其特征在于，所述使用所述视觉数据集，基于
9.根据权利要求8所述的方法，其特征在于，所述多任务微调学习的损失函数为：
10.一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至9任一项所述的方法。
...【技术特征摘要】
1.一种托辊卡阻检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述按照预设温度区间范围将所述热红外视频转换成热红外伪彩视频，包括：
3.根据权利要求1所述的方法，其特征在于，所述托辊卡阻检测模型包括视觉编码器、线性投影层以及大语言模型，所述将所述可见光视频、所述热红外伪彩视频以及所述诊断需求指令输入托辊卡阻检测模型，得到所述待检测托辊的卡阻故障检测结论与维修建议，包括：
4.根据权利要求3所述的方法，其特征在于，所述托辊卡阻检测模型还包括时序池化层以及空间池化层，所述将所述可见光特征图和所述热红外特征图进行融合，得到融合特征图，包括：
5.根据权利要求4所述的方法，其特征在...
【专利技术属性】
技术研发人员：王亚运，宗承治，薛远，聂卫华，
申请(专利权)人：安徽容知日新科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。