【技术实现步骤摘要】
本专利技术属于电力领域与人工智能，具体涉及一种基于混合专家模型的电力现场作业安全检测方法及系统。
技术介绍
1、电力现场作业安全问题在电力行业中占据着至关重要的地位。近年来，随着电力系统规模的不断扩展和运行复杂度的增加，电力现场作业安全事故频发，对人员生命财产安全造成了重大威胁。传统的安全监控措施主要依赖于人工巡检，然而，这种模式存在明显的局限性。人工巡检效率低下，容易受到环境变化和工作疲劳的影响，导致安全隐患的漏检率高，难以满足电力系统日益增长的安全需求。
2、在人工智能技术的推动下，基于图像识别和目标检测的智能安全检测系统逐渐成为电力行业安全监控的重要手段。特别是深度学习模型yolo，因其快速实时的检测能力和对大规模图像数据的处理能力而受到广泛关注。yolo模型通过一次图像扫描即可完成目标检测，极大地提高了检测速度。
3、尽管如此，现有技术在电力现场作业安全检测领域仍面临以下挑战：
4、首先，电力现场作业场景复杂多变，某些特定类型的安全隐患发生的频率较低，难以收集足够多的样本数据用于训练模型。现有目标检测模型在小样本条件下性能不佳，必须在大量样本上训练才能取得良好效果，这在实际应用中带来了数据收集和标注的难题。
5、其次，即使能够收集到一定数量的样本，标注工作也需耗费大量人力和时间，尤其是在电力现场作业中，要求检测模型能够快速识别复杂环境下的安全隐患，而现有模型的实时性往往难以满足。
6、再次，电力现场作业场景中可能出现新的安全隐患，需要及时识别和预警。然而，现有目
7、针对上述挑战，本专利技术提出一种基于多模态大模型的混合专家模型架构的电力现场作业实时安全检测系统，以提升检测的准确性和实时响应能力，同时降低对大量样本数据的依赖，增强模型的泛化能力和适应性，为电力行业提供更加智能、高效的安全监控解决方案。
技术实现思路
1、为了克服现有技术中的问题，本专利技术提出了一种基于混合专家模型的电力现场作业安全检测方法及系统。
2、本专利技术解决上述技术问题的技术方案如下：
3、第一方面，本专利技术提供了一种基于混合专家模型的电力现场作业安全检测方法，包括以下步骤：
4、在训练阶段，通过多模型协同训练，构建针对电力现场作业安全检测不同场景和目标的专家模型集合，其中，所述专家模型集合包括场景分类模型、通用目标检测模型、场景特定的目标检测模型、第一多模态目标检测模型及第二多模态目标检测模型；
5、在检测阶段，若在实时检测模式下，采用两阶段检测机制，先由通用目标检测模型进行快速初步检测返回第一检测结果，所述第一检测结果包括第一检测框及其置信度，将第一检测框的置信度称为第一置信度；将第一置信度与预设的置信度阈值进行比较；若第一置信度高于预设的置信度阈值，则保留高置信度结果；若第一置信度低于预设的置信度阈值，则采用第一多模态目标检测模型进行复检得到复检结果，将所述复检结果与第一检测结果进行合并；整合输出检测结果；
6、在检测阶段，若在非实时检测模式下，采用场景分类模型进行场景分类，得到场景分类结果；根据所述场景分类结果，采用场景特定的目标检测模型进行检测返回第二检测结果，所述第二检测结果包括第二检测框及其置信度，将第二检测框的置信度称为第二置信度，并同时采用通用目标检测模型进行全局检测返回第三检测结果，所述第三检测结果包括第三检测框及其全局置信度；将第二置信度、全局置信度分别与预设的置信度阈值进行比较；若第二置信度或者全局置信度高于预设的置信度阈值，则保留高置信度结果；若第二置信度或者全局置信度低于预设的置信度阈值，视为低置信度目标，则采用第二多模态目标检测模型对低置信度目标进行复检；合并所有模型的检测结果，输出最终检测结果。
7、进一步地，在训练阶段之前，还包括构造多模态数据集，所述多模态数据集包括场景分类数据集和目标检测数据集。
8、进一步地，所述第一多模态目标检测模型用于检测所有场景下的所有标签目标；所述第二多模态目标检测模型用于针对特定场景下的特定标签目标进行检测。
9、进一步地，在检测阶段，若在实时检测模式下，整合输出检测结果，具体包括：在合并过程中，检查检测框的重合度，若重合度大于预设重合度阈值，即对于重合度高且类别相同的框，按照优先级进行保留：
10、第一优先级：第一多模态目标检测模型的复检结果；
11、第二优先级：通用目标检测模型返回的高于预设置信度阈值的第一检测结果；
12、第三优先级：通用目标检测模型返回的低于预设置信度阈值的第一检测结果，但已通过第一多模态目标检测模型复检的除外；
13、合并后的结果中，每个目标只保留一个最优的检测框。
14、进一步地，在检测阶段，若在非实时检测模式下，合并所有模型的检测结果，输出最终检测结果，包括：在合并过程中，检查检测框的重合度，若重合度大于预设重合度阈值，即对于重合度高且类别相同的框，按照优先级进行保留：
15、第一优先级：第二多模态目标检测模型的复检结果；
16、第二优先级：场景特定的目标检测模型及通用目标检测模型返回的高置信度检测结果，所述高置信度检测结果为高于预设置信度阈值的检测结果；
17、第三优先级：场景特定的目标检测模型及通用目标检测模型返回的低置信度结果，所述低置信度检测结果为低于预设置信度阈值的检测结果；但已通过第二多模态目标检测模型复检的除外；
18、合并筛选后的结果中，每个目标只保留一个最优的检测框。
19、进一步地，所述场景分类模型为vlm-classify模型，所述通用目标检测模型为yolo-all模型，所述场景特定的目标检测模型为yolo1-5模型，所述第一多模态目标检测模型为vlm-detection1模型，第二多模态目标检测模型为vlm-detection2模型。
20、第二方面，本专利技术还提供了一种基于混合专家模型的电力现场作业安全检测系统，包括：模型训练单元、实时检测单元及非实时检测单元；
21、所述模型训练单元用于多模态数据集构造及混合专家模型架构的训练评估；
22、所述实时检测单元用于实时状态下的电力现场作业安全检测，输出检测结果；
23、所述非实时检测单元用于非实时状态下的电力现场作业安全检测，输出检测结果。
24、进一步地，所述模型训练单元包括数据集构造模块、提示工程测试模块、场景分类训练模块、目标检测模型训练模块、优化策略应用模块及模型评估模块；
25、所述数据集构造模块用于构造本文档来自技高网...
【技术保护点】
1.一种基于混合专家模型的电力现场作业安全检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于混合专家模型的电力现场作业安全检测方法，其特征在于，在训练阶段之前，还包括构造多模态数据集，所述多模态数据集包括场景分类数据集和目标检测数据集。
3.根据权利要求1所述的一种基于混合专家模型的电力现场作业安全检测方法，其特征在于，所述第一多模态目标检测模型用于检测所有场景下的所有标签目标；所述第二多模态目标检测模型用于针对特定场景下的特定标签目标进行检测。
4.根据权利要求1所述的一种基于混合专家模型的电力现场作业安全检测方法，其特征在于，在检测阶段，若在实时检测模式下，整合输出检测结果，具体包括：在合并过程中，检查检测框的重合度，若重合度大于预设重合度阈值，即对于重合度高且类别相同的框，按照优先级进行保留：
5.根据权利要求1所述的一种基于混合专家模型的电力现场作业安全检测方法，其特征在于，在检测阶段，若在非实时检测模式下，合并所有模型的检测结果，输出最终检测结果，包括：在合并过程中，检查检测框的重合度，若重合度大于预设
6.根据权利要求1所述的一种基于混合专家模型的电力现场作业安全检测方法，其特征在于，所述场景分类模型为VLM-Classify模型，所述通用目标检测模型为YOLO-All模型，所述场景特定的目标检测模型为YOLO1-5模型，所述第一多模态目标检测模型为VLM-Detection1模型，第二多模态目标检测模型为VLM-Detection2模型。
7.一种基于混合专家模型的电力现场作业安全检测系统，其特征在于，包括：模型训练单元、实时检测单元及非实时检测单元；
8.根据权利要求7所述的一种基于混合专家模型的电力现场作业安全检测系统，其特征在于，所述模型训练单元包括数据集构造模块、提示工程测试模块、场景分类训练模块、目标检测模型训练模块、优化策略应用模块及模型评估模块；
9.根据权利要求8所述的一种基于混合专家模型的电力现场作业安全检测系统，其特征在于，所述实时检测单元包括第一图像获取模块、YOLO检测模块、第一检测结果保存模块、第一置信度检查模块、第一VLM复检模块、第一结果合并模块、第一重叠框处理模块及第一输出模块；
10.根据权利要求9所述的一种基于混合专家模型的电力现场作业安全检测系统，其特征在于，所述非实时检测单元，包括第二图像获取模块、场景分类模块、检测模型选择模块、第二检测结果保存模块、第二置信度检查模块、第二VLM复检模块、第二结果合并模块、第二重叠框处理模块及第二输出模块；其中，场景分类模块用于将获取的图像数据输入场景分类进行场景分类；所述检测模型选择模块用于根据场景分类结果选择相应的场景特定的目标检测模型，并同时传入通用目标检测模型进行全局检测；第二检测结果保存模块用于保存场景特定的目标检测模型及通用目标检测模型的检测结果；第二置信度检查模块用于检查每个检测框的置信度，筛选出置信度低于预设的置信度阈值的检测框；第二VLM复检模块用于将低于预设的置信度阈值的检测框输入第二多模态目标检测模型进行复检；第二结果合并模块用于将复检结果与场景特定的目标检测模型及通用目标检测模型的检测结果进行合并；第二重叠框处理模块用于检查合并后检测框的重合度，对重合度高于预设阈值且类别相同的框进行筛选；第二输出模块用于输出经过筛选和合并后的最终检测结果。
...【技术特征摘要】
1.一种基于混合专家模型的电力现场作业安全检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于混合专家模型的电力现场作业安全检测方法，其特征在于，在训练阶段之前，还包括构造多模态数据集，所述多模态数据集包括场景分类数据集和目标检测数据集。
3.根据权利要求1所述的一种基于混合专家模型的电力现场作业安全检测方法，其特征在于，所述第一多模态目标检测模型用于检测所有场景下的所有标签目标；所述第二多模态目标检测模型用于针对特定场景下的特定标签目标进行检测。
4.根据权利要求1所述的一种基于混合专家模型的电力现场作业安全检测方法，其特征在于，在检测阶段，若在实时检测模式下，整合输出检测结果，具体包括：在合并过程中，检查检测框的重合度，若重合度大于预设重合度阈值，即对于重合度高且类别相同的框，按照优先级进行保留：
5.根据权利要求1所述的一种基于混合专家模型的电力现场作业安全检测方法，其特征在于，在检测阶段，若在非实时检测模式下，合并所有模型的检测结果，输出最终检测结果，包括：在合并过程中，检查检测框的重合度，若重合度大于预设重合度阈值，即对于重合度高且类别相同的框，按照优先级进行保留：
6.根据权利要求1所述的一种基于混合专家模型的电力现场作业安全检测方法，其特征在于，所述场景分类模型为vlm-classify模型，所述通用目标检测模型为yolo-all模型，所述场景特定的目标检测模型为yolo1-5模型，所述第一多模态目标检测模型为vlm-detection1模型，第二多模态目标检测模型为vlm-detection2模型。
7.一种基于混合专家模型的电力现场作业安全检测系统，其特征在于，包括...
【专利技术属性】
技术研发人员：卢汉良，时郭庆，李慧霖，闫谷丰，胡电中，杨欣毅，陆永强，仲昭岩，梁洪明，宋晓霞，
申请(专利权)人：烟台海颐软件股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。