【技术实现步骤摘要】
本专利技术涉及实操考试识别，尤其涉及一种基于视觉检测的特种作业操作识别方法。
技术介绍
1、特种作业操作资格考试包括安全技术理论考试和实际操作考试两部分。在特种作业人员培训和资格考试中，实际操作（简称为实操）是不可或缺的内容。然而，传统的实操考试方式存在一些问题，其中包括仿真焊接作业实操等科目的模仿不够真实，实操考试内容和智能化评分不完全符合考试标准等，这些问题的存在可能导致考试结果的不准确性和缺乏客观性。
2、为了解决这些问题，基于图像处理和行为识别技术的特种作业ai识别算法被提上日程，旨在提供一种创新的方法来评估特种作业人员在项目实操中的表现。拿特种作业之一的科目熔化焊接举例：通过利用先进的算法和模式识别技术，能够准确地分析焊接过程中的图像数据和作业人员的行为，实现对焊接质量和操作规范的自动检测和评分。相较于传统的实操考试方式，熔化焊接ai评分系统具有更高的仿真度，能够更真实地模拟实际焊接场景。同时，系统的智能化评分能够根据事先设定的考试标准，快速、准确地评估特种作业人员的实操表现，提供更客观和可靠的考试结果。
3、受限于边缘端侧板载ai算力，目前在类似场景中往往采用以yolov1-v9、yolox、pp-picodet等为代表的轻量级目标检测算法，而这些算法往往由特征提取模块(backbone)，特征融合模块(neck)，检测头模块(head)三部分模块依次构成进行推理应用。
4、现有的轻量级检测算法在一些权威基准数据集（例如coco）上，尽管不断取得更好的表现，例如更高的ap值。但是在
5、现有的检测算法中特征提取网络的设计是一种串行的单向设计，特征从底层到高层，不同层之间对特征的捕捉差异很大。在层层卷积之后，可能一些小目标的特征完全消失，导致检测不出来。
6、现有的算法权威对比测试以及设计优化主要基于coco数据集进行实现，而coco数据集的数据特点往往和现实场景中的业务数据有一定的偏差，单纯应用此模式下设计的算法，效果可能不尽人意。
技术实现思路
1、本专利技术主要解决现有的轻量级检测算法在具体的特种作业业务场景下，特征相近的目标检测结果不准确，存在目标误检的问题；提供一种基于视觉检测的特种作业操作识别方法，在标注过程中设计标注框定准则，通过算法自动获取合适的标注信息，针对轻量化特征提取网络的不同特征分支的多尺度融合，保有高分辨率表征的网络分支，可更多保留更细节的特征。
2、本专利技术的上述技术问题主要是通过下述技术方案得以解决的：
3、一种基于视觉检测的特种作业操作识别方法，包括以下步骤：
4、s1：采集特种作业实操视频，抽帧保存图片数据；
5、s2：根据图片数据质量进行筛选，根据设定的标注框定准则对图片数据中的目标自动标定，获取标注信息；
6、s3：设计含有不同尺度的并行分支的特征提取模块，各并行分支的特征图向下减小融合或向上变大融合；
7、s4：根据特征提取模块的输出分别以不同倍率融合特征图，基于融合后的特征图分别下采样生成不同的特征融合输出；
8、s5：将特征提取模块、特征融合模块和检测头模块整合构建特种作业检测算法模型；
9、s6：以步骤s2标定数据训练算法模型，部署训练好的算法模型。
10、本方案在标注过程中设计标注框定准则，通过算法自动获取合适的标注信息，针对轻量化特征提取网络的不同特征分支的多尺度融合，保有高分辨率表征的网络分支，可更多保留更细节的特征。整体网络设计方案，可以对分辨率像素低的目标物体更好地保留其特征，使网络能够对颜色光泽相近的干扰物体更好地区分，可以明显降低误检的概率，较好地解决对应目标识别错误导致的评分错误不合理的问题。另外根据特种作业的数据特点，sodet算法留有了三种不同大小的特征分支，不一味追求增加检测头来增强性能，减小了这部分计算开销。同时检测过程中，效果保持更加稳定。
11、作为优选，所述的特征提取模块包括三个分别捕获不同尺寸大小特征图的并行分支；所述的并行分支根据捕获的特征图尺寸由大到小依次包括第一分支，第二分支和第三分支。
12、第一分支的特征图大小为120*120；第二分支的特征图大小为60*60；第三分支的特征图大小为30*30。
13、作为优选，各并列分支在前向传播过程中，特征图大小不发生变化；捕获特征图尺寸大的分支将特征图降分辨率后传入到捕获特征图尺寸小的分支中融合；捕获特征图尺寸小的分支将特征图升分辨率后传送到捕获特征图尺寸大的分支进行融合。
14、低分辨率（low-resolution）即高层表示（high-level representation）和高分辨率表示（high-resolution representation）互相融合，其分支自始至终都保持高分辨率。
15、作为优选，特征提取模块将向前传播过程划分为三个阶段；降分辨率和升分辨率两个操作能够在同一个阶段同时进行。为了适应边缘端轻量化的需要，对特征提取模块的网络结构进一步精简，设计了三个阶段的来达到精度和效率的平衡。
16、作为优选，在第一阶段中，第一分支中特征图降分辨率后与第二分支中的特征图融合；
17、在第二阶段中，第一分支中的特征图分别降分辨率后与第二分支和第三分支中的特征图融合；第二分支中的特征图降分辨率后与第三分支的特征图融合，第二分支中的特征图升分辨率后与第一分支的特征图融合；
18、在第三阶段中，第一分支和第二分支中的特征图分别降分辨率后与第三分支中的特征图融合；第二分支中的特征图升分辨率后与第一分支中的特征图融合；第三分支中的特征图升分辨率后分别与第一分支和第二分支中的特征图融合。
19、不同尺度的分支之间通过特征图的降分辨率和上采样操作实现信息的交流融合。这种机制有助于不同尺度特征之间的互补，提升模型的表示能力。
20、作为优选，对于特征提取模块中第一分支的输出特征图，以1倍倍率融合；对于特征提取模块中的第二分支的输出特征图，以2倍倍率融合；对于特征提取模块中的第三分支的输出特征图，以4倍倍率融合；基于融合后的特征图分别下采样生成不同的特征融合输出送入检测头模块进行目标定位和分类。
21、经过特征融合导出后的不同尺度特征进一步融合后，输出高分辨率特征，基于此高分辨率特征进行下采样来构建对应不同大小物体的检测头。
22、作为优选，特种作业检测算法模型中的总损失函数包含了分类损失和回归定位损失；其中，检测头分类损失耦合分类预测。
23、检测头分类损失耦合分类预测loss和 quality，进而采用本文档来自技高网...
【技术保护点】
1.一种基于视觉检测的特种作业操作识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于视觉检测的特种作业操作识别方法，其特征在于，所述的特征提取模块包括三个分别捕获不同尺寸大小特征图的并行分支；所述的并行分支根据捕获的特征图尺寸由大到小依次包括第一分支，第二分支和第三分支。
3.根据权利要求1或2所述的一种基于视觉检测的特种作业操作识别方法，其特征在于，各并列分支在前向传播过程中，特征图大小不发生变化；捕获特征图尺寸大的分支将特征图降分辨率后传入到捕获特征图尺寸小的分支中融合；捕获特征图尺寸小的分支将特征图升分辨率后传送到捕获特征图尺寸大的分支进行融合。
4.根据权利要求3所述的一种基于视觉检测的特种作业操作识别方法，其特征在于，特征提取模块将向前传播过程划分为三个阶段；降分辨率和升分辨率两个操作能够在同一个阶段同时进行。
5.根据权利要求4所述的一种基于视觉检测的特种作业操作识别方法，其特征在于，在第一阶段中，第一分支中特征图降分辨率后与第二分支中的特征图融合；
6.根据权利要求1或2或4或5所述的一
7.根据权利要求1所述的一种基于视觉检测的特种作业操作识别方法，其特征在于，特种作业检测算法模型中的总损失函数包含了分类损失和回归定位损失；其中，检测头分类损失耦合分类预测。
8.根据权利要求1或7所述的一种基于视觉检测的特种作业操作识别方法，其特征在于，所述的标注框定准则包括目标框内的不同物体面积保持在设定的误差范围内以及保留区分特征。
9.根据权利要求8所述的一种基于视觉检测的特种作业操作识别方法，其特征在于，实现标注框定准则的过程为：
10.根据权利要求1或7所述的一种基于视觉检测的特种作业操作识别方法，其特征在于，筛选去除目标清晰度低于设定清晰度阈值或图片重复数量大于数量阈值的图片数据。
...【技术特征摘要】
1.一种基于视觉检测的特种作业操作识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于视觉检测的特种作业操作识别方法，其特征在于，所述的特征提取模块包括三个分别捕获不同尺寸大小特征图的并行分支；所述的并行分支根据捕获的特征图尺寸由大到小依次包括第一分支，第二分支和第三分支。
3.根据权利要求1或2所述的一种基于视觉检测的特种作业操作识别方法，其特征在于，各并列分支在前向传播过程中，特征图大小不发生变化；捕获特征图尺寸大的分支将特征图降分辨率后传入到捕获特征图尺寸小的分支中融合；捕获特征图尺寸小的分支将特征图升分辨率后传送到捕获特征图尺寸大的分支进行融合。
4.根据权利要求3所述的一种基于视觉检测的特种作业操作识别方法，其特征在于，特征提取模块将向前传播过程划分为三个阶段；降分辨率和升分辨率两个操作能够在同一个阶段同时进行。
5.根据权利要求4所述的一种基于视觉检测的特种作业操作识别方法，其特征在于，在第一阶段中，第一分支中特征图降分辨率后与第二分支中的特征图融合；
6.根据权利要求1或...
【专利技术属性】
技术研发人员：李跃杰，赵昱哲，李思敏，周柯志，蒲宇，
申请(专利权)人：杭州申邦科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。