一种基于强化学习和可形变Transformer的钓鱼危险行为管控方法技术

一种基于强化学习和可形变Transformer的钓鱼危险行为管控方法，属于危险行为管控技术领域，解决针对体积小的细长鱼竿检测效果不准确问题；本发明专利技术通过基于强化学习的样本适应度评估模型为每个训练样本进行适应度评估，并挑选适应度高的样本送入可形变Transformer鱼竿检测模型进行训练，再通过可形变Transformer鱼竿检测模型提取细长物体的多尺度空间特征进行鱼竿检测，最后通过最大熵的强化学习算法更新基于强化学习的样本适应度评估模型，从而提升模型的检测精度；本发明专利技术的方法能有效提取鱼竿的细长结构特征，提高了模型识别细长特征的能力，能够实现高电压环境中危险行为的检测，保障高电压环境中人员安全。保障高电压环境中人员安全。保障高电压环境中人员安全。

【技术实现步骤摘要】
一种基于强化学习和可形变Transformer的钓鱼危险行为管控方法


[0001]本专利技术属于危险行为管控
，涉及一种基于强化学习和可形变Transformer的钓鱼危险行为管控方法。

技术介绍

[0002]随着电力系统的建设，高压电线在人们的日常生活中随处可见。但是，高压电给人们带来便利的同时也带来了危险。尽管在高压环境中有各种警告的标识，但是由于人们的疏忽，近几年来仍有安全事故发生。探究触电的原因，往往是发生在进入高压环境中人员的危险行为导致的，如接触高压电线或通过导体误触高压线等。因此，需要对进入高电压环境中的人员的潜在危险行为进行监控。其中，因为在高电压附近钓鱼时鱼竿接触高压线所导致的触电危险频频发生。针对触电行为进行分析，大部分钓鱼爱好者在抬杆或者甩杆的时候最容易引发触电危险。所以，为有效防止钓鱼爱好者发生触电，需要对进入高电压环境中的人员进行危险行为检测，并在检测到危险行为时及时发出警告。因此，一种能够实时检测并做出判断的危险行为管控算法具有重要意义。
[0003]随着计算机的发展，计算机视觉的应用使得这一问题得到解决，它使用各种成像系统取代视觉器官作为输入，并使用计算机取代大脑通过使用目标检测等措施来完成处理和判断。目标检测作为计算机视觉的一项基础性任务，近年来得到了广泛的研究关注。2021年12月公开的文献《基于改进Mask R
‑
CNN的输电线路防外破目标检测方法研究》(电力系统保护与控制，魏贤哲等)通过检测入侵高压架空输电线路监控区域的危险因素；但是该文献采用的算法存在检测速度慢的问题，不适合高电压环境危险行为识别过程中的实时检测。2022年12月公开的文献《Detection of Transmission Line Insulator Defects Based on an Improved Lightweight YOLOv4 Model》(Applied Sciences，Qiu Z,Zhu X,Liao C,et al.)提出一种改进轻量化YOLOv4模型，应用到输电线路绝缘子缺陷检测，提高了检测的精度和速度。但是由于网络模型的局限性，针对分辨率低、体积小的细长物体结构检测效果并不理想。因此，需要一种能够针对鱼竿这种具有细长结构特征物体的检测方法。
[0004]本文致力于研究鱼竿这种细长结构物体检测问题，从学术研究的角度来看，细长物体的独特特性带来了特殊的挑战，从而产生了具有科学价值的研究课题。从应用的角度来看，一旦细长的物体能够得到很好的处理，物体检测系统的实用性就会变得更高。2020年11月年公开的文献《End
‑
to
‑
end Lane Shape Prediction with Transformers》(Workshop on Applications of Computer Vision，IEEE，Liu R,Yuan Z,Liu T,et al)提出了一种空间结构的深度卷积神经网络(Spatial CNN,SCNN)，这种SCNN特别适用于长的连续形状结构或大型物体，空间关系强但外观线索较少，如车道、电线杆和墙壁，也可以有效地保持细长结构的连续性。2017年12月公开的文献《Spatial As Deep:Spatial CNN for Traffic Scene Understanding》(Pan X,Shi J,Luo P,et al.)通过将Transformer应用到车道线这种具有细长结构物体的特征提取，提出了一种端到端的方法，该方法直接输出具有车道形
状模型的参数，使用Transformer构建的网络来学习更丰富的结构和全局环境。但是，车道线的颜色特征明显，与背景差异较大。申请公布号为CN114821368A、申请公布日为2022年7月29日的中国专利技术专利申请《一种基于强化学习和Transformer的电力缺陷检测方法》提出了基于空洞卷积的特征提取模块，提高了对小目标的感知能力。但是，基于空洞卷积的特征提取模块并不适用于鱼竿的狭长特征提取；此外，对比文件针对电力巡航图像中无关背景信息在检测中占用了大量计算资源的问题，采用了基于DQN的强化学习算法，减少无关背景信息在Transformer网络中的计算比重，从而降低了无关信息对最终检测结果的影响。
[0005]综上所述，钓鱼场景下的危险行为检测首要的检测目标就是鱼竿，针对鱼竿这种具有细长结构特征的目标，且与水草和池塘等背景信息差异性较小，导致现有网络在鱼竿检测任务中的表现效果一般，从而容易形成漏检，难以满足高电压环境中钓鱼人员的安全防护要求。现有方法大多都是通过模型直接在大量的数据集上进行训练，但是并非所有数据样本都对该模型有用，例如顺坏样本或者特征少的样本就会导致模型的效果变差，因此挑选出可靠性高的样本进行训练会提高模型的识别效果。因此，需要一种能够准确检测鱼竿目标的危险行为管控方法。

技术实现思路

[0006]本专利技术的目的在于设计一种基于强化学习和可形变Transformer的钓鱼危险行为管控方法，以解决现有技术针对体积小的细长鱼竿检测效果不准确的问题。
[0007]本专利技术是通过以下技术方案解决上述技术问题的：
[0008]一种基于强化学习和可形变Transformer的钓鱼危险行为管控方法，包括以下步骤：
[0009]S1、获取危险行为管控数据集，通过人工标注后，按照一定的比例划分为危险行为管控训练集、危险行为管控验证集和危险行为管控测试集；
[0010]S2、构建用于检测鱼竿的可形变Transformer网络鱼竿检测模型以及用于评估训练样本适应度的基于强化学习的样本适应度评估模型；
[0011]S3、初始化基于强化学习的样本适应度评估模型，并将危险行为管控训练集通过基于强化学习的样本适应度评估模型进行样本适应度评估；
[0012]S4、将采样后的训练样本集送入可形变Transformer网络鱼竿检测模型中进行训练，并通过危险行为管控验证集进行性能评估，从而得到训练后的可形变Transformer网络鱼竿检测模型，并将训练后的可形变Transformer网络鱼竿检测模型在危险行为管控验证集上进行性能评估；
[0013]S5、通过最大熵的强化学习算法更新基于强化学习的样本适应度评估模型，更新迭代次数达到所设阈值时，保存可形变Transformer网络鱼竿检测模型参数，用于进行危险行为识别。
[0014]进一步地，步骤S2中所述的可形变Transformer网络鱼竿检测模型包括：多尺度空间深度卷积模块、可形变Transformer编码器、可形变Transformer解码器、前馈网络；所述的多尺度空间深度卷积模块包括：ResNet
‑
50、SCNN网络、可控方向滤波器；可形变Transformer网络鱼竿检测模型的运行机制如下：将基于强化学习的样本适应度评估模型输出的鱼竿检测模型训练的样本ResNet
‑
50中提取多尺度特征，得到多尺度特征图，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习和可形变Transformer的钓鱼危险行为管控方法，其特征在于，包括以下步骤：S1、获取危险行为管控数据集，通过人工标注后，按照一定的比例划分为危险行为管控训练集、危险行为管控验证集和危险行为管控测试集；S2、构建用于检测鱼竿的可形变Transformer网络鱼竿检测模型以及用于评估训练样本适应度的基于强化学习的样本适应度评估模型；S3、初始化基于强化学习的样本适应度评估模型，并将危险行为管控训练集通过基于强化学习的样本适应度评估模型进行样本适应度评估；S4、将采样后的训练样本集送入可形变Transformer网络鱼竿检测模型中进行训练，并通过危险行为管控验证集进行性能评估，从而得到训练后的可形变Transformer网络鱼竿检测模型，并将训练后的可形变Transformer网络鱼竿检测模型在危险行为管控验证集上进行性能评估；S5、通过最大熵的强化学习算法更新基于强化学习的样本适应度评估模型，更新迭代次数达到所设阈值时，保存可形变Transformer网络鱼竿检测模型参数，用于进行危险行为识别。2.根据权利要求1所述的一种基于强化学习和可形变Transformer的钓鱼危险行为管控方法，其特征在于，步骤S2中所述的可形变Transformer网络鱼竿检测模型包括：多尺度空间深度卷积模块、可形变Transformer编码器、可形变Transformer解码器、前馈网络；所述的多尺度空间深度卷积模块包括：ResNet
‑
50、SCNN网络、可控方向滤波器；所述的可形变Transformer网络鱼竿检测模型的运行机制如下：将基于强化学习的样本适应度评估模型输出的鱼竿检测模型训练的样本ResNet
‑
50中提取多尺度特征，得到多尺度特征图，将多尺度特征图通过SCNN网络进行空间深度卷积后，通过可控方向滤波器提取多方向的空间特征，得到多尺度空间特征图；通过可形变Transformer编码器进行编码，得到编码后的特征向量，再送入可形变Transformer解码器中进行解码，得到解码后的特征向量并通过两个前馈网络分别进行分类和坐标框的回归。同时，根据预测坐标框和实际坐标框计算损失更新鱼竿检测模型的参数，并通过验证集上的性能评估结果计算奖励作为基于最大熵的强化学习网络更新参数。3.根据权利要求2所述的一种基于强化学习和可形变Transformer的钓鱼危险行为管控方法，其特征在于，步骤S2中所述的基于强化学习的样本适应度评估模型包括：Actor网络、Critic网络、目标Critic网络、经验池，基于强化学习的样本适应度评估模型的运行机制如下：1)基于线型检测器提取训练样本中含有候选直线特征的特征图s；2)通过Actor网络对每一个训练样本的特征图s进行样本适应度评估，输出选择概率动作a对s所对应的训练样本进行采样，获取具有直线特征信息量的训练样本；3)通过可形变Transformer网络鱼竿检测模型对选取的训练样本进行训练，并在危险行为管控验证集上进行性能评估，得到性能评估结果与之前性能评估结果的移动平均值进行比较，得到性能评估结果变化量并作为奖励r，通过奖励r更新基于最大熵的Actor网络，直至Actor网络能够正确挑选鱼竿检测模型训练的样本，以获得最优检测结果。4.根据权利要求3所述的一种基于强化学习和可形变Transformer的钓鱼危险行为管
控方法，其特征在于，步骤S3中所述的初始化基于强化学习的样本适应度评估模型，并将危险行为管控训练集通过基于强化学习的样本适应度评估模型进行样本适应度评估的方法具体如下：1)初始化Actor网络参数φ、两个Critic网络参数θ1，θ2、两个目标Critic网络参数初始化经验...

【专利技术属性】
技术研发人员：丁立健，杨盛世，李帷韬，孙伟，李奇越，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：