基于多模型融合与多参数组合识别非法渔船捕捞的方法技术

本发明专利技术公开一种基于多模型融合与多参数组合识别非法渔船捕捞的方法，步骤S1:训练渔船检测模型、人员检测模型、河面分割模型；步骤S2:送入渔船检测模型、人员检测模型，若同时满足再送入河面分割模型，得到一组拆分事件；步骤S3:根据预设参数集过滤拆分事件，确定渔船目标，否则返回步骤S2；步骤S4:根据渔船捕鱼状态预设条件分析渔船目标，得到有效事件，否则返回步骤S2；步骤S5:根据前后有效事件计算渔船的速度,判断渔船的速度是否大于预设速度，若大于预设速度排除非法捕捞作业，返回步骤S2；步骤S6:以渔船为单位，按渔船分组目标，计算各组目标的综合置信度，若综合置信度高于预设阈值，得到预警事件

【技术实现步骤摘要】
基于多模型融合与多参数组合识别非法渔船捕捞的方法


[0001]本专利技术涉及渔船捕鱼目标跟踪
，特别涉及一种基于多模型融合与多参数组合识别非法渔船捕捞的方法。

技术介绍

[0002]相机视频监控加AI分析在安防、渔政监管、车辆车牌识别等领域中具有广泛的应用，而随着长江流域十年禁渔全面开展，对非法渔船捕捞事件识别更是有着迫切需求。非捕识别多使用AI算法模型实时分析监控视频，但传统模型在实际应用环境中易受到光线、距离、角度、姿态等诸多因素影响。当前对非捕事件识别的难点在于船只形状各异，方位、航行速度随机，且易受货船、客船、航标船、岸线等影响，船上人员数量不一、衣着颜色不同、形态各异、位置变动频繁等，捕捞工具包括鱼竿、抄网等，这些训练素材难收集导致单一模型训练困难、检出事件错误率较高。故提升非捕事件识别精度是当前需要解决的问题。

技术实现思路

[0003]本专利技术的目的是针对现有技术的不足，提供一种基于多模型融合与多参数组合识别非法渔船捕捞的方法，提高非法渔船捕捞事件识别精度、降低误报率，训练素材难收集。
[0004]本专利技术的技术方案是：
[0005]一种基于多模型融合与多参数组合识别非法渔船捕捞的方法，包括：
[0006]步骤S1:训练渔船检测模型、人员检测模型、河面分割模型；
[0007]步骤S2:将相机采集的监控视频图像先送入所述渔船检测模型、所述人员检测模型进行推理，若同时满足渔船、人员再送入所述河面分割模型进行推理，得到一组拆分事件，否则重新采集监控视频图像；
[0008]步骤S3:根据预设参数集过滤所述拆分事件，若满足预设参数，确定渔船目标，否则返回步骤S2；
[0009]步骤S4:根据渔船捕鱼状态预设条件分析所述渔船目标，若满足条件，得到有效事件，否则返回步骤S2；
[0010]步骤S5:根据前后所述有效事件计算渔船的速度,判断所述渔船的速度是否大于预设速度，若大于预设速度排除非法捕捞作业，返回步骤S2；
[0011]步骤S6:根据所述步骤S4中渔船捕鱼状态进行分组，计算各组的综合置信度，若所述综合置信度高于预设阈值，得到预警事件。
[0012]进一步地：还包括步骤S7：将所述预警事件上传到监控平台，并发送预警信息。
[0013]进一步地：步骤S1:训练渔船检测模型、人员检测模型、河面分割模型，包括:
[0014]所述多个目标检测模型为渔船检测模型、人员检测模型，基于YOLOv5训练渔船检测模型、人员检测模型；
[0015]所述实例分割模型为河面分割模型，基于YOLOv5
‑
seg训练河面分割模型。
[0016]进一步地：所述步骤S2:将相机采集的监控视频图像先送入所述多个目标检测模
型进行推理，若同时满足多个目标再送入所述实例分割模型进行推理，得到一组拆分事件；否则重新采集监控视频图像,包括：
[0017]按一定帧率抽取相机实时监控视频图像，并以一定间隔将所述监控视频图像送入所述多个目标检测模型，若同时满足多个目标，再送入所述实例分割模型进行推理，若存在分割结果，得到一组拆分事件，同时保存原始图像；否则重新抽取相机实时监控视频图像。
[0018]进一步地：所述步骤S3:根据预设参数集过滤所述拆分事件，若满足预设参数，确定渔船目标，否则返回步骤S2，包括：
[0019]步骤S3.1：根据获取的相机预置点位、运动状态排除无关区域和模糊的图像：
[0020]所述获取相机预置点位是通过onvif协议获取相机预置点位，排除无关区域；
[0021]所述获取相机运动状态是通过厂家SDK或onvif协议获取相机运动状态；
[0022]步骤S3.2：根据检测时间段预设不同置信度进行过滤，舍去低于置信度的目标，若过滤后渔船、人员和河面均无满足置信度的目标，舍去该事件；
[0023]步骤S3.3：根据预设渔船目标尺寸过滤，若符合预设渔船目标尺寸，确定渔船目标；若渔船目标较小，根据渔船尺寸(w
a
,h
a
)与渔船标准尺寸(w
s
,h
s
)对比获取放大相机倍数所述相机采用联动相机，根据所述放大相机倍数调整所述相机，对所述渔船目标进行3D放大，对于放大后任不符合预设渔船目标尺寸要求的舍去，返回步骤S2重复循环。
[0024]进一步地：所述步骤S3.2：根据检测时间段预设不同置信度进行过滤，还包括，根据不同目标、检测时间段预设不同置信度进行过滤。
[0025]进一步地：所述步骤S4:根据渔船捕鱼状态预设条件分析所述渔船目标，若满足条件，得到有效事件，否则返回步骤S2，包括：
[0026]步骤S4.1：分析所述渔船目标的完整性，取出渔船目标位置信息(x
a
,y
a
,w
a
,h
a
)与目标图像尺寸(w
o
,h
o
)计算出渔船完整性B＝(x
a
＞10&(x
a
+w
a
‑
w
o
)＞10)&(y
a
＞5&(y
a
+h
a
‑
h
o
)＞5)，若B为假，渔船不完整，移除渔船目标；
[0027]步骤S4.2分别计算渔船目标与人员目标、鱼竿目标、抄网目标、拖网目标的交并比排除岸上目标、按渔船分组目标，若交并比小于0.15，舍去事件；
[0028]步骤S4.3使用opencv依次计算渔船目标到河面岸线的距离D，若距离为正数，渔船处于河面上，得到有效事件；否则渔船处于靠岸停泊或岸线以外，返回步骤S2重复循环。
[0029]进一步地：所述步骤S5:根据前后所述有效事件计算渔船的速度,判断所述渔船的速度是否大于预设速度，若大于预设速度排除非法捕捞作业，返回步骤S2，包括：
[0030]以前后帧识别的有效事件计算渔船速度，正常情况下，渔船捕捞作业时移动缓慢或静止，循环比较前后帧有效事件中的渔船目标，设前后帧的渔船目标分别为B、N，计算两者相似度
[0031]S＝1
‑
2*IoU+C+W+H，其中IoU为前后目标交并比、C为置信度差值绝对值C＝|C
B
‑
C
N
|、W,H为宽、高比例差值|、W,H为宽、高比例差值且满足IoU>0.1、C<0.1，W,H<0.15，取S值最小的前后目标计算速度；
[0032][0033]当渔船行驶缓慢且远离岸线符合非法捕捞作业；
[0034]当渔船行驶速度中等，需要持续观察，防止相机抖动带来的计算误差；
[0035]当V＞max(w,h)，渔船快速行驶，排除非法捕捞作业，返回步骤S2循环操作。...

【技术保护点】

【技术特征摘要】
1.一种基于多模型融合与多参数组合识别非法渔船捕捞的方法，其特征在于：步骤S1:训练渔船检测模型、人员检测模型、河面分割模型；步骤S2:将相机采集的监控视频图像先送入所述渔船检测模型、所述人员检测模型进行推理，若同时满足渔船、人员再送入所述河面分割模型进行推理，得到一组拆分事件，否则重新采集监控视频图像；步骤S3:根据预设参数集过滤所述拆分事件，若满足预设参数，确定渔船目标，否则返回步骤S2；步骤S4:根据渔船捕鱼状态预设条件分析所述渔船目标，若满足条件，得到有效事件，否则返回步骤S2；步骤S5:根据前后所述有效事件计算渔船的速度,判断所述渔船的速度是否大于预设速度，若大于预设速度排除非法捕捞作业，返回步骤S2；步骤S6:以渔船为单位，按渔船分组目标，计算各组目标的综合置信度，若所述综合置信度高于预设阈值，得到预警事件。2.据权利要求1所述基于多模型融合与多参数组合识别非法渔船捕捞的方法，其特征在于：还包括步骤S7：将所述预警事件上传到监控平台，并发送预警信息。3.根据权利要求1或2所述基于多模型融合与多参数组合识别非法渔船捕捞的方法，其特征在于：所述步骤S1:训练渔船检测模型、人员检测模型、河面分割模型，包括:基于YOLOv5训练渔船检测模型、人员检测模型；基于YOLOv5
‑
seg训练河面分割模型。4.据权利要求1或2所述基于多模型融合与多参数组合识别非法渔船捕捞的方法，其特征在于：所述步骤S2:将相机采集的监控视频图像先送入所述渔船检测模型、所述人员检测模型进行推理，若同时满足渔船、人员再送入所述河面分割模型进行推理，得到一组拆分事件，否则重新采集监控视频图像,包括：按一定帧率抽取相机实时监控视频图像，并以一定间隔将所述监控视频图像送入所述所述渔船检测模型、所述人员检测模型，若同时满足渔船、人员，再送入所述河面分割模型进行推理，若存在分割结果，得到一组拆分事件，同时保存原始图像；否则重新抽取相机实时监控视频图像。5.权利要求1或2所述基于多模型融合与多参数组合识别非法渔船捕捞的方法，其特征在于：所述步骤S3:根据预设参数集过滤所述拆分事件，若满足预设参数，确定渔船目标，否则返回步骤S2，包括：步骤S3.1：根据获取的相机预置点位、运动状态排除无关区域和模糊的图像：所述获取相机预置点位是通过onvif协议获取相机预置点位，排除无关区域；所述获取相机运动状态是通过厂家SDK或onvif协议获取相机运动状态；步骤S3.2：根据检测时间段预设不同置信度进行过滤，舍去低于置信度的目标，若过滤后渔船、人员和河面均无满足置信度的目标，舍去该事件；步骤S3.3：根据预设渔船目标尺寸过滤，若符合预设渔船目标尺寸，确定渔船目标；若渔船目标较小，根据渔船尺寸(w
a
,h
a
)与渔船标准尺寸(w
s
,h
s
)对比获取放大相机倍数所述相机采用联动相机，根据所述放大相机倍数调整所述相机，对所述渔
船目标进行3D放大，对于放大后任不符合预设渔船目标尺寸要求的舍去，返回步骤S2重复循环。6.据权利要求5所述基于多模型融合与多参数组合识别非法渔船捕捞的方法，其特征在于：所述步骤S3.2：根据检测时间段预设不同置信度进行过滤，还包括，根据不同目标、检测时间段预设不同置信度进行过滤。7.据权利要求1或2所述基于多模型融合与...

【专利技术属性】
技术研发人员：向其权，文坚，邓滔，李小波，叶舟，汤二仁，胡世林，付强，谭丹，徐嘉，杨培源，
申请(专利权)人：重庆比特数图科技有限公司，
类型：发明
国别省市：