基于机器视觉的紫红火口鱼产卵行为预测系统及方法技术方案

基于机器视觉的紫红火口鱼产卵行为预测系统及方法，包括：图像收集模块，获取紫红火口鱼视频图像；图像处理模块，用于视频图像进行处理并构建紫红火口鱼图像数据集；目标检测单元，用于紫红火口鱼图像数据集进行训练；目标追踪单元，用于对紫红火口鱼进行目标追踪，得到紫红火口鱼的游动轨迹；颜色识别单元，用于对紫红火口鱼的体色进行提取并对比。本发明专利技术根据紫红火口鱼即将产卵前的行为，通过非接触式检测来预测紫红火口鱼的产卵时间，为养殖人员带来便利，省时省力。省时省力。省时省力。

【技术实现步骤摘要】
基于机器视觉的紫红火口鱼产卵行为预测系统及方法


[0001]本专利技术涉及紫红火口鱼养殖
，具体涉及一种基于机器视觉的紫红火口鱼产卵 行为预测系统及方法。

技术介绍

[0002]为了提高紫红火口鱼卵孵化率，需要将刚产出的紫红火口鱼卵进行人工隔离和培育。 紫红火口鱼有口孵鱼卵的习性，为避免雌鱼将鱼卵含在口中，降低鱼卵的成活率，需在雌 鱼排完卵后立即将鱼卵收集起来。同时，许多企业为了培养优质紫红火口鱼苗，需在雌鱼 刚产完卵后对鱼卵进行收集筛选。为了把握紫红火口鱼产卵的时机，需要依靠人工观察， 费时费力。

技术实现思路

[0003]本专利技术所要解决的技术问题是提供一种基于机器视觉的紫红火口鱼产卵行为预测系 统及方法，根据紫红火口鱼即将产卵前的行为，通过非接触式检测来预测紫红火口鱼的产 卵时间，为养殖人员带来便利，省时省力。
[0004]本专利技术采取的技术方案为：
[0005]基于机器视觉的紫红火口鱼产卵行为预测系统，该系统包括：
[0006]图像收集模块，获取紫红火口鱼视频图像；
[0007]图像处理模块，用于视频图像进行处理并构建紫红火口鱼图像数据集；
[0008]目标检测单元，用于紫红火口鱼图像数据集进行训练；
[0009]目标追踪单元，用于对紫红火口鱼进行目标追踪，得到紫红火口鱼的游动轨迹；
[0010]颜色识别单元，用于对紫红火口鱼的体色进行提取并对比。
[0011]所述图像收集模块，通过高清摄像机对紫红火口鱼所在水箱进行拍摄，得到紫红火口鱼的 视频图像的原始数据集。
[0012]所述图像处理模块，对视频图像的原始数据集进行分帧处理，得到紫红火口鱼图像；对紫 红火口鱼图像进行预处理，包括水平翻转，上下翻转，以及马赛克处理扩展数据图片；用 预处理后的图像，构建紫红火口鱼图像数据集。
[0013]所述目标检测单元，采用轻量化网络Mobilenetv3系列代替yolov4特征提取网络 CSPdarknet53，将yolov4所有卷积全部替换成深度可分离卷积，得到轻量化网络Mobilenetv3
‑
yolov4；
[0014]在轻量化网络Mobilenetv3
‑
yolov4中加入CBAM注意力机制，使用Mobilenetv3
‑
yolov4对 紫红火口鱼图像数据集进行训练。
[0015]所述目标追踪单元，将图像数据集以紫红火口鱼不同姿态与游向进行分类，重训练deepsort 中的REID，得到紫红火口鱼的深度特征；使用Mobilenetv3
‑
yolov4和deepsort完成对紫红 火口鱼的追踪，得到紫红火口鱼的游动轨迹。
[0016]所述颜色识别单元，提取紫红火口鱼正常行为体色与产卵前体色，并进行体色对
比。 基于机器视觉的紫红火口鱼产卵行为预测方法，包括以下步骤：
[0017]步骤1：通过图像收集模块获取紫红火口鱼视频图像，并通过图像处理模块对视频图像进 行处理，构建紫红火口鱼图像数据集；
[0018]步骤2：使用构建的紫红火口鱼图像数据集，对图像处理模块中的目标检测单元 Mobilenetv3
‑
yolov4进行训练；
[0019]步骤3：通过图像处理模块中的目标追踪单元Mobilenetv3
‑
yolov4+deepsort完成对紫红 火口鱼的目标追踪；
[0020]步骤4：通过图像处理模块中的颜色识别单元HSV对紫红火口鱼体色进行提取。
[0021]所述步骤1包括以下步骤：
[0022]S1.1:首先通过海康威视CCD高清摄像机(DS
‑
2CD6233F
‑
SDI),对紫红火口鱼所在水箱进 行拍摄；
[0023]S1.2:将拍摄的视频图像进行分帧处理，得到紫红火口鱼图像；
[0024]S1.3:对紫红火口鱼图像进行预处理，对采集的紫红火口图像进行水平翻转，上下翻转， 以及马赛克处理扩展数据图片，并进行图像增强，用处理后的图像，构建紫红火口鱼图像 数据集。
[0025]所述步骤2包括以下步骤：
[0026]S2.1:通过轻量化网络Mobilenetv3系列代替yolov4特征提取网络CSPdarknet53，将 yolov4所有卷积全部替换成深度可分离卷积(DW卷积)，得到轻量化网络 Mobilenetv3
‑
yolov4；
[0027]S2.2:在轻量化网络Mobilenetv3
‑
yolov4中加入CBAM注意力机制；
[0028]S2.3:使用Mobilenetv3
‑
yolov4对紫红火口鱼图像数据集进行训练。
[0029]所述步骤3包括以下步骤：
[0030]S3.1:将紫红火口鱼图像数据集以紫红火口鱼不同姿态与游向进行分类；
[0031]S3.2:重训练deepsort中的REID，得到紫红火口鱼的深度特征；
[0032]S3.3:使用Mobilenetv3
‑
yolov4+deepsort完成对紫红火口鱼的追踪，得到紫红火口鱼游 动轨迹；在产卵板设置撞线计数，记录紫红火口鱼在产卵区域来回游动次数。
[0033]所述步骤4包括以下步骤：
[0034]S4.1:通过yolov4目标检测单元完成对紫红火口鱼的目标检测；
[0035]S4.2:然后通过HSV提取紫红火口鱼正常行为体色与产卵前体色，并进行体色对比。
[0036]本专利技术一种基于机器视觉的紫红火口鱼产卵行为预测系统及方法，技术效果如下：
[0037]1)本专利技术通过步骤一，能够提高样本数量、质量，提高模型训练效果，增加模型泛化抗 干扰能力
[0038]2)本专利技术步骤二中，轻量化网络提高检测速度，减少模型内存占比，方便模型部署，同 时增加CBAM注意力机制提高模型检测精度。
[0039]3)本专利技术步骤三中，重训练REID能够改善遮挡情况下目标追踪效果，同时减少目标ID 跳变问题。
附图说明
[0040]图1为正对着水箱拍摄的产卵板图。
[0041]图2为Mobilenetv3整体结构示意图。
[0042]图3为CBAM注意力机制实现示意图。
[0043]图4为通道注意力机制图。
[0044]图5为空间注意力机制图。
[0045]图6为象棋棋盘图。
[0046]图7为本专利技术实施例流程示意图。
[0047]图8为加入了CBAM注意力机制的Mobilenetv3
‑
yolov4示意图。
[0048]图9为紫红火口鱼在产卵区域来回游动次数追踪示意图。
具体实施方式
[0049]基于机器视觉的紫红火口鱼产卵行为预测系统，通过海康威视CCD高清摄像机 DS
...

【技术保护点】

【技术特征摘要】
1.基于机器视觉的紫红火口鱼产卵行为预测系统，其特征在于该系统包括：图像收集模块，获取紫红火口鱼视频图像；图像处理模块，用于视频图像进行处理并构建紫红火口鱼图像数据集；目标检测单元，用于紫红火口鱼图像数据集进行训练；目标追踪单元，用于对紫红火口鱼进行目标追踪，得到紫红火口鱼的游动轨迹；颜色识别单元，用于对紫红火口鱼的体色进行提取并对比。2.根据权利要求1所述基于机器视觉的紫红火口鱼产卵行为预测系统，其特征在于：所述目标检测单元，采用轻量化网络Mobilenetv3系列代替yolov4特征提取网络CSPdarknet53，将yolov4所有卷积全部替换成深度可分离卷积，得到轻量化网络Mobilenetv3
‑
yolov4；在轻量化网络Mobilenetv3
‑
yolov4中加入CBAM注意力机制，使用Mobilenetv3
‑
yolov4对紫红火口鱼图像数据集进行训练。3.根据权利要求1所述基于机器视觉的紫红火口鱼产卵行为预测系统，其特征在于：所述目标追踪单元，将图像数据集以紫红火口鱼不同姿态与游向进行分类，重训练deepsort中的REID，得到紫红火口鱼的深度特征；使用Mobilenetv3
‑
yolov4和deepsort完成对紫红火口鱼的追踪，得到紫红火口鱼的游动轨迹。4.根据权利要求1所述基于机器视觉的紫红火口鱼产卵行为预测系统，其特征在于：所述颜色识别单元，提取紫红火口鱼正常行为体色与产卵前体色，并进行体色对比。5.基于机器视觉的紫红火口鱼产卵行为预测方法，其特征在于包括以下步骤：步骤1:通过图像收集模块获取紫红火口鱼视频图像，并通过图像处理模块对视频图像进行处理，构建紫红火口鱼图像数据集；步骤2:使用构建的紫红火口鱼图像数据集，对图像处理模块中的目标检测单元Mobilenetv3
‑
yolov4进行训练；步骤3:通过图像处理模块中的目标追踪单元Mobilenetv3
‑
yolov4+deepsort完成对紫红火口鱼的目标追踪；步骤4:通过图像处理模块中的颜色识别单元HSV对紫红火口鱼体色进行提取。6.根据权利要求5所述基于机器视觉的紫红火口鱼产卵行为预测方法，其特征在于：所述步骤1包括以下步骤：S1.1:首先通过CCD高清摄像机，对紫红火口鱼所在水箱进行拍摄；S1.2:将拍摄的视频图像进行分帧处理，得到紫红火口鱼图像；S1.3:对紫红火口鱼图像进行预处理，对采集的紫红火口图像进行水平翻转，上下翻转，以及马赛克处理扩展数据图片，并进行图像增强，用处理后的图像，构建紫红火口鱼图像数据集。7.根据权利要求5所述基于机器视觉的紫红火口鱼产卵行为预测方法，其特征在于：所述步骤2包括以下步...

【专利技术属性】
技术研发人员：李路，宋均琦，周玉凡，刘海德，吴奇，朱明，谭鹤群，万鹏，
申请(专利权)人：华中农业大学，
类型：发明
国别省市：