一种基于ST-GCN的鱼群摄食强度预测方法技术

本发明专利技术属于鱼类养殖投喂技术领域，公开了一种基于ST

【技术实现步骤摘要】
一种基于ST
‑
GCN的鱼群摄食强度预测方法


[0001]本专利技术属于鱼类养殖投喂
，特别是涉及一种基于ST
‑
GCN的鱼群摄食强度预测方法。

技术介绍

[0002]目前，对鱼类摄食强度评估模型的研究主要分为两个方面：一是采用CNN分类算法对鱼群摄食行为图像进行识别，二是对图像中鱼群个体的行为进行特征提取，然后通过人为设计的摄食强度指数进行评估或者通过svm、lstm等算法进行时间序列预测。CNN分类算法在训练和预测过程中，每一帧图像相互独立，而非一条完整的时间序列，因此，模型只能学习到图像中鱼群空间位置的特征，却忽略了速度、转向角等同样与评估鱼群食欲息息相关的特征，当图像出现昏暗、对比度低，背景环境复杂，光线干扰等情况时，只通过学习图像特征往往难以取得良好的效果。目标检测算法也有很多局限性，由于鱼类养殖池环境往往十分复杂，存在有大量噪声、光线干扰、鱼群堆叠等现象，使得很难得到效果良好的鱼类前景；同时，目标检测算法会通过预处理将图像二值化，导致图像的颜色特征的缺失。除了目标检测算法外，还可以使用centertrack、fairmort等追踪算法对鱼类个体进行跟踪，通过只追踪鱼头的方法，虽然大大减少了鱼群身体遮挡造成的影响，但在高摄食强度的情况下，鱼群剧烈抢食，头部追踪同样无法获得好的效果。此外，与cnn分类算法正好相反的是，目标检测算法结合人为设计评价方式框架和追踪算法结合时序预测算法框架都忽略了图像中鱼群的空间位置信息，而只能学习到提取出的特征值，当不同摄食强度下的特征值差别较小时，算法则无法取得较好的效果。
[0003]因此，亟需提出一种基于时空图卷积神经网络（ST
‑
GCN）的鱼群摄食强度预测方法，对鱼群的摄食行为进行精确分析，提高养殖效益。

技术实现思路

[0004]本专利技术的目的是提供一种基于ST
‑
GCN的鱼群摄食强度预测方法，以解决上述现有技术存在的问题。
[0005]为实现上述目的，本专利技术提供了一种基于ST
‑
GCN的鱼群摄食强度预测方法，包括以下步骤：构建特征提取模型并进行训练，将鱼群摄食行为视频图像输入到训练后的特征提取模型中进行时空特征提取，获得鱼群个体与时间序列一一对应的空间位置信息；获取摄食强度信息，基于所述摄食强度信息为所述空间位置信息做数据标注，获得标注后的空间位置信息；构建初始摄食强度预测模型，基于所述标注后的空间位置信息对所述初始摄食强度预测模型进行训练，获得目标摄食强度预测模型，基于所述目标摄食强度预测模型对鱼群的摄食强度进行预测。
[0006]可选地，对鱼群摄食行为视频图像进行特征提取之前还包括：预设视频长度，将所
述视频图像划分为满足预设视频长度的片段，获得鱼群摄食行为的数据集。
[0007]可选地，对特征提取模型进行训练的过程包括：对所述数据集中的鱼群每个个体的头部进行标注，获得标注后的数据集，并将所述标注后的数据集输入到所述特征提取模型中进行训练。
[0008]可选地，进行时空特征提取的过程包括：截取鱼群中每个个体的头部图像并输入到训练后的特征提取模型中，获得鱼群中每个个体的头部权重；基于所述头部权重，对数据集中的鱼群每个个体的头部进行追踪，获得鱼群中每个个体与时间序列一一对应的空间位置信息。
[0009]可选地，基于所述摄食强度信息为所述空间位置信息做数据标注之前还包括：所述空间位置信息均包括预设数量的按跟踪序号排列的元素，当实际获得的空间位置信息的元素数小于预设数量时，基于数据补全算法自动复制最后一个元素对所述实际获得的空间位置信息进行补充。
[0010]可选地，构建初始摄食强度预测模型的过程包括：将ST
‑
GCN的网络结构修改成八节点边的连接方式，基于修改后的ST
‑
GCN网络构建初始摄食强度预测模型。
[0011]本专利技术的技术效果为：本专利技术的鱼群摄食强度预测方法在获取中、弱摄食强度等级的数据集上提高了鱼群的跟踪准确率，并能够对高摄食等级下的鱼群特征信息的缺失值进行补全，实现了特征增强。
[0012]本专利技术构建的鱼群摄食强度预测模型，在训练模型所需的数据量大大降低，并且对鱼群摄食强度的预测拥有更高的准确率。
附图说明
[0013]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本专利技术实施例中的基于ST
‑
GCN的鱼群摄食强度预测方法流程图；图2为本专利技术实施例中的YOLOv5
‑
deepsort的模型结构示意图；图3为本专利技术实施例中的连续时间序列上鱼群的拓扑图；图4为本专利技术实施例中的鱼群摄食强度预测过程示意图。
具体实施方式
[0014]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0015]需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0016]实施例一如图1
‑
图4所示，本实施例中提供一种基于ST
‑
GCN的鱼群摄食强度预测方法。本实施例的实验系统为一个0.8m*0.8m*0.6m的玻璃缸，图像采集系统由摄像机、光源和数据存储器组成，为避免光线干扰，光源被放置在养殖池底部，由六根LED灯管构成，摄像机被放置
于系统正上方，采集分辨率为1080
×
1920像素，速率为60fps。系统中共养殖鱼8尾，用漂浮颗粒喂养，水温维持在20
‑
25℃之间，实验前，已在系统中进行了为期8周的养殖。
[0017]首先，通过视频采集系统，对鱼群喂食前、喂食中和喂食后的摄食行为进行拍摄，共采集到79500帧长度的视频图像，针对st
‑
gcn的输入方式，将视频分为265个300帧长度的片段，制作出鱼群摄食行为数据集。
[0018]本实施例中，利用YOLOv5
‑
deepsort进行特征提取的工作流程为：使用labelimg对图像中的鱼类头部进行标注，将标注好的数据集输入YOLOv5网络中进行训练，其网络结构获得用于识别鱼类头部的权重；将鱼类头部图像截取并输入到deepsort网络中，训练出用于鱼类头部追踪的权重；将权重输入追踪器中，对视频中的鱼类头部进行追踪，并输出每一个鱼类个体在连续帧中的空间位置。
[0019]YOLOv5
‑
deepsort的模型结构如图2所示，其原理为：（1）将第一帧次检测到的结果创建为对应的轨迹并通过卡尔曼滤波产生下一帧的预测框，此时为不确认态轨迹。（2）将该帧的检测框和上一帧通过预测框一一进行IOU匹配，再通过IOU匹配的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ST
‑
GCN的鱼群摄食强度预测方法，其特征在于，包括以下步骤：构建特征提取模型并进行训练，将鱼群摄食行为视频图像输入到训练后的特征提取模型中进行时空特征提取，获得鱼群个体与时间序列一一对应的空间位置信息；获取摄食强度信息，基于所述摄食强度信息为所述空间位置信息做数据标注，获得标注后的空间位置信息；构建初始摄食强度预测模型，基于所述标注后的空间位置信息对所述初始摄食强度预测模型进行训练，获得目标摄食强度预测模型，基于所述目标摄食强度预测模型对鱼群的摄食强度进行预测。2.根据权利要求1所述的基于ST
‑
GCN的鱼群摄食强度预测方法，其特征在于，对鱼群摄食行为视频图像进行特征提取之前还包括：预设视频长度，将所述视频图像划分为满足预设视频长度的片段，获得鱼群摄食行为的数据集。3.根据权利要求2所述的基于ST
‑
GCN的鱼群摄食强度预测方法，其特征在于，对特征提取模型进行训练的过程包括：对所述数据集中的鱼群每个个体的头部进行标注，获得标注后的数据集，并将所述标注后的数据集输入到所述特征提取模型中进...

【专利技术属性】
技术研发人员：崔鸿武，赵海翔，吴元凯，崔正国，曲克明，
申请(专利权)人：中国水产科学研究院黄海水产研究所，
类型：发明
国别省市：