一种基于神经网络的近岸海底鱼类检测及跟踪统计方法技术

本发明专利技术公开了一种基于神经网络的近岸海底鱼类检测及跟踪统计方法，本发明专利技术通过对输入的水下实时视频进行FcycleGAN图像迁移处理生成清晰图像，之后输入到基础神经网络Darknet53处理，来提取出视频中鱼的特征，主要包括鱼的形状特征、纹理特征等，检测分支分两阶段检测，最后输出鱼的具体位置和种类，跟踪分支输出鱼质点游动的雅可比矩阵和距离向量、然后将预测的位置的一定范围的鱼类和之前位置的鱼类进行匹配，从而由此得出每张图片中的鱼的位置、类别、编号。编号。编号。

【技术实现步骤摘要】
一种基于神经网络的近岸海底鱼类检测及跟踪统计方法


[0001]本专利技术涉及海底探索、检测领域，具体涉及一种基于神经网络的近岸海底鱼类检测及跟踪统计方法。

技术介绍

[0002]海洋有非常丰富的生物资源；因此，沿海国家正在大力发展海洋牧场，特别是渔业增养殖型海洋牧场。联合国粮食及农业组织，联合国粮农组织记录了2016年海洋牧场的全球食用鱼产量为2870万吨（674亿美元），产量占2016年世界水产养殖总产量的49.5%，当前，近海捕鱼正在被过度开发，水产养殖业也正处于饱和状态；因此，海洋牧场经营被认为是解决渔业资源下降的重要途径，然而，海洋牧场经营也存在一些问题（如过度捕捞、生态系统失衡等），通过加强对水下生物资源的监测，可以根据水下生物资源的变化来控制捕捞的时机和强度，从而解决上述问题，对于海洋牧场来说，实时监测生物数量可以形成科学渔业管理和可持续鱼类生产的保护策略的基础，此外，鱼类资源统计数据有助于研究人员了解物种丰富度，相应的鱼类资源统计数据可以结合当地的海况进行分析，从而确定适合每个物种生存的条件，因此，该技术具有重要的现实意义。
[0003]在过去十年中，渔业管理领域引入了几种跟踪和检测方法，在检测算法中，传统的研究方法是通过融合多传感器和多特征信息提取水下目标的精细特征，例如，Ishibashi等人利用光学传感器获取水下目标的特定图像，Saini和Biswas通过使用自适应阈值检测边缘来检测目标，目前主流的方法是使用水下摄像机捕捉物体，深度学习算法提取特征，Faster
‑
RCNN和Resnet等深度学习算法已应用于水下生物识别过程，如海参识别（Xia et al.，2018）和鱼类检测算法（CN202010003815.0），这种检测算法的主要问题是无法识别两帧中的鱼是否是同一动物；因此，需要一个跟踪模型，在跟踪算法中，传统的滤波方法，如粒子滤波、光流法和目标分割，是主要的方法，它们主要是在受控条件下进行测试，如在一个受限的实验室环境中，例如，Chuang利用对象分割和对象高度块体立体匹配来跟踪鱼，该方法将鱼分成多个部分进行匹配，忽略了鱼的整体特征，Sun提出了一种具有多个静态摄像机和重叠视场的水下监视系统的一致鱼类跟踪策略。采用加速鲁棒特征技术和质心坐标同形映射技术捕获鱼类，然而，这种方法不能识别鱼的种类，Romero
‑
Ferrero提出了一种自动方法，以跟踪小或大的无标记动物群体中的所有个体，他们的算法对100人以下的群体具有很高的准确率；然而，这种方法必须在理想的实验室环境中执行，Meng
‑
Che提出了一种鱼类分割与跟踪算法，该算法通过对双局部阈值图像采用直方图反投影的方法，克服了对比度低的问题，保证了鱼类形状边界的精确分割，然而，使用这种方法，鱼的突然移动可能会导致跟踪失败，此外，该算法过于复杂，难以实现实时跟踪。
[0004]近年来，人们提出了几种利用机器视觉技术跟踪鱼类丰度和实现鱼类种群自动计数的方法，例如，Song等人（2020）提出了一种基于混合神经网络模型的鱼类自动计数方法，以实现远洋鲑鱼养殖中实时、准确、客观、无损的鱼类种群计数，其采用多列卷积神经网络作为前端，捕捉不同感受野的特征信息，同时，后端采用更宽更深的扩张型卷积神经网络，
以减少网络传输过程中空间结构信息的损失。最后，构建了混合神经网络模型，然而，这种方法的主要局限性是将鱼视为颗粒，不能对鱼的类型进行分类，Marini等人（2018）开发了一种基于遗传规划的基于内容的图像分析方法，然而，当大量鱼类聚集在摄像机前时，拥挤的场景限制了识别效率，当这些聚集特别密集时，个体通常会相互重叠，这增加了假阴性率。目前的现有技术是针对水下鱼类图像分类和识别，它们存在的问题在于该类方法不利于鱼群的数量统计，会产生严重误差，比如当鱼游出镜头再重新游入时，无法分辨是否和之前识别的鱼是同一条鱼，由此在数量统计时就会出现冗余误差。而Li (2021)提出了针对近岸海底鱼类检测和跟踪方法专利，实现了水下一种新的双分支检测跟踪算法，但是在实现追踪时依赖于粒子滤波的迭代器预测方向，其中粒子滤波器的迭代方程采用的是简单非线性方程，对于鱼这种非刚性生物来说，较难拟合鱼复杂的行为模式，从而造成了较大误差，而本专利首先实现了检测识别和跟踪算法的融合，可以追踪每条鱼的轨迹变化，从而减小了数量统计误差，其次采用神经网络的拟合能力实时学习鱼群轨迹行为，预测的方向和距离向量每次都会迭代改变，从而提高了模型的跟踪性能。

技术实现思路

[0005]本专利技术的目的在于，涉及现实海洋牧场恶劣环境中有问题的场景和实际困难，解决多类多目标实时跟踪问题以及水下浑浊度较高难识别的问题，保持较高准确率的同时，完成实时性要求，将目标检测和目标跟踪整合到一起。
[0006]为实现上述目的，本专利技术提供一种基于神经网络的近岸海底鱼类检测及跟踪统计方法包括：步骤1：获取鱼类水下实时视频，将所述水下实时视频分解为包括海底鱼类的鱼类图像，对所述鱼类图像进行预处理，将所述鱼类图像由原始尺寸切割到指定尺寸，汇总得到数据集，运用无监督图像分割算法对水下图像信息进行图像分割，生成标签列，通过FcycleGAN神经网络对所述水下图像信息与所述标签列进行训练，获得清晰图像，所述标签列是作为类别的辅助信息帮助训练；步骤2：搭建FDT神经网络结构，根据神经网络Darknet53，运用基于深度学习的并行双分支结构，提取鱼类特征图，对不同尺度的所述鱼类特征图应用金字塔方式进行融合，得到最终特征图；步骤3：根据鱼的类型划分为无鳍品种和有鳍品种，检测过程分为两阶段检测，第一阶段对所述鱼类特征图进行建模并进行非线性变化处理，若为无鳍品种，则输出所述清晰图像中鱼的位置和种类，所得结果用于直接用于最后处理，若为有鳍品种，则进入第二阶段进行图像矫正，输入所述鱼类特征图，拟合所述有鳍品种鳍的纹理向量、鳍的相对位置向量和鳍的数量向量，分析汇总后输出所述有鳍品种具体种类；步骤4：跟踪过程将所述检测过程中上一帧检测出的带有鱼的框的中心点作为每条鱼的质点，通过所述神经网络Darknet53得到每个所述质点的雅可比矩阵和距离向量，将所述雅可比矩阵和所述距离向量代入泰勒公式，得到计算下一帧游动的位置点，通过对所述位置点附近的检测框应用欧式距离公式，判断所述位置点与所述检测框位置关系，得到所述检测框得分数值，对所述得分数值进行排列，筛选并获得所述得分数值小于预设阈值的鱼的ID；
步骤5：将近岸海底鱼类检测及跟踪结果汇总并显示，将所述检测过程和所述跟踪过程得到的信息进行综合处理得出最终输出结果，并对所述最终输出结果进行在线检测跟踪。
[0007]根据本专利技术的一个方面，所述第一阶段进一步包括：所述第一阶段主要依据鱼的整体纹理信息和鱼鳞形状信息等总体信息来区分不同种类的鱼类，并定位其位置坐标。
[0008]根据本专利技术的一个方面，所述雅可比矩阵和所述距离向量包括：所述雅可比矩阵为2*2的矩阵形式，预测下一帧鱼游动的方向，所述距离向量是2*1向量，预测下一帧鱼向x、y方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，包括：步骤1：获取鱼类水下实时视频，将所述水下实时视频分解为包括海底鱼类的鱼类图像，对所述鱼类图像进行预处理，将所述鱼类图像由原始尺寸切割到指定尺寸，汇总得到数据集，运用无监督图像分割算法对水下图像信息进行图像分割，生成标签列，通过FcycleGAN神经网络对所述水下图像信息与所述标签列进行训练，获得清晰图像，所述标签列是作为类别的辅助信息帮助训练；步骤2：搭建FDT神经网络结构，根据神经网络Darknet53，运用基于深度学习的并行双分支结构，提取鱼类特征图，对不同尺度的所述鱼类特征图应用金字塔方式进行融合，得到最终特征图；步骤3：根据鱼的类型划分为无鳍品种和有鳍品种，检测过程分为两阶段检测，第一阶段对所述鱼类特征图进行建模并进行非线性变化处理，若为无鳍品种，则输出所述清晰图像中鱼的位置和种类，所得结果用于直接用于最后处理，若为有鳍品种，则进入第二阶段进行图像矫正，输入所述鱼类特征图，拟合所述有鳍品种鳍的纹理向量、鳍的相对位置向量和鳍的数量向量，分析汇总后输出所述有鳍品种具体种类；步骤4：跟踪过程将所述检测过程中上一帧检测出的带有鱼的框的中心点作为每条鱼的质点，通过所述神经网络Darknet53得到每个所述质点的雅可比矩阵和距离向量，将所述雅可比矩阵和所述距离向量代入泰勒公式，得到计算下一帧游动的位置点，通过对所述位置点附近的检测框应用欧式距离公式，判断所述位置点与所述检测框位置关系，得到所述检测框得分数值，对所述得分数值进行排列，筛选并获得所述得分数值小于预设阈值的鱼的ID；步骤5：将近岸海底鱼类检测及跟踪结果汇总并显示，将所述检测过程和所述跟踪过程得到的信息进行综合处理得出最终输出结果，并对所述最终输出结果进行在线检测跟踪。2.根据权利要求1所述基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，在步骤3中所述第一阶段进一步包括：所述第一阶段主要依据鱼的整体纹理信息和鱼鳞形状信息等总体信息来区分不同种类的鱼类，并定位其位置坐标。3.根据权利要求1所述基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，在步骤4中所述雅可比矩阵和所述距离向量包括：所述雅可比矩阵为2*2的矩阵形式，预测下一帧鱼游动的方向，所述距离向量是2*1向量，预测下一帧鱼向x、y方向游动的距离。4.根据权利要求1所述基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，在步骤1中所述预处理的方法为：以所述鱼类图像最长边作为参考边计算缩放因子，通过双线性插值将所述鱼类图像缩放至608
×
342，对所述鱼类图像的上下边进行零填充，得到裁剪后指定尺寸为608
×
608的所述鱼类图像。5.根据权利要求1所述基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，在步骤1中所述无监督图像分割算法为：将所述数据集放入8层神经网络中迭代20次，每次迭代从鱼类特征中选取较大者作为聚类标签，进行聚类后，统计每个聚类中出现次数最...

【专利技术属性】
技术研发人员：李培良，刘韬，顾艳镇，刘浩杨，李琳，
申请(专利权)人：浙江大学，
类型：发明
国别省市：