【技术实现步骤摘要】
本专利技术涉及的是一种图像处理领域的技术，具体是一种基于人工智能的海洋生物检测与跟踪方法。
技术介绍
1、海洋健康关系到人类社会的可持续发展，需要对海洋生物开展广泛深入的调查与监测。在众多的调查监测方法中，视频采集的调查方法侵害性较小，被广泛的采用。这类调查会产出大量视频数据，过去以人工分析为主。但是传统人工分析耗时长，缺乏相应的评估标准，而且需要一定的专家知识，并不是一个理想的选择。
技术实现思路
1、本专利技术针对现有技术识别种类较少、泛化性能低且难以利用相邻帧之间的信息的不足，提出一种基于人工智能的海洋生物检测与跟踪方法，能够在海洋实拍视频中取得了可以接受的跟踪和识别结果，在单目标跟踪数据集上的指标和多目标跟踪数据集上的召回率均取得较好的效果。
2、本专利技术是通过以下技术方案实现的：
3、本专利技术涉及一种基于人工智能的海洋生物检测与跟踪方法，通过对采集到的包含海洋生物的视频进行预处理后，对预处理后的图像先使用分割一切(sam)大模型进行自动分割，再以yolov8作为判断依据，使用双向传播算法对自动分割结果进一步完善，得到目标框；再基于strongsort++算法对目标框进行跟踪，并使用yolov8对得到的目标进行预分类，最后采用分类网络对预分类结果进一步识别并得到检测结果。
4、所述的预处理，采用以vgg(visual geometry group)为网络骨架的深度网络(water-net)与限制对比度的自适应直方图均衡化(clahe)
5、所述的自动分割是指：使用分割一切大模型，设置合适的参数，对预处理后的每一帧图像，使用该模型的全图分割功能，获取对图中各个物体的分割，同时获得框体和掩码数组。
6、所述的掩码数组在存储时采用存储优化，只存储bbox范围内的数组。
7、所述的双向传播算法是指：在sam模型中自动分割得到的结果，很可能存在部分较小生物只在几帧中被分割到的情况，为了充分利用这几帧的分割结果，通过前向或后向迭代传播的方式利用相邻帧之间的信息，具体为：在前或后向传播中，使用yolov8对全图分割得到的框体进行检测，当框体中出现海洋生物则传入当前方向的下一帧，在下一帧中对传播得到的框体使用sam的框体分割功能进一步分割后，再将分割的结果加入当前帧的结果中，即每一帧的分割结果均经检测后传播入下一帧参与再分割，并作为输出结果。
8、所述的跟踪，具体为：对目标框切分出图像区域，并使用由bot(bag oftricks)策略得到的cnn网络提取特征后，使用strongsort++算法，由图像信息和特征信息，得到优化的跟踪结果。
9、优选地，对跟踪结果进一步进行后处理，具体为：对跟踪结果中轨迹的断开部分使用线性算法填充；对轨迹中连续帧之间图像突变，即iou为0的情况，将轨迹切分为多个轨迹；根据iou判断应该为同一轨迹的多个轨迹，当断开的间隔不长，则进行连接，使用线性算法填充；对不同轨迹中在同一帧的相近框体进行删除，仅保留框体结果在较长的轨迹中；将长度过短、平均尺寸太小或太大的轨迹删除。
10、所述的预分类，通过训练后的yolov8模型剔除误检测的轨迹结果，具体为：使用yolov8模型对各个轨迹的框体分别进行检测，没有检测结果的分为非生物，其余的分为鱼类和棘皮动物类。超过一半框体为非生物的轨迹删去，其余的根据框体类别数量多少，把轨迹分为鱼类或棘皮动物类。
11、所述的分类网络，采用但不限于专为海洋生物训练的鱼类和棘皮动物类分类模型fishai和echoai。
12、本专利技术涉及一种实现上述方法的系统，包括：预处理单元、分割单元、跟踪单元以及识别单元，其中：预处理单元根据输入的视频信息，切分出图像，使用water-net及clahe综合处理，得到更为清晰、便于后续步骤实施的图片结果，分割单元根据预处理的图像信息，进行sam的全图分割处理，再使用双向传播算法优化分割结果，得到较为理想的图像分割，跟踪单元根据分割得到的框体信息，使用strongsort++处理，得到各物体的轨迹结果，识别单元根据轨迹信息，使用yolov8进行预分类，再使用fishai和echoai进行细致分类，得到具体分类结果。
13、技术效果
14、与现有技术在海洋等复杂环境下，对较小物体只在少数几帧中被分割到的情况相比，本专利技术通过双向传播算法，对sam的全图分割结果进行再次关注，在前后帧中传播该区域的信息，结合sam的框体分割，对包含特定生物框体在前后帧中额外关注，通过简单流程实现对希望关注的区域完全覆盖，没有遗漏。对少数几帧中分割到的小物体，经过双向传播后分割效果有所提升的同时，耗时依旧明显低于sam全图分割。
本文档来自技高网...【技术保护点】
1.一种基于人工智能的海洋生物检测与跟踪方法，其特征在于，通过对采集到的包含海洋生物的视频进行预处理后，对预处理后的图像先使用分割一切(SAM)大模型进行自动分割，再以YOLOv8作为判断依据，使用双向传播算法对自动分割结果进一步完善，得到目标框；再基于StrongSORT++算法对目标框进行跟踪，并使用YOLOv8对得到的目标进行预分类，最后采用分类网络对预分类结果进一步识别并得到检测结果。
2.根据权利要求1所述的基于人工智能的海洋生物检测与跟踪方法，其特征是，所述的双向传播算法是指：在SAM模型中自动分割得到的结果，很可能存在部分较小生物只在几帧中被分割到的情况，为了充分利用这几帧的分割结果，通过前向或后向迭代传播的方式利用相邻帧之间的信息，具体为：在前或后向传播中，使用YOLOv8对全图分割得到的框体进行检测，当框体中出现海洋生物则传入当前方向的下一帧，在下一帧中对传播得到的框体使用SAM的框体分割功能进一步分割后，再将分割的结果加入当前帧的结果中，即每一帧的分割结果均经检测后传播入下一帧参与再分割，并作为输出结果。
3.根据权利要求1或2所述的基
4.根据权利要求1或2所述的基于人工智能的海洋生物检测与跟踪方法，其特征是，所述的自动分割是指：使用分割一切大模型，设置合适的参数，对预处理后的每一帧图像，使用该模型的全图分割功能，获取对图中各个物体的分割，同时获得框体和掩码数组。
5.根据权利要求1或2所述的基于人工智能的海洋生物检测与跟踪方法，其特征是，所述的掩码数组在存储时采用存储优化，只存储bbox范围内的数组。
6.根据权利要求1或2所述的基于人工智能的海洋生物检测与跟踪方法，其特征是，所述的跟踪，具体为：对目标框切分出图像区域，并使用由BoT(Bag ofTricks)策略得到的CNN网络提取特征后，使用StrongSORT++算法，由图像信息和特征信息，得到优化的跟踪结果。
7.根据权利要求6所述的基于人工智能的海洋生物检测与跟踪方法，其特征是，对跟踪结果进一步进行后处理，具体为：对跟踪结果中轨迹的断开部分使用线性算法填充；对轨迹中连续帧之间图像突变，即IoU为0的情况，将轨迹切分为多个轨迹；根据IoU判断应该为同一轨迹的多个轨迹，当断开的间隔不长，则进行连接，使用线性算法填充；对不同轨迹中在同一帧的相近框体进行删除，仅保留框体结果在较长的轨迹中；将长度过短、平均尺寸太小或太大的轨迹删除。
8.根据权利要求1或2所述的基于人工智能的海洋生物检测与跟踪方法，其特征是，所述的预分类，通过训练后的YOLOv8模型剔除误检测的轨迹结果，具体为：使用YOLOv8模型对各个轨迹的框体分别进行检测，没有检测结果的分为非生物，其余的分为鱼类和棘皮动物类；超过一半框体为非生物的轨迹删去，其余的根据框体类别数量多少，把轨迹分为鱼类或棘皮动物类。
9.根据权利要求1或2所述的基于人工智能的海洋生物检测与跟踪方法，其特征是，所述的分类网络，采用专为海洋生物训练的鱼类和棘皮动物类分类模型FishAI和EchoAI。
10.一种实现权利要求1-9中任一所述方法的海洋生物检测与跟踪系统，其特征在于，包括：预处理单元、分割单元、跟踪单元以及识别单元，其中：预处理单元根据输入的视频信息，切分出图像，使用water-net及CLAHE综合处理，得到更为清晰、便于后续步骤实施的图片结果，分割单元根据预处理的图像信息，进行SAM的全图分割处理，再使用双向传播算法优化分割结果，得到较为理想的图像分割，跟踪单元根据分割得到的框体信息，使用StrongSORT++处理，得到各物体的轨迹结果，识别单元根据轨迹信息，使用YOLOv8进行预分类，再使用FishAI和EchoAI进行细致分类，得到具体分类结果。
...【技术特征摘要】
1.一种基于人工智能的海洋生物检测与跟踪方法，其特征在于，通过对采集到的包含海洋生物的视频进行预处理后，对预处理后的图像先使用分割一切(sam)大模型进行自动分割，再以yolov8作为判断依据，使用双向传播算法对自动分割结果进一步完善，得到目标框；再基于strongsort++算法对目标框进行跟踪，并使用yolov8对得到的目标进行预分类，最后采用分类网络对预分类结果进一步识别并得到检测结果。
2.根据权利要求1所述的基于人工智能的海洋生物检测与跟踪方法，其特征是，所述的双向传播算法是指：在sam模型中自动分割得到的结果，很可能存在部分较小生物只在几帧中被分割到的情况，为了充分利用这几帧的分割结果，通过前向或后向迭代传播的方式利用相邻帧之间的信息，具体为：在前或后向传播中，使用yolov8对全图分割得到的框体进行检测，当框体中出现海洋生物则传入当前方向的下一帧，在下一帧中对传播得到的框体使用sam的框体分割功能进一步分割后，再将分割的结果加入当前帧的结果中，即每一帧的分割结果均经检测后传播入下一帧参与再分割，并作为输出结果。
3.根据权利要求1或2所述的基于人工智能的海洋生物检测与跟踪方法，其特征是，所述的预处理，采用以vgg(visual geometry group)为网络骨架的深度网络(water-net)与限制对比度的自适应直方图均衡化(clahe)结合的方式，将采集到的包含海洋生物的视频中的原始图像与经过白平衡、直方图均衡化、伽马矫正处理后的图像一起输入深度网络进行增强后，通过clahe对每个区域超过设定阈值的灰度裁剪，将超出的部分基于线性插值的方式分配到区域内其余灰度上，使得灰度分布相对均匀。
4.根据权利要求1或2所述的基于人工智能的海洋生物检测与跟踪方法，其特征是，所述的自动分割是指：使用分割一切大模型，设置合适的参数，对预处理后的每一帧图像，使用该模型的全图分割功能，获取对图中各个物体的分割，同时获得框体和掩码数组。
5.根据权利要求1或2所述的基于人工智能的海洋生物检测与跟踪方法，其特征是，所述的掩码数组在存储时采用存储优化，只存储bbox范围内的数组...
【专利技术属性】
技术研发人员：潘小勇，王昱仁，周鹏，杨旸，沈红斌，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。