【技术实现步骤摘要】
本专利技术属于深度学习，尤其涉及一种基于双目视觉与深度学习模型的鱼类监测方法。
技术介绍
1、过鱼设施的智能监测有助于提高渔业资源的准确性。现有的过鱼设施运行效果监测方法主要有物理挂牌标记法、声呐法、无线电标记跟踪法、超声波标记跟踪法、应答器标记法、pit射频标记法等方法，然而这些方法难以同时兼顾长时间布置、种类识别、数量统计这三个方面。
2、随着机器视觉与深度学习模型方法的发展，出现了基于yolo模型的鱼类目标识别跟踪算法。但在鱼类进行复杂运动时，会导致该模型丢失鱼类目标。若当同一条鱼再次被此模型识别时，会被模型判定为新的一条鱼。现有的方法识别结果与现实存在较大偏差，因此如何实现对鱼类的精准监测是本领域亟需解决的技术问题。
技术实现思路
1、本专利技术的目的在于提供一种基于双目视觉与深度学习模型的鱼类监测方法，以解决上述技术问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、本专利技术公开一种基于双目视觉与深度学习模型的鱼类监测方法，所述方法包括以下步骤：
4、步骤1、目标区域鱼类影像数据采集：在水下目标区域设置双目高清摄像机，并对双目高清摄像机进行标定，然后采集目标区域鱼类影像数据，并对采集的鱼类影像数据进行计算分析，得到目标区域鱼类的深度信息；
5、步骤2、淡水鱼样本库构建：采集不同种类的淡水鱼在不同水下环境的不同姿态影像作为样本数据，通过目视解译的方式对样本数据进行标注，并采用数据增强方法对样本数据进行扩
6、步骤3、搭建鱼脸鱼尾识别分割模型并训练：基于ms-cnn即多尺度卷积神经网络搭建鱼脸鱼尾识别分割模型，并利用构建的淡水鱼样本库对模型进行训练；
7、步骤4、对目标区域鱼类进行监测：利用训练后的鱼脸鱼尾识别分割模型对目标区域鱼类进行鱼脸、鱼尾分割，得到目标区域鱼类的分割结果，并对鱼的种类进行识别；将目标区域鱼类的分割结果与深度信息进行综合分析，计算目标区域鱼类的身长，并对鱼类运动方向进行监测，输出监测结果。
8、进一步的是，步骤1中所述对双目高清摄像机进行标定的具体过程为：采用主流的方格定标法，使用水下高清摄像机从不同角度，不同方位拍摄准备好的棋盘图20-30张，棋盘图上一个小方格的真实距离是2.7cm，使用双目相机标定工具进行标定，经过对于每张标定影像的误差分析，得到误差不超过0.3个pixel的标定参数，然后使用标定参数完成对水下高清摄像机的标定，使左视图和右视图能使用统一的相机坐标系。
9、进一步的是，步骤1中所述对采集的鱼类影像数据进行计算分析，得到目标区域鱼类的深度信息的具体过程为：利用立体视差原理，根据物体即鱼类在两个图像中的位置差异来计算物体与摄像机之间的距离，即通过测量视差并利用摄像机之间的已知距离，使用三角测量方法来推断目标物体的距离即深度信息，计算公式为：
10、
11、其中，d为目标物体距离；b为双目摄像机基线长；f为双目摄像机的焦距；d目标物体在左右视图视差；
12、d＝xl-xr (2)
13、其中，xl为目标物体在左视觉图上横轴坐标；xr为目标物体在右视觉图上横轴坐标。
14、进一步的是，步骤2中所述不同种类的淡水鱼包括草鱼、鲫鱼、鳙鱼、罗非鱼、黑鱼、青鱼、鲈鱼、鳡鱼、鲟鱼九类淡水鱼。
15、进一步的是，步骤2中所述采用数据增强方法对样本数据进行扩充包括两种方式，第一种是对影像本身进行变化，包括将影像旋转、翻转、缩放、添加随机噪声，得到新样本；第二种是将目标主体部分与其他影像中环境部分进行拼接得到新样本。
16、进一步的是，步骤3中所述鱼脸鱼尾识别分割模型包括backbone、rpn、候选区筛选、fcns分割以及fc layers检测识别五个模块；模型首先通过backbone模块提取鱼类影像中的多尺度特征，backbone模块由5个多尺度残差模块构成，在不同尺度上对鱼类特征进行提取，同时将上一级尺度的特征作为辅助信息与当前尺度的特征进行结合，解决不同尺度间信息冗余问题；之后得到的鱼类外形、水下环境、游动姿态特征图经过rpn模块初步整理预测得到鱼身、鱼脸、鱼尾三种目标候选区；候选区筛选模块将这些候选区通过iou计算比对，筛选出模型检测出的每一条鱼对应的鱼身、鱼脸、鱼尾区域，并通过rol align算法将特征图对应区域对齐为统一尺寸，得到对齐特征；对齐特征经过fcns分割模块对目标区域进行鱼脸、鱼尾分割；经过fc layers检测识别模块对鱼身、鱼脸、鱼尾bbox和鱼的种类进行检测识别。
17、进一步的是，步骤4中所述将目标区域鱼类的分割结果与深度信息进行综合分析，计算目标区域鱼类的身长，并对鱼类运动方向进行监测的具体过程为：在分割出的鱼脸和鱼尾上赋予深度信息，分别将鱼头和鱼尾上的深度信息进行两次3x3的滤波操作；第一次滤波采用3x3中值滤波器，将误差较大的深度信息除去；第二次滤波采用3x3均值滤波器，将深度信息进行平滑处理；
18、得到经过平滑处理后的目标区域鱼类的鱼脸和鱼尾深度信息后，建立几何数学分析模型，将鱼脸和鱼尾区域简化为各自的几何中心，得到鱼脸点p1、鱼尾点p2，则鱼身长l计算公式为：
19、
20、式中，x1、y1、z1为鱼脸点p1的三维坐标；x2、y2、z2为鱼尾点p2的三维坐标；
21、
22、式中，i为影像中的像素点；xi、yi、zi为像素点i的三维坐标；xl为像素点i在左视觉图上横轴坐标；xr为像素点i在右视觉图上横轴坐标；yl为像素点i在左视觉图上纵轴坐标；xo、yo为相机的光心坐标；
23、然后监测鱼类运动方向，鱼朝深处运动代表远离摄像机，通过比较p1点和p2点处的深度信息z1，z2，若z1>z2则表示鱼朝深处运动，z1<z2则反之，同理，通过比较x1和x2，y1和y2判断鱼是朝左朝右、朝上朝下运动。
24、本专利技术的有益效果是：本专利技术所述方法同时结合了机器视觉、测绘科学以及深度学习技术，能够对每一条鱼的鱼脸和鱼尾进行识别分割，并通过双目视觉测距法计算出鱼脸与鱼尾的深度信息，进行综合分析，以此减少鱼类在水下摄像机视野范围中因来回游荡行为而导致目标丢失的现象，提高了传统鱼类资源获取效率，降低了传统鱼类资源监测的成本，解决了现有方法易丢失鱼类目标的难题；并且能够在识别鱼类的同时，估算出鱼类的身长以及在较高自由度上的运动方向，实用性强，易于推广。
25、下面结合附图及具体实施方式对本专利技术作进一步详细说明。
本文档来自技高网...【技术保护点】
1.一种基于双目视觉与深度学习模型的鱼类监测方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于双目视觉与深度学习模型的鱼类监测方法，其特征在于，步骤1中所述对双目高清摄像机进行标定的具体过程为：采用主流的方格定标法，使用水下高清摄像机从不同角度，不同方位拍摄准备好的棋盘图20-30张，棋盘图上一个小方格的真实距离是2.7cm，使用双目相机标定工具进行标定，经过对于每张标定影像的误差分析，得到误差不超过0.3个pixel的标定参数，然后使用标定参数完成对水下高清摄像机的标定，使左视图和右视图能使用统一的相机坐标系。
3.根据权利要求1所述的一种基于双目视觉与深度学习模型的鱼类监测方法，其特征在于，步骤1中所述对采集的鱼类影像数据进行计算分析，得到目标区域鱼类的深度信息的具体过程为：利用立体视差原理，根据物体即鱼类在两个图像中的位置差异来计算物体与摄像机之间的距离，即通过测量视差并利用摄像机之间的已知距离，使用三角测量方法来推断目标物体的距离即深度信息，计算公式为：
4.根据权利要求1所述的一种基于双目视觉与深度学习模型的鱼
5.根据权利要求1所述的一种基于双目视觉与深度学习模型的鱼类监测方法，其特征在于，步骤2中所述采用数据增强方法对样本数据进行扩充包括两种方式，第一种是对影像本身进行变化，包括将影像旋转、翻转、缩放、添加随机噪声，得到新样本；第二种是将目标主体部分与其他影像中环境部分进行拼接得到新样本。
6.根据权利要求1所述的一种基于双目视觉与深度学习模型的鱼类监测方法，其特征在于，步骤3中所述鱼脸鱼尾识别分割模型包括backbone、RPN、候选区筛选、FCNs分割以及FC layers检测识别五个模块；模型首先通过backbone模块提取鱼类影像中的多尺度特征，Backbone模块由5个多尺度残差模块构成，在不同尺度上对鱼类特征进行提取，同时将上一级尺度的特征作为辅助信息与当前尺度的特征进行结合，解决不同尺度间信息冗余问题；之后得到的鱼类外形、水下环境、游动姿态特征图经过RPN模块初步整理预测得到鱼身、鱼脸、鱼尾三种目标候选区；候选区筛选模块将这些候选区通过IOU计算比对，筛选出模型检测出的每一条鱼对应的鱼身、鱼脸、鱼尾区域，并通过Rol Align算法将特征图对应区域对齐为统一尺寸，得到对齐特征；对齐特征经过FCNs分割模块对目标区域进行鱼脸、鱼尾分割；经过FC layers检测识别模块对鱼身、鱼脸、鱼尾bbox和鱼的种类进行检测识别。
7.根据权利要求1所述的一种基于双目视觉与深度学习模型的鱼类监测方法，其特征在于，步骤4中所述将目标区域鱼类的分割结果与深度信息进行综合分析，计算目标区域鱼类的身长，并对鱼类运动方向进行监测的具体过程为：在分割出的鱼脸和鱼尾上赋予深度信息，分别将鱼头和鱼尾上的深度信息进行两次3x3的滤波操作；第一次滤波采用3x3中值滤波器，将误差较大的深度信息除去；第二次滤波采用3x3均值滤波器，将深度信息进行平滑处理；
...【技术特征摘要】
1.一种基于双目视觉与深度学习模型的鱼类监测方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种基于双目视觉与深度学习模型的鱼类监测方法，其特征在于，步骤1中所述对双目高清摄像机进行标定的具体过程为：采用主流的方格定标法，使用水下高清摄像机从不同角度，不同方位拍摄准备好的棋盘图20-30张，棋盘图上一个小方格的真实距离是2.7cm，使用双目相机标定工具进行标定，经过对于每张标定影像的误差分析，得到误差不超过0.3个pixel的标定参数，然后使用标定参数完成对水下高清摄像机的标定，使左视图和右视图能使用统一的相机坐标系。
3.根据权利要求1所述的一种基于双目视觉与深度学习模型的鱼类监测方法，其特征在于，步骤1中所述对采集的鱼类影像数据进行计算分析，得到目标区域鱼类的深度信息的具体过程为：利用立体视差原理，根据物体即鱼类在两个图像中的位置差异来计算物体与摄像机之间的距离，即通过测量视差并利用摄像机之间的已知距离，使用三角测量方法来推断目标物体的距离即深度信息，计算公式为：
4.根据权利要求1所述的一种基于双目视觉与深度学习模型的鱼类监测方法，其特征在于，步骤2中所述不同种类的淡水鱼包括草鱼、鲫鱼、鳙鱼、罗非鱼、黑鱼、青鱼、鲈鱼、鳡鱼、鲟鱼九类淡水鱼。
5.根据权利要求1所述的一种基于双目视觉与深度学习模型的鱼类监测方法，其特征在于，步骤2中所述采用数据增强方法对样本数据进行扩充包括两种方式，第一种是对影像本身进行变化，包括将影像旋转、翻转、缩放、添加随机噪声，得到新样本；...
【专利技术属性】
技术研发人员：彭文启，刘晓波，董飞，刘建华，张剑楠，王威浩，曹岩，王鑫宇，张永生，汪凯奇，白冰，刘泽甫，
申请(专利权)人：中国水利水电科学研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。