多尺度注意力融合的FasterRCNN的海洋生物检测方法及结构技术

本发明专利技术提供一种多尺度注意力融合的FasterRCNN的海洋生物检测方法，包括：1)采用MSRCR图像增强算法对输入图像进行增强处理；2)采用MSAFPN网络提取增强处理后的图像的特征，得到多尺度特征图；3)将所述多尺度特征图输入RPN网络，获得候选框；4)将所述候选框映射到所述多尺度特征图上并进行截取，并将截取的所述特征图固定为统一的大小，再将所述特征图展平为一维向量，并通过全连接层进行目标分类与边框回归，从而实现精确定位检测。本发明专利技术采用图像增强算法提升海洋生物图像质量，并通过MSAFPN中的多尺度融合以及注意力模块获得目标更精确的特征信息，在检测目标时，能够检测到更多的海洋生物，有效提高目标检测的准确率。率。率。

【技术实现步骤摘要】
多尺度注意力融合的Faster RCNN的海洋生物检测方法及结构


[0001]本专利技术属于目标检测领域，特别是涉及一种多尺度注意力融合的Faster RCNN的海洋生物检测方法及结构。

技术介绍

[0002]海洋的地域广阔，其中蕴含着大量的生物资源，海洋生物具有易于消化的蛋白质和氨基酸，海洋中海参、扇贝等生物蛋白质含量丰富，富含人体所必需的9种氨基酸并且易于被人体吸收。由于海洋生物具有很高的营养价值，因此人类对此有了很高的需求，为了能够充分的利用这些海洋资源，需要水下机器人来代替人类进行水下作业捕捞。
[0003]水下机器人主要的作用是通过目标检测算法获得周围海洋生物目标的种类与位置信息，并且将其成功的捕捞。准确的海洋生物目标检测可以有效提高水下机器人在水下作业的效率，目标检测算法的好坏能够直接影响捕捞的效率。传统的目标检测方法预先设计目标物体的特征，这些特征采用常用的特征描述符，能够准确的检测到简单的目标。由于海洋生物的多样性和水下环境的特殊性，导致传统的目标检测的泛化性与鲁棒性较差。近些年，深度学习在图像识别、目标检测等领域取得了优异的成绩。卷积神经网络具有强大的特征提取能力，可以有效提取到目标物体的特征，基于深度学习的目标检测网络的检测精度以及速度有很大的提升。
[0004]Faster R
‑
CNN作为深度卷积神经网络的代表，首先通过特征提取网络提取目标特征生成特征图，其次将特征图作为区域建议网络(Region Proposal Network，RPN)的输入，先通过滑动窗口在特征图进行滑动，分别进行1*1卷积获得区域得分和边框回归参数，通过非极大值抑制获得最终的候选框。候选框在特征图进行映射并进行ROI池化操作将不同大小的特征图固定为7
×
7，将该特征图变为一维向量后使用全连接层进行后续的目标分类与边框回归。但是目前主流的目标检测网络如Faster R
‑
CNN对常见的较大目标检测效果较好，对小目标检测效果较差。由于水下环境的特殊性，海洋生物的图像存在对比度低、噪声大、颜色呈蓝绿色等问题，并且海洋生物大多数为小型目标，导致检测的准确率较低，从而影响捕捞效率，因此无法直接对海洋生物目标进行检测。针对以上问题，本专利技术提出多尺度注意力融合Faster RCNN的海洋生物检测方法及结构。

技术实现思路

[0005]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种多尺度注意力融合的Faster RCNN的海洋生物检测方法及结构，用于解决现有技术中检测网络对小型海洋生物检测图像质量差，检测准确率低导致捕捞效率低的问题。
[0006]为实现上述目的及其他相关目的，本专利技术提供一种多尺度注意力融合的Faster RCNN的海洋生物检测方法，所述检测方法至少包括：
[0007]1)采用MSRCR图像增强算法对输入图像进行增强处理；
[0008]2)采用MSAFPN网络提取增强处理后的图像的特征，得到多尺度特征图；
[0009]3)将所述多尺度特征图输入RPN网络，获得候选框；
[0010]4)将所述候选框映射到所述多尺度特征图上并进行截取，并将截取的所述特征图固定为统一的大小，再将所述特征图展平为一维向量，并通过全连接层进行目标分类与边框回归，从而实现精确定位检测。
[0011]优选地，步骤1)中，所述MSRCR图像增强算法是Retinex发展而来，Retinex的本质是将一幅图像分为反射图像和亮度图像，如下式(1)所示：
[0012]S(x,y)＝R(x,y)
·
L(x,y) (1)
[0013]其中S(x,y)是输入图像，R(x,y)是反射图像，L(x,y)是亮度图像，对公式(1)取对数后如下式(2)所示：
[0014][0015]其中R
ssr
(x,y)是处理后的输出图像，F(x,y)是高斯函数，高斯函数与输入图像卷积(*)后得到亮度图像，MSR处理得到的图像如公式(3)所示：
[0016][0017]其中MSR中的N取3，MSRCR在MSR的基础上，加入色彩恢复因子C调节颜色失真的缺陷，如公式(4)、(5)所示：
[0018]R
msrcr
(x,y)＝C(x,y)
·
R
msr
(x,y) (4)
[0019][0020]其中β是增益常数设置为1，α是受控制的非线性强度设置为128，I
i,j
(x,y)是某个通道的图像，MSRCR算法处理图像后，像素一般会出现负值。通过增益G和偏差Offset对图像进行修正，增益与偏差分别设置为5，25，如公式(6)所示：
[0021]R
msrcr
(x,y)'＝G
·
R
msrcr
(x,y)+Offset (6)。
[0022]优选地，步骤2)中，采用MSAFPN网络提取增强处理后的图像的特征，得到多尺度特征图的步骤包括；
[0023]首先，通过ResNet50输出四个特征图{C2，C3，C4，C5}；
[0024]然后，采用FPN对{C2，C3，C4}三个特征图进行操作，通过自下而上上采样与横向连接得到融合后的特征图{P2，P3，P4}；
[0025]最后，通过注意力模块，对所述特征图{P2，P3，P4}依次进行通道注意力和空间注意力操作，得到具有丰富特征信息与位置信息的所述多尺度特征图{N2，N3，N4}。
[0026]优选地，步骤3)中，将所述多尺度特征图输入RPN网络，获得候选框的步骤包括：
[0027]设置多种不同尺寸大小的锚框，通过去除越过边界的锚框，对剩下的锚框利用卷积操作得到的边框回归参数调整为候选框，此时候选框之间会存在大量重叠，再通过前景背景概率分数，非极大值抑制进行处理后，剩下的候选框为最终的候选框。
[0028]优选地，步骤4)中，采用RoiAlign将截取的所述特征图固定为统一的大小，再将所述特征图展平为一维向量，并通过全连接层进行目标分类与边框回归，从而实现精确定位
检测。
[0029]本专利技术还提供一种多尺度注意力融合的Faster RCNN的海洋生物检测结构，所述检测结构至少包括：
[0030]MSRCR图像增强模块，用于对输入图像进行增强处理；
[0031]MSAFPN网络，用于提取增强处理后的图像的特征并获得多尺度特征图；
[0032]RPN网络，用于处理所述多尺度特征图并获得候选框；
[0033]Fast RCNN，用于将所述候选框映射到所述多尺度特征图上并进行截取，并将截取的所述特征图固定为统一的大小，再将所述特征图展平为一维向量，并通过全连接层进行目标分类与边框回归，从而实现精确定位检测。
[0034]优选地，所述MSAFPN网络至少包括：
[0035]ResNet50，用于输出四个特征图{C2，C3，C4，C5本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多尺度注意力融合的Faster RCNN的海洋生物检测方法，其特征在于，所述检测方法至少包括：1)采用MSRCR图像增强算法对输入图像进行增强处理；2)采用MSAFPN网络提取增强处理后的图像的特征，得到多尺度特征图；3)将所述多尺度特征图输入RPN网络，获得候选框；4)将所述候选框映射到所述多尺度特征图上并进行截取，并将截取的所述特征图固定为统一的大小，再将所述特征图展平为一维向量，并通过全连接层进行目标分类与边框回归，从而实现精确定位检测。2.根据权利要求1所述的多尺度注意力融合的Faster RCNN的海洋生物检测方法，其特征在于：步骤1)中，所述MSRCR图像增强算法是Retinex发展而来，Retinex的本质是将一幅图像分为反射图像和亮度图像，如下式(1)所示：S(x,y)＝R(x,y)
·
L(x,y)
ꢀꢀꢀꢀ
(1)其中S(x,y)是输入图像，R(x,y)是反射图像，L(x,y)是亮度图像，对公式(1)取对数后如下式(2)所示：其中R
ssr
(x,y)是处理后的输出图像，F(x,y)是高斯函数，高斯函数与输入图像卷积(*)后得到亮度图像，MSR处理得到的图像如公式(3)所示：其中MSR中的N取3，MSRCR在MSR的基础上，加入色彩恢复因子C调节颜色失真的缺陷，如公式(4)、(5)所示：R
msrcr
(x,y)＝C(x,y)
·
R
msr
(x,y)
ꢀꢀꢀꢀ
(4)其中β是增益常数设置为1，α是受控制的非线性强度设置为128，I
i,j
(x,y)是某个通道的图像，MSRCR算法处理图像后，像素一般会出现负值。通过增益G和偏差Offset对图像进行修正，增益与偏差分别设置为5，25，如公式(6)所示：R
msrcr
(x,y)'＝G
·
R
msrcr
(x,y)+Offset
ꢀꢀꢀꢀ
(6)。3.根据权利要求1所述的多尺度注意力融合的Faster RCNN的海洋生物检测方法，其特征在于：步骤2)中，采用MSAFPN网络提取增强处理后的图像的特征，得到多尺度特征图的步骤包括；首先，通过ResNet50输出四个特...

【专利技术属性】
技术研发人员：陈小毛，张健，王立成，赵金润，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：