一种基于RetinaNet模型的麦蜘蛛图像检测方法技术

本发明专利技术涉及一种基于RetinaNet模型的麦蜘蛛图像检测方法，与现有技术相比解决了针对麦蜘蛛图像检测效率低、鲁棒性差的缺陷。本发明专利技术包括以下步骤：麦蜘蛛图像样本的获取和预处理；麦蜘蛛图像样本的扩充；麦蜘蛛图像检测模型的构建；麦蜘蛛图像检测模型的训练；待检测图像的获取；麦蜘蛛图像检测结果的获得。本发明专利技术将多头自注意力模块与残差网络融合，组成了一个新颖的并行骨干网络架构，利用高分辨率的特征图提取小目标的特征，基于交互特征图之间的上下文信息，通过重新设计更符合小目标的锚框，实现了更高效、更准确的麦蜘蛛虫害图像检测。测。测。

A wheat spider image detection method based on retinanet model

【技术实现步骤摘要】
一种基于RetinaNet模型的麦蜘蛛图像检测方法


[0001]本专利技术涉及植保图像处理
，具体来说是一种基于RetinaNet模型的麦蜘蛛图像检测方法。

技术介绍

[0002]近些年，随着深度学习的发展，涌现出许多目标检测领域的研究。例如：早期的二阶段检测(Faster RCNN，Mask RCNN，Cascade RCNN等)和近年来发展迅速的单阶段检测(SSD, RetinaNet，YOLO)等方法。这些方法由于可以直接接收图片作为输入，将预测结果作为输出，成为近年来研究的热点。
[0003]然而，这些目标检测算法在检测较大目标时的表现较好，在目标较小时，难以保持优秀稳定的结果。这有两个主要的缺陷：1、为了追求检测的效率，减少了对于较小的目标检测的关注，使得小目标检测效果很差；2、手动设计的特征提取，并没有很好的鲁棒性，无法适用于麦蜘蛛，检测的精度较低。
[0004]因此，如何研发出一种针对于麦蜘蛛的图像检测方法已经成为急需解决的技术问题。

技术实现思路

[0005]本专利技术的目的是为了解决现有技术中针对麦蜘蛛图像检测效率低、鲁棒性差的缺陷，提供一种基于RetinaNet模型的麦蜘蛛图像检测方法来解决上述问题。
[0006]为了实现上述目的，本专利技术的技术方案如下：一种基于RetinaNet模型的麦蜘蛛图像检测方法，包括以下步骤：麦蜘蛛图像样本的获取和预处理：采集真实背景下麦田里麦蜘蛛的图片作为麦蜘蛛图片样本，并使用LabelImg对采集图片进行分类和坐标标注，作为预处理后的麦蜘蛛图像样本；麦蜘蛛图像样本的扩充：使用随机平移、旋转、色彩转换和添加噪声操作对麦蜘蛛图像样本进行扩充；并随机选取图片，复制麦蜘蛛到图片中随机位置，生成新的图片和标注文件；最后将高分辨率图片样本进一步分割，一张图片分割成若干低分辨率的图片组成新的麦蜘蛛图像训练集；麦蜘蛛图像检测模型的构建：基于RetinaNet模型构建麦蜘蛛图像检测模型；麦蜘蛛图像检测模型的训练：将麦蜘蛛图像训练集输入麦蜘蛛图像检测模型进行训练；待检测图像的获取：获取待检测的麦蜘蛛图像并进行预处理；麦蜘蛛图像检测结果的获得：将预处理后的待检测麦蜘蛛图像输入训练后的麦蜘蛛图像检测模型，得到麦蜘蛛图像检测结果。
[0007]所述麦蜘蛛图像检测模型的构建包括以下步骤：构建麦蜘蛛图像检测模型，麦蜘蛛图像检测模型包括RetinaNet模型的骨干网络、
特征金字塔以及标签分配模块；对RetinaNet模型的骨干网络重新进行设计，输入数据集图片，输出不同尺寸的骨干网络特征图；对RetinaNet模型的特征金字塔进行重新设计，接收骨干网络输出的骨干网络特征图作为输入，融合上下文信息以及多尺度信息，输出金字塔特征图；构建标签分配模块：将特征金字塔输出的所有金字塔特征图上的点生成的锚框按缩放比例映射到原图，计算所有锚框与真实标签的交并比，动态选取Topk个锚框作为正样本，每一个真实标签对应的交并比阈值以及k进行不断优化。
[0008]所述麦蜘蛛图像检测模型的训练包括以下步骤：输入麦蜘蛛图像训练集，进行前向传播；计算类别损失与回归损失，对参数进行优化，其中，类别损失
퐹표푐푎
l
퐿표푠푠
和回归损失
퐿1퐿표푠푠
分别采用如下公式：其中，α，γ为超参数，
푝
为预测类别概率, 푦
푡푟푢푒
为真实标签；其中，
푦
푡푟푢푒
为真实标签，
푦
푝푟푒
d
푖푐푡푒
d
为模型预测值；根据损失结果，反向传播，更新参数；重复以上步骤，直到损失收敛，得到预测效果最好的权重。
[0009]所述对RetinaNet模型的骨干网络重新进行设计包括以下步骤设定骨干网络为五层结构；设定骨干网络的第一层，输入数据集图像，通过卷积池化操作得到尺度压缩的图像，作为骨干网络初始特征图；设定骨干网络的第二层，对骨干网络初始特征图分别利用残差模块与多头自注意力模块得到两个特征图，再将两个特征图拼接，重复3次，最后一次进行下采样，输出第一层骨干网络特征图；设定骨干网络的第三层，对第一层骨干网络特征图分别利用残差模块与多头自注意力模块得到两个特征图，再将两个特征图拼接，重复4次，最后一次进行下采样，输出第二层骨干网络特征图；设定骨干网络的第四层，对第二层骨干网络特征图分别利用残差模块与多头自注意力模块得到两个特征图，再将两个特征图拼接，重复5次，最后一次进行下采样，输出第三层骨干网络特征图；设定骨干网络的第五层，对第三层骨干网络特征图分别利用残差模块与多头自注意力模块得到两个特征图，再将两个特征图拼接，重复3次，输出第四层骨干网络特征图。
[0010]所述对RetinaNet模型的特征金字塔进行重新设计包括以下步骤：将特征金字塔设计为六层结构：设定特征金字塔的第一层，将骨干网络输出的第二层、第三层和第四层特征图通
过双线性插值上采样放大分辨率，得到三个上采样特征图，分别为第二层上采样特征图、第三层上采样特征图和第四层上采样特征图；其中，双线性插值的公式如下：，其中，
푄
11
=(
푥1,
푦1)、
푄
21
=(
푥2,
푦1)、 푄
12
=(
푥1,
푦2)、 푄
22
=(
푥2,
푦2)分别为左下、右下、左上、右上位置的坐标，
푓
(
푄
11
)、 푓
(
푄
21
)、
푓
(
푄
12
) 、
푓
(
푄
22
)分别表示插入点的左下、右下、左上、右上位置的像素值，
푓
(
푥
,
푦
)为(
푥
，
푦
)位置新的像素值；设定特征金字塔的第二层，将第二层上采样特征图与第一层骨干网络特征图、第三层上采样特征图与第二层骨干网络特征图、第四层上采样特征图与第三层骨干网络特征图进行拼接，融合语义信息，得到三个融合语义特征图；设定特征金字塔的第三层，将骨干网络输出的第一层骨干网络特征图以及融合之后的融合语义特征图通过最大池化减小分辨率并融合处理，得到最大池化特征图；最大池化，采用以下公式：其中，
푘
表示区域范围为
푘
×
푘
，
푥
푖푗
表示区域
푘
内第
푖
行
푗
列个点的像素值，
푦
为区域
푘
内最大的像素值；设定特征金字塔的第四层，将最大池化特征图与第四层骨干网络特征图进行融合位置特征处理，得到上下文融合特征图；其公式如下：其中，
푛
为骨干网络传递特征图个数，...

【技术保护点】

【技术特征摘要】
1.一种基于RetinaNet模型的麦蜘蛛图像检测方法，其特征在于，包括以下步骤：11）麦蜘蛛图像样本的获取和预处理：采集真实背景下麦田里麦蜘蛛的图片作为麦蜘蛛图片样本，并使用LabelImg对采集图片进行分类和坐标标注，作为预处理后的麦蜘蛛图像样本；12）麦蜘蛛图像样本的扩充：使用随机平移、旋转、色彩转换和添加噪声操作对麦蜘蛛图像样本进行扩充；并随机选取图片，复制麦蜘蛛到图片中随机位置，生成新的图片和标注文件；最后将高分辨率图片样本进一步分割，一张图片分割成若干低分辨率的图片组成新的麦蜘蛛图像训练集；13）麦蜘蛛图像检测模型的构建：基于RetinaNet模型构建麦蜘蛛图像检测模型；14）麦蜘蛛图像检测模型的训练：将麦蜘蛛图像训练集输入麦蜘蛛图像检测模型进行训练；15）待检测图像的获取：获取待检测的麦蜘蛛图像并进行预处理；16）麦蜘蛛图像检测结果的获得：将预处理后的待检测麦蜘蛛图像输入训练后的麦蜘蛛图像检测模型，得到麦蜘蛛图像检测结果。2.根据权利要求1所述的一种基于RetinaNet模型的麦蜘蛛图像检测方法，其特征在于，所述麦蜘蛛图像检测模型的构建包括以下步骤：21）构建麦蜘蛛图像检测模型，麦蜘蛛图像检测模型包括RetinaNet模型的骨干网络、特征金字塔以及标签分配模块；22）对RetinaNet模型的骨干网络重新进行设计，输入数据集图片，输出不同尺寸的骨干网络特征图；23）对RetinaNet模型的特征金字塔进行重新设计，接收骨干网络输出的骨干网络特征图作为输入，融合上下文信息以及多尺度信息，输出金字塔特征图；24）构建标签分配模块：将特征金字塔输出的所有金字塔特征图上的点生成的锚框按缩放比例映射到原图，计算所有锚框与真实标签的交并比，动态选取Topk个锚框作为正样本，每一个真实标签对应的交并比阈值以及k进行不断优化。3.根据权利要求1所述的一种基于RetinaNet模型的麦蜘蛛图像检测方法，其特征在于，所述麦蜘蛛图像检测模型的训练包括以下步骤：31）输入麦蜘蛛图像训练集，进行前向传播；32）计算类别损失与回归损失，对参数进行优化，其中，类别损失
퐹표푐푎
l
퐿표푠푠
和回归损失
퐿1퐿표푠푠
分别采用如下公式：其中，α、γ为超参数，
푝
为预测类别概率, 푦
푡푟푢푒
为真实标签；其中，
푦
푡푟푢푒
为真实标签，
푦
푝푟푒
d
푖푐푡푒
d
为模型预测值；33）根据损失结果，反向传播，更新参数；34）重复以上步骤，直到损失收敛，得到预测效果最好的权重。4.根据权利要求2所述的一种基于RetinaNet模型的麦蜘蛛图像检测方法，其特征在
于，所述对RetinaNet模型的骨干网络重新进行设计包括以下步骤：41）设定骨干网络为五层结构；42）设定骨干网络的第一层，输入数据集图像，通过卷积池化操作得到尺度压缩的图像，作为骨干网络初始特征图；43）设定骨干网络的第二层，对骨干网络初始特征图分别利用残差模块与多头自注意力模块得到两个特征图，再将两个特征图拼接，重复3次，最后一次进行下采样，输出第一层骨干网络特征图；44）设定骨干网络的第三层，对第一层骨干网络特征图分别利用残差模块与多头自注意力模块得到两个特征图，再将两个特征图拼接，重复4次，最后一次进行下采样，输出第二层骨干网络特征图；45）设定骨干网络的第四层，对第二层骨干网络特征图分别利用残差模块与多头自注意力模块得到两个特征图，再将两个特征图拼接，重复5次，最后一次进行下采样，输出第三层骨干网络特征图；46）设定骨干网络的第五层，对第三层骨干网络特征图分别利用残差模块与多头自注意力模块得到两个特征图，再将两个特征图拼接，重复3次，输出第四层骨干网络特征图。5.根据权利要求2所述的一种基于RetinaNet模型的麦蜘蛛图像检测方法，其特征在于，所述对RetinaNet模型的特征金字塔进行重新设计包括以下步骤：51）将特征金字塔设计为六层结构：52）设定特征金字塔的第一层，将骨干网络输出的第二层、第三层和第四层特征图通...

【专利技术属性】
技术研发人员：庞登浩，王弘，孟浩，陈鹏，梁栋，徐超，王海涛，
申请(专利权)人：安徽大学，
类型：发明
国别省市：