一种环境自适应感知的小样本濒危动物检测方法及系统技术方案

本发明专利技术属于生态环境和计算机视觉的结合领域，具体涉及一种环境自适应感知的小样本濒危动物检测方法及系统，该方法包括；分别对普通动物数据集和濒危动物数据集进预处理，通过任务分解，将预处理后的普通动物数据集划分为若干个子任务，并用其进行基础阶段的训练，得到基础的目标检测模型，将预处理后的濒危动物数据集送入环境感知模块得到新样本，使用新样本与原有濒危动物数据集作为输入对已有的基础目标检测模型进行微调训练，得到训练完成的目标模型后，输入图像或视频得到濒危动物的相关检测结果，本发明专利技术解决了现有技术中在濒危动物目标检测这样的小样本场景下，不能训练出具有良好泛化能力的检测模型以及检测准确率较低的问题。低的问题。低的问题。

【技术实现步骤摘要】
一种环境自适应感知的小样本濒危动物检测方法及系统


[0001]本专利技术属于生态环境和计算机视觉的结合领域，涉及一种在濒危动物这样的小样本场景下的目标检测方法，具体涉及一种环境自适应感知的小样本濒危动物检测方法及系统。

技术介绍

[0002]濒危动物是种群研究和生态保护中的重要类群，其中活动监测是相关研究的重要手段之一，但传统的监测手段存在效率低下且人力成本高的问题。因此，基于定位追踪、目标检测等智能化手段成为迫切需要。目标检测是计算机视觉领域的重要研究方向之一，其主要任务是对图像中感兴趣的目标进行识别并定位。近年来，基于深度模型的目标检测算法的精度和速度相较于传统算法得到了大幅度的提升；但这些算法工作的关键在于海量数据的支持，在濒危动物目标检测这样的小样本场景下，仅有少量的图像样本可供训练。因此，基于小样本学习的目标检测方法成为新的研究课题。
[0003]2016年，有学者提出Faster R
‑
CNN，相比Fast R
‑
CNN其主要添加了候选区域网络(RPN)，并在建议框生成阶段共享了图像特征，从而大幅降低所需的建议框数量，并且提高了建议框的质量，在模型精度和速度方面都得到了显著的提升。2018年，有学者提出YOLOv3模型，其采用Darknet
‑
53作为主干特征提取网络，YOLOv3引用了特征金字塔FPN的思想，用于解决模型在处理多尺度问题方面的不足，有效地提高了小尺寸目标的检测效果。此外，模型还采用了二元交叉熵作为新的损失函数，实现了对同一个边界框进行多个类别的预测。2020年，有人提出CenterNet模型，其主要思想是将目标看作点，在构建模型时将边界框的中心点作为目标来看待。首先，CenterNet将待检测图像输入网络得到一个关键点heatmap，并分别提取heatmap上每个类别的峰值点，然后根据峰值点预测出中心点，目标的其他属性都根据此中心点的位置来回归得到。这种方法既不需要设定锚点，也不需要进行NMS非极大值抑制，在模型检测速度和检测精度之间取得了良好的折衷。
[0004]尽管基于深度学习的目标检测算法取得了很大的进展，但现有技术还存在以下问题：在图像样本极端匮乏的濒危动物目标检测这样的小样本场景下，算法无法训练出具有良好泛化能力的目标检测模型且场景的适应性不足，导致检测的准确率低下。

技术实现思路

[0005]为解决上述问题，本专利技术提供了一种环境自适应感知的小样本濒危动物检测方法，构建目标检测模型，目标检测模型包括环境感知模块、特征提取器、特征重加权模块和检测预测器，环境感知模块包括显著性网络和图像补全网络，目标检测模型的训练分为基础训练和微调训练两个阶段，该方法包括以下步骤：
[0006]S1、根据濒危动物活动场景的图像特征对普通动物类别的数据集进行数据预处理；
[0007]S2、通过任务分解，将预处理后的普通动物类别数据集划分为多个子任务；
[0008]S3、利用多个子任务对目标检测模型中的特征提取器、特征重加权模块和检测预测器共同进行基础阶段的训练；
[0009]S4、将濒危动物类别的数据集输入环境感知模块，得到包含额外语义信息的新的图像样本；
[0010]S5、对濒危动物类别数据集中已有的图像样本与新产生的图像样本进行数据预处理；
[0011]S6、将步骤S5中预处理后的所有的濒危动物图像样本作为输入，对经过基础训练后的目标检测模型进行微调阶段的训练；
[0012]S7、得到微调训练完成后的目标检测模型，输入实时数据对濒危动物进行目标检测，得到相应目标的边界框坐标、分类结果和置信度。
[0013]进一步的，根据濒危动物活动场景的图像特征对普通动物类别的数据集进行数据预处理，在过度曝光、暗光环境和图像模糊这3种设定中随机选择选取1种设定进行图像处理以模拟濒危动物的图像场景。
[0014]进一步的，通过任务分解，将预处理后的普通动物类别数据集划分为多个子任务，每个子任务进行训练时每个类别的训练数据不同，至少包括有1shot、2shot、3shot、5shot、10shot、20shot构成的子任务，其中1shot代表任务中每个类别采用1张图像进行训练。
[0015]进一步的，将濒危动物类别的数据集输入环境感知模块，得到包含额外语义信息的新的图像样本，包括：
[0016]将濒危动物图像I输入到预训练完成的显著性网络u()，得到part级别的显著图u(I)；
[0017]根据得到的显著图与濒危动物图像I进行运算，分离出濒危动物图像的前景部分：F
I
＝I
‑
(1
‑
u(I))；
[0018]采用图像补全网络修复濒危动物图像在前景分离过程中所缺失的后景部分，得到完整的后景部分：B
J
＝f(I,u(I))；
[0019]把完整的后景部分划分为若干个视觉特性，统计特性相异的子区域，得到更细粒度的后景单元；
[0020]根据濒危动物活动的地理区域特征和季节特征，建立时空约束规则词典D,表示第k种类型濒危动物的背景约束向量，表示第N种约束要素；
[0021]得到所有濒危动物图像的前景和后景单元之后，将后景单元总数记为M，对于第k种类型濒危动物的前景图像，根据时空约束规则词典，计算所有的后景单元与第k种类型濒危动物的所有约束要素在地理区域上的匹配程度，并筛选出前x个最符合时空约束规则的后景单元，将筛选出的x个最符合时空约束规则的后景单元拼接成完整的后景图像，得到满足时空约束规则的后景图像集：
[0022]将前景图像和后景图像集中所有的后景图像进行融合，得到新的包含额外语义信息的图像样本:R
i
＝F
I
+B
t
，B
t
∈S；
[0023]对新的包含额外语义信息的图像样本进行数据增强处理；
[0024]其中，I为濒危动物图像，u()表示显著性网络，F
I
为濒危动物图像的前景，f()表示图像补全网络，B
J
为濒危动物图像的后景，g表示后景单元筛选算法，p表示后景单元拼接
算法，count为拼接时的后景单元数量，为第j个后景单元，R
i
为第i个新的图像样本，B
t
为后景图像集合S中的后景图像。
[0025]进一步的，训练显著性网络，得到part级别的显著图，包括：
[0026]获取野外环境中动物图像，并标注动物图像中动物的各个躯体部位；
[0027]利用标注后的动物图像对显著性网络进行预训练直到收敛；
[0028]将濒危动物图像输入到预训练完成的显著性网络，得到part级别的显著图，其中每个part代表濒危动物的各个躯体部位。
[0029]进一步的，训练图像补全网络，采用预训练完成的图像补全网络修复图像在前景分离过程中所缺失的后景部分，包括：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种环境自适应感知的小样本濒危动物检测方法，其特征在于，构建面向濒危动物场景下的目标检测模型，模型包括环境感知模块、特征提取器、特征重加权模块和检测预测器，环境感知模块包括显著性网络和图像补全网络，目标检测模型的训练分为基础训练和微调训练两个阶段，濒危动物检测方法包括以下步骤：S1、根据濒危动物活动场景的图像特征对普通动物类别的数据集进行数据预处理；S2、通过任务分解，将预处理后的普通动物类别数据集划分为多个子任务；S3、利用多个子任务对目标检测模型中的特征提取器、特征重加权模块和检测预测器共同进行基础阶段的训练；S4、将濒危动物类别的数据集输入到环境感知模块，得到包含额外语义信息的新的图像样本；S5、对濒危动物类别数据集中已有的图像样本与新的图像样本进行数据预处理；S6、将步骤S5中预处理后的所有的濒危动物图像样本作为输入，对经过基础训练后的目标检测模型进行微调阶段的训练；S7、得到微调训练完成后的目标检测模型，输入实时数据对濒危动物进行目标检测，得到相应目标的边界框坐标、分类结果和置信度。2.根据权利要求1所述的一种环境自适应感知的小样本濒危动物检测方法，其特征在于，根据濒危动物活动场景的图像特征对普通动物类别的数据集进行数据预处理，在过度曝光、暗光环境和图像模糊这3种设定中随机选择选取1种设定进行图像处理。3.根据权利要求1所述的一种环境自适应感知的小样本濒危动物检测方法，其特征在于，通过任务分解，将预处理后的普通动物类别数据集划分为多个子任务，每个子任务进行训练时每个类别的训练数据不同，包括有1shot、2shot、3shot、5shot、10shot、20shot构成的子任务，其中1shot代表任务中每个类别采用1张图像进行训练。4.根据权利要求1所述的一种环境自适应感知的小样本濒危动物检测方法，其特征在于，将濒危动物类别的数据集输入到环境感知模块，得到包含额外语义信息的新的图像样本，包括：对于濒危动物图像I，将其输入到预训练完成的显著性网络u()，得到part级别的显著图u(I)；根据得到的显著图与濒危动物图像I进行运算，分离出濒危动物图像的前景部分：F
I
＝I
‑
(1
‑
u(I))；采用图像补全网络修复濒危动物图像在前景分离过程中所缺失的后景部分，得到完整的后景部分：B
J
＝f(I,u(I))；把完整的后景部分划分为若干个视觉特性，统计特性相异的子区域，得到更细粒度的后景单元；根据濒危动物活动的地理区域特征和季节特征，建立时空约束规则词典D,表示第k种类型濒危动物的背景约束向量，表示第N种约束要素；得到所有濒危动物图像的前景和后景单元之后，将后景单元总数记为M，对于第k种类型濒危动物的前景图像，根据时空约束规则词典，计算所有的后景单元与第k种类型濒危动物的所有约束要素在地理区域上的匹配程度，并筛选出前x个最符合时空约束规则的后景
单元，将筛选出的x个最符合时空约束规则的后景单元拼接成完整的后景图像，得到满足时空约束规则的后景图像集合：将前景图像和后景图像集合中的所有后景图像进行融合，得到新的包含额外语义信息的图像样本:R
i
＝F
I
+B
t
，B
t
∈S；对新的包含额外语义信息的图像样本进行数据增强处理；其中，I为濒危动物图像，u(...

【专利技术属性】
技术研发人员：丰江帆，李俊材，何中鱼，周甜，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：