基于双通路特征融合的动物识别方法技术

本发明专利技术公开了基于双通路特征融合的动物识别方法，通过构建CNN

【技术实现步骤摘要】
基于双通路特征融合的动物识别方法


[0001]本专利技术属于图像识别
，具体地，涉及一种融合CNN和LBP的动物图像识别分类方法。

技术介绍

[0002]随着社会科技的不变进步，计算机视觉已然成为当今一大火热的研究领域。计算机视觉通过计算机代替人类的视觉处理系统，能够模拟人类视觉系统对图像中的内容进行理解和处理。目标检测识别作为其中的热门领域之一，其功能就是从图像中提取感兴趣目标的特征以及识别出其类别。
[0003]野生动物资源对维系自然生态平衡具有举足轻重的作用，为了保证对野生动物的有效保护，收集大量丰富的野生动物监测信息，国内外围绕信息化的野生动物监测技术开展了大量的研究。野生动物大数据是野生动物保护策略制定的基础，而如何利用人工智能等新兴技术赋能动物信息处理是目前研究的热点与难点。
[0004]目前，在众多保护区中已经广泛应用了红外感应相机和无线图像传感器用来监测野生动物。相对于于传统的人工监测方式，这一方式极大提高了监测的效率。然而以上方式采集到的监测图像数据量佳较多，目前主要依赖人工筛选分类，这一方法又大大降低了数据处理的效率。近十年，人工智能技术的巨大发展和突破，如监控视频检测、行人检测、舰船识别、人脸识别等，为人们的生活带来了诸多便利，提高了城市的智能化水平。深度学习的快速发展同时也为动物图像的快速、准确的自动识别提供了较优的解决方案，因此基于卷积神经网络的野生动物自动识别研究具有很高的现实意义。
[0005]基于局部二值模式(LBP)的特征提取能够较好地保留图像的纹理特征。通过引入卷积神经网络，一种深度监督学习下的机器学习模型，目标识别的准确率得到很大幅度的提高，并且已经成为图像研究领域的主流技术。现有技术存在以下缺点：(1)传统目标检测识别方法中进行人为特征提取，在实际应用中对图像目标存在着较高的漏检和误检以及效率低的情况；而且对于存在类间相似度高，人眼不容易辨别的难题，传统机器学习方法往往不能有效提取到相似物体之间的细微差异。(2)基于卷积神经网络的目标检测识别算法能够自动地提取图像中的目标特征，同时也能够得到某种程度上的平移、旋转、倾斜和尺度不变形，多个卷积层可以理解并学习到输出的多层次信息，随着网络层的增加可以更好的提取抽象特征，是一种高效的目标检测识别的算法，但是存在随着网络深度的加深，许多低频信息例如纹理特征会丢失，影响模型的收敛性能。

技术实现思路

[0006]本专利技术的目的是针对现有技术方案的不足，利用卷积神经网络获得的特征，设计CNN
‑
LBP双路融合特征提取模式。相对于手动提取而言能够更好的表现目标的特征，理解并学习目标的抽象特征。并且一定程度上解决了随着卷积层的加深浅层信息如纹理特征不断变浅的问题，在获取全局抽象特征的同时也能够捕捉细节信息；增加低质量图像的预处理，
对监测图像质量进行增强；增加预测边框回归模块，改善了真实框和预测框不相交情况下无法预测两者距离的问题。同时优化了LBP特征提取算法，解决了中心像素值过大或过小时细节丢失的问题，降低噪声点的影响。最后通过基于通道注意力机制的特征融合，不仅能够使神经网络自动学习特征通道间的重要性，还有助于通道降维和跨通道信息交互，得到最终的检测结果。
[0007]本专利技术为解决其技术问题所采用的技术方案包括以下步骤：
[0008](1)数据预处理：数据增强是减少过拟合、提高机器学习模型泛化能力的一种常用方法，可以解决数据受限的问题。本方法同时采用图像翻转、转换、拼接、融合的图像增强方法。每次处理均得到一个变换矩阵，再将所有变换矩阵连乘得到最终的变换矩阵。同时针对采集图像质量低的问题，采用三次插值和锐化来提高图像的质量。
[0009](2)定义CNN
‑
LBP双通路模型结构：网络模型主要由主干卷积神经网络、LBP特征提取通路、特征融合模块、边框预测回归网络构成。分析基于卷积神经网络在进行特征提取时采取模块逐层抽取的方式，每个模块输出尺寸不同，通常会抽取网络最高层的输出特征作为识别依据，并且实际应用层面来讲，还需要考虑到环境光源等诸多因素的影响，因此卷积神经网络中的高层特征语义信息表征能力强，但缺乏纹理细节特征；低层特征几何信息丰富，但语义信息表征能力弱。定义CNN
‑
LBP双通路模型，通过卷积神经网络和LBP特征提取通路分别提取图像信息，再通过多尺度特征融合的方式将不同网络层的特征进行融合，提高网络的特征表达能力。
[0010](3)基于LBP特征提取：在传统的LBP算法的基础上，考虑了中心像素值与邻域像素值的影响，通过计算计算邻域各像素值与中心像素值之差的平方和C与限定值W进行比较，若C在限定范围内，选取中心像素值为阈值计算LBP值，充分考虑中心像素值与邻域像素值的作用，更准确描述局部图像特征；若C不在限定范围内，则选择邻域像素和中心像素的中值作为阈值进行计算，降低噪声点的影响。
[0011](4)YOLOV5模型设置：主干网络设计为深度为152层残差网络，划分为5部分，其中每部分的卷积分组卷积，通过主干网络4次下采样操作提取到的特征输出特征图。引入感兴趣区域特征(ROI)提取，以来减少复杂背景对目标识别的影响。
[0012](5)基于改进的通道注意力机制的特征融合：针对原concat融合方式在特征融合过程中，会导致图像本身通道数增加的缺点，对于处理后的上下分支特征通道，本方法采用提出的通道注意力特征融合模块(CAFF)进行信息集成。不仅可以聚合来自各个通道的特征信息，实现权重分配，而且有助于通道降维和跨通道信息交互，再将深浅层特征融合，避免了高分辨率特征经过多次卷积后导致的信息丢失问题。
[0013](6)边框预测损失模块：在边框预测模块中使用了EIOU_Loss损失函数，增加了宽高比的惩罚项目，解决了通用损失函数中在训练过程中梯度不能自适应改变的问题。
[0014](7)模型预测：完成模型训练后，输入任意尺寸的测试数据，可以获得动物的种类和位置。实验使用评价指标为召回率和平均准确率(map)来检测模型。相较于目前常用的单阶段和双阶段常用的算法，具有较高的召回率和准确率。
[0015]与已有技术相比，本专利技术的有益效果：
[0016]本专利技术提供了一种融合CNN和LBP的图像识别分类方法，相比于常规的使用卷积神经网络的方法，该方法能保留、提取到更多的纹理特征。该模型将图像进行归一化预处理
后，在第一条通道上，使用可训练的卷积核提取隐式特征；在第二通道上，使用改进的LBP特征算子提取出图像的LBP特征，输出的特征向量。
[0017]本专利技术为了在大量输入信息中聚焦于对当前任务更为关键的信息，也就是选出与图像识别最相关的通道，提出了添加通道注意力机制的方式对上述CNN
‑
LBP模型进行改进。注意力机制已被证明是增强深层CNN网络的一种方式，使得最终的模型具有较好的分类效果。同时在边框预测模块中增加了宽高比的惩罚项目，改善了真实框和预测框不相交情况下无法预测两者距离的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双通路特征融合的动物识别方法，其特征在于：该方法包括如下步骤，数据预处理：时采用图像翻转、转换、拼接、融合的图像增强。每次处理均得到一个变换矩阵，再将所有变换矩阵连乘得到最终的变换矩阵。采用三次插值和锐化来提高图像的质量。定义CNN
‑
LBP双通路模型结构：由主干卷积神经网络、LBP特征提取通路、特征融合模块、边框预测回归网络构成。分析基于卷积神经网络在进行特征提取时采取模块逐层抽取的方式，每个模块输出尺寸不同会抽取网络最高层的输出特征作为识别依据。定义CNN
‑
LBP双通路模型，通过卷积神经网络和LBP特征提取通路分别提取图像信息，再通过多尺度特征融合的方式将不同网络层的特征进行融合，提高特征表达能力。基于LBP特征提取：考虑中心像素值与邻域像素值的影响，通过计算计算邻域各像素值与中心像素值之差的平方和C与限定值W进...

【专利技术属性】
技术研发人员：蒋玉杰，李娟，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：