System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于图像增强和模型轻量化的车辆重识别方法技术_技高网
当前位置: 首页 > 专利查询>南昌大学专利>正文

一种基于图像增强和模型轻量化的车辆重识别方法技术

技术编号:41682963 阅读:6 留言:0更新日期:2024-06-14 15:35
本发明专利技术涉及车辆重识别领域,尤其涉及一种基于图像增强和模型轻量化的车辆重识别方法,包括如下步骤:S1,双频域的图像增强方法对昏暗场景下的样本进行图像增强处理;S2,修改后的ResNet50作为骨干网络以提取深层的语义信息;S3,多分支对称结构以准确地提取车辆的整体轮廓和局部细节,并且在分支网络中通过通道简化来减少特征的通道数量以减少网络的参数负担。本发明专利技术通过双频域的图像增强方法改善照度不足,轮廓模糊的车辆图片,缓解图像中存在的照度低或者对比度不足等问题;为了增加网络的实用性,设计了一个轻量化的多分支结构,通过削减分支中的特征通道以及使用小尺寸的卷积核降低网络负载,保证算法的性能。

【技术实现步骤摘要】

本专利技术涉及车辆重识别,尤其涉及一种基于图像增强和模型轻量化的车辆重识别方法


技术介绍

1、当前的车辆重识别任务已经借助深度学习以及各种层出不穷的网络架构达到令人满意的性能,但是在现实世界中,昏暗场景下的车辆重识别仍然是一项具有挑战性的任务。

2、首先,现有的车辆重识别网络以清晰的图像为前提在现有的公开数据集上获得了不错的表现,但是在极端条件下的识别效果却非常有限。昏暗场景是真实世界中常见的极端光照情况,由于获取图像时自然照度低和环境光源不足,导致采集到的图像可见度低且难以恢复损失的细节信息[11-12],这些细节信息很有可能包含区分车辆类别的关键信息。为了解决该问题,现有提出学习一种基于流形的距离度量,在这种度量下,图像集的内在结构被保留用以缓解低照度对图像的影响。设计了一个自底向上的注意网络来消除弱光照的影响,在不引入过度增强的情况下获得增强图像。但是,这些方法普遍存在两个问题(1)通过为重识别网络中增加各种网络结构在低照度场景下获取具有区分性的特征将会增加网络的负担且容易导致模型的过拟合。(2)这些方法主要集中于解决行人重识别场景下的问题,忽略了对车辆重识别场景下的研究。

3、其次,现有的车辆重识别网络由于复杂的网络结构和大量的网络参数而难以移植到现实世界中,一些轻量化的网络被提出却难以兼顾良好的性能。为此现有一种轻量级的人物多属性特征生成框架。目的是减少网络模型的负担且保证模型性能。该框架主要由附属属性网络、身体属性网络以及颜色属性网络三个子网络组成。现有提出了一种轻量级网络,在资源高效的骨干网络的基础上构建了统一的多分支架构,该架构结合了全局的、基于部分的和通道的特性。虽然这些方法使用多分支网络提升了模型性能且控制了网络模型的体积大小,但是其分支网络主要是骨干网络的复制或者是某些骨干网络层次的移植利用,仍然存在冗余性。

4、正是基于上述原因,本专利技术提供了一种基于图像增强和模型轻量化的车辆重识别方法。


技术实现思路

1、本专利技术的目的在于克服现有技术的不足,提供一种基于图像增强和模型轻量化的车辆重识别方法,通过双频域的图像增强方法改善照度不足,轮廓模糊的车辆图片,缓解图像中存在的照度低或者对比度不足等问题;为了增加网络的实用性,设计了一个轻量化的多分支结构,通过削减分支中的特征通道以及使用小尺寸的卷积核降低网络负载,保证算法的性能。

2、为了实现本专利技术的目的,本专利技术采用的技术方案为:

3、本专利技术公开了一种基于图像增强和模型轻量化的车辆重识别方法,包括如下步骤:

4、s1,双频域的图像增强方法对昏暗场景下的样本进行图像增强处理;

5、s2,修改后的resnet50作为骨干网络以提取深层的语义信息;

6、s3,多分支对称结构以准确地提取车辆的整体轮廓和局部细节,并且在分支网络中通过通道简化来减少特征的通道数量以减少网络的参数负担。

7、所述步骤s1包括如下步骤:

8、①将需要进行图像增强的原车辆图像进行低通滤波以得到低频的模糊图像il,并将原图像与模糊图像相减得到图像的高频分量ih,其中il代表着图像中亮度或者灰度值分布均匀,起伏不明显的区域;基于如下公式对照度变量t进行计算并获取增强后的图像:

9、

10、对照度图进行初始化,如如下公式所示:

11、

12、对于获取到的初始化的照度图通过增广拉格朗日乘数法(公式(3))和权重策略优化算法(公式(4))方法来加速优化照度图。

13、

14、其中,k是平衡左右两项的系数,f和1分别表示frobenious范数和1范数;w代表权重矩阵,是一阶导数滤波器;

15、

16、其中,wh,wv分别代表水平和垂直方向的权重矩阵,ω(x)是以像素x为中心的区域,像素x,y,分别代表水平和垂直的一阶导数滤波器,gσ(x,y)用于测量位置x和y之间的空间欧几里得距离,ε是为了避免除零和过度饱和问题;

17、随后,对照度图进行伽马校正t←tγ,最终根据公式(1)求解得到低频分量进行照度提升后的结果;

18、②对于高频分量ih,它代表了图像中亮度或者灰度值变化剧烈的部分,也就是图像的轮廓或者噪声以及细节部分;在暗光图像中,亮度和对比度比较正常的图片已经发生了退化,但是这些轮廓以及细节特征却对车辆重识别的性能有着至关重要的作用。因此,本文将提取出的高频分量乘以一个放大系数α,如公式(5)所示:

19、ih(x)=aih(x)       (5)

20、通过增强图像中的高频分量来获取更加明显的轮廓和细节特征;

21、分别将经过照度增强的低频图像部分和经过强化后的高频部分相融合并进行降噪以得到增强后的车辆图像。

22、所述步骤s2中,采用resnet50网络作为骨干结构并对其进行了改进,经过尺寸调整后的图片要经过resnet50的5个阶段,即conv0,conv1,conv2,conv3,conv4,随后通过池化得到最终的全局特征;所述conv3与conv4之间引入意力模块,通过计算输入的特征x各个通道的重要程度而驱使网络将注意力放在更加重要的通道,计算如公式(6)所示:

23、anch(x)=(σ(mc)x)t      (6)

24、其中mc代表了特征通道的相关性矩阵,该公式中只有一个学习参数σ来调整注意力的运算。

25、所述步骤s3中网络的参数负担通过灵活的使用小尺度的卷积核并且通过对网络进行通道简化操作以降低,在所述conv2和conv3之后添加分支网络,所有的进入到分支网络的特征其中i代表分支的序号,表示未经过分支中卷积层处理的特征;首先经过一个1×1的卷积滤波器的处理,将输入的特征的通道数目统一转换为256,转换后的特征将分别经过批归一化层和线性整流函数层进行归一化处理并抑制不活跃的神经元;在分支网络中的每一层卷积中都使用卷积滤波器后跟bn层和relu层的稳定结构,在经过卷积之后,对通道进行划分,其中保留了大部分通道的特征模块继续进行后续的卷积,并且在进入下一个卷积层之前对其进行正交正则化,因为假设不添加正交正则化的约束,通过卷积网络训练出的特征向量的通道之间可能会存在不合理的较高的相关性,从而导致一些不重要的特征通道被作为关键信息干扰重识别的检索效果,使用的正交正则化的优化如公式(7)所示:

26、

27、其中,w为正交权重矩阵,i为单位阵,β为超参数。

28、还包括通过交叉熵损失函数和softmax函数对网络结构的参数进行学习和优化,如公式(8)所示:

29、

30、其中,lgce,lbce分别代表骨干网络和分支网络在训练时使用的交叉熵损失函数,p代表目标真实分布,q代表预测的概率分布,和分别表示骨干网络和分支网络提取到的特征,i表示图片的索引值;

31、将骨干分支与轻量化分值特征结本文档来自技高网...

【技术保护点】

1.一种基于图像增强和模型轻量化的车辆重识别方法,其特征在于:包括如下步骤:

2.根据权利要求1所述的一种基于图像增强和模型轻量化的车辆重识别方法,其特征在于:所述步骤S1包括如下步骤:

3.根据权利要求1所述的一种基于图像增强和模型轻量化的车辆重识别方法,其特征在于:所述步骤S2中,采用ResNet50网络作为骨干结构并对其进行了改进,经过尺寸调整后的图片要经过ResNet50的5个阶段,即Conv0,Conv1,Conv2,Conv3,Conv4,随后通过池化得到最终的全局特征;所述Conv3与Conv4之间引入意力模块,通过计算输入的特征X各个通道的重要程度而驱使网络将注意力放在更加重要的通道,计算如公式(6)所示:

4.根据权利要求3所述的一种基于图像增强和模型轻量化的车辆重识别方法,其特征在于:所述步骤S3中网络的参数负担通过灵活的使用小尺度的卷积核并且通过对网络进行通道简化操作以降低,在所述Conv2和Conv3之后添加分支网络,所有的进入到分支网络的特征其中i代表分支的序号,表示未经过分支中卷积层处理的特征;首先经过一个1×1的卷积滤波器的处理,将输入的特征的通道数目统一转换为256,转换后的特征将分别经过批归一化层和线性整流函数层进行归一化处理并抑制不活跃的神经元;在分支网络中的每一层卷积中都使用卷积滤波器后跟BN层和ReLU层的稳定结构,在经过卷积之后,对通道进行划分,其中保留了大部分通道的特征模块继续进行后续的卷积,并且在进入下一个卷积层之前对其进行正交正则化,因为假设不添加正交正则化的约束,通过卷积网络训练出的特征向量的通道之间可能会存在不合理的较高的相关性,从而导致一些不重要的特征通道被作为关键信息干扰重识别的检索效果,使用的正交正则化的优化如公式(7)所示:

5.根据权利要求1所述的一种基于图像增强和模型轻量化的车辆重识别方法,其特征在于:还包括通过交叉熵损失函数和softmax函数对网络结构的参数进行学习和优化,如公式(8)所示:

...

【技术特征摘要】

1.一种基于图像增强和模型轻量化的车辆重识别方法,其特征在于:包括如下步骤:

2.根据权利要求1所述的一种基于图像增强和模型轻量化的车辆重识别方法,其特征在于:所述步骤s1包括如下步骤:

3.根据权利要求1所述的一种基于图像增强和模型轻量化的车辆重识别方法,其特征在于:所述步骤s2中,采用resnet50网络作为骨干结构并对其进行了改进,经过尺寸调整后的图片要经过resnet50的5个阶段,即conv0,conv1,conv2,conv3,conv4,随后通过池化得到最终的全局特征;所述conv3与conv4之间引入意力模块,通过计算输入的特征x各个通道的重要程度而驱使网络将注意力放在更加重要的通道,计算如公式(6)所示:

4.根据权利要求3所述的一种基于图像增强和模型轻量化的车辆重识别方法,其特征在于:所述步骤s3中网络的参数负担通过灵活的使用小尺度的卷积核并且通过对网络进行通道简化操作以降低,在所述conv2和con...

【专利技术属性】
技术研发人员:闵卫东李龙飞展国伟韩清
申请(专利权)人:南昌大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1