System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于样本不确定性估计的在线测试时自适应目标识别方法技术_技高网

一种基于样本不确定性估计的在线测试时自适应目标识别方法技术

技术编号:44111099 阅读:1 留言:0更新日期:2025-01-24 22:36
本发明专利技术公开了一种基于样本不确定性估计的在线测试时自适应目标识别方法,属于计算机视觉技术领域,本发明专利技术方法包括:首先下载数据集并进行增广;然后将各个批次数据按顺序送入源域模型,通过源域模型对当前批次数据得到两次评估,计算出每个样本的不确定性值;对该批次样本进行模型学习并对模型训练更新;最后使用已学习当前批次目标数据的模型对样本进行预测,得到该批次样本分类结果。本发明专利技术很好地解决了目前在线测试时适应框架中无法获取到目标域数据并需要进行实时识别的问题,提高了在线测试时智能交通对车辆目标物体识别的准确率。

【技术实现步骤摘要】

本专利技术属于计算机视觉,具体涉及一种基于样本不确定性估计的在线测试时自适应目标识别方法


技术介绍

1、深度学习在图像领域取得了巨大进展,但是过度依赖大量训练数据,模型的效果好坏与训练数据和测试数据的概率分布密切相关。重新使用测试数据训练一个新的模型,不仅需要获得大量的测试数据,而且需要进行人工标注,这需要巨大的成本花费。在实际生活应用中,例如自动驾驶智能交通,由于一天的光照变化,由白天到黑夜,即使是在相同地点下拍摄的图像也会存在差异。另外,阴晴不定的天气变化,由晴天到雨天,在连续两天相同的时间点,比如都是上午8点,并且地点也相同下拍摄的图像差异也会较大,这些时时刻刻或者突然的转变,都会使提前部署好的模型无法进行实时物体识别。

2、为了能够同时处理图像的数据分布不同和在线适应这两项挑战,提出在线测试时适应的主要思想:源域数据作为训练数据,经过训练获得模型作为源域模型;目标域数据作为测试数据,与源域数据分布相似但不同;在线测试时适应的目标是使标准的预训练源域模型适应目标领域,其中测试数据作为批次流进入,因此适应需要与推理并行进行。

3、目前,在线测试时适应的方法主要分为三类:批归一化统计校正方法使源模型的bn层适应目标数据偏移的统计量,然而批归一化统计校正方法依赖于批处理的大小,在小批量数据上统计量的估计可能不够准确,这可能导致模型性能下降。自训练方法为目标数据生成伪标签,以监督的方式进行自适应。y.iwasawa(y.iwasawa and y.matsuo,“test-time classifier adjustment module for model-agnostic domain generalization,”in proc.neurips,2021,pp.2427-2440)等人提出仅通过使用在线未标记数据计算类原型并基于其到这些原型的距离对每个未标记样本进行分类,以此获得伪标签,但是当目标数据分布与源域数据分布差异较大时,基于源数据训练的模型可能无法有效地计算准确的类原型,从而影响伪标签的质量。gao(gao,j.,zhang,j.,liu,x.,darrell,t.,shelhamer,e.,wang,d.:back to the source:diffusion-driven adaptation to test-timecorruption.in:cvpr.pp.11786-11796(2023))等人提出一种采用扩散模型来对齐目标图像和源域图像的在线测试时间适应方法,这种方法旨在通过图像风格转换,使目标图像在视觉上更接近源域,而不需要调整源模型的参数,扩散模型在将目标图像风格转换以匹配源域时可能会导致图像质量的损失,尤其是在细节和纹理上,并且在将目标图像风格转换以匹配源域的过程中,可能会丢失目标域中的一些重要特征,这些特征对于分类任务可能是关键的。


技术实现思路

1、本专利技术提供一种基于样本不确定性估计的在线测试时自适应目标识别方法,能够很好地解决源域数据无法在域适应框架训练时获取模型需要进行实时适应导致精度差的问题。

2、为实现以上目的,本专利技术采用以下技术方案:

3、一种基于样本不确定性估计的在线测试时自适应目标识别方法,包括以下步骤:

4、步骤1:数据集获取过程:首先下载数据集并将数据集进行增广;

5、步骤2:神经网络适应过程:使用模型对当前批次数据进行两次评估,计算出每个样本的不确定性值,进行模型学习更新;

6、步骤3:测试图像识别过程:使用已学习当前批次目标数据的模型对样本进行预测,得到该批次样本分类结果。

7、以上所述步骤中,步骤1具体包括以下步骤:

8、步骤1-1:在网站上下载数据集,得到若干张32×32大小的图像;

9、步骤1-2:对每张图像进行随机增强组合,包括中心裁剪和随机水平翻转。

10、步骤2具体包括以下步骤:

11、步骤2-1:利用神经网络的drop层作为不确定性估计的基础,对每个样本x进行两次模型评估,具体过程为:将样本重复送入神经网络模型两次,进行特征提取和分类输出,得到模型两次预测结果,即:

12、pt(y|x)=fθ(x)             (1)

13、其中,pt(y|x)表示模型预测结果,t表示进行模型预测次数,fθ(.)即为卷积神经网络模型,其具体表达为:卷积神经网络是一种深度学习模型,通过一系列的卷积层、池化层和全连接层等来提取图像特征并进行分类;

14、步骤2-2:对两次模型评估结果进行差异计算,得到每个样本的不确定性估计值,其计算公式如下:

15、

16、其中c表示类别数,表示当前所属c类别时的概率值,t表示第t次模型预测结果;

17、步骤2-3:对原本的基于熵的域适应损失进行优化,根据样本的不确定值作为损失权重进行加权,以网络输出作为计算值,依据不确定性权重值计算损失,加权损失如下:

18、

19、其中c表示类别数,c的取值为1,2,3……c,pc表示所属c类别时的概率值;

20、步骤2-4:在神经网络上设置适应超参数网络训练的学习率以及batch size值,使用adam优化器进行优化。

21、步骤3具体包括以下步骤:

22、步骤3-1:将测试图像以及两个增广图像送入已更新学习的神经网络中;

23、步骤3-2:使用模型对原始图像以及两个增广图像的预测,获取三个预测结果;即将原始图像作为输入提供给模型,经过网络的卷积操作等进行特征提取并经过全连接层进行预测分类,同时将两个增广图像也提供给模型,最后可以获取三个预测结果,即得到三个c维向量。

24、步骤3-3:将三个预测结果进行平均计算,获得最终结果。

25、有益效果:本专利技术提供了一种基于样本不确定性估计的在线测试时自适应目标识别方法,通过引入对样本的不确定性评估解决了模型预测伪标签不可靠的关键问题,利用加权的熵损失,能更有效地挖掘目标域数据特征结构信息和底层分布信息,提升了物体分类的准确率,本专利技术较之现有技术更易实现,很好地解决了目前在线测试时适应框架中无法获取到目标域数据并需要进行实时识别的问题,提高了在线测试时智能交通对车辆目标物体识别的准确率。

本文档来自技高网...

【技术保护点】

1.一种基于样本不确定性估计的在线测试时自适应目标识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于样本不确定性估计的在线测试时自适应目标识别方法,其特征在于,步骤1具体包括以下步骤:

3.根据权利要求2所述的基于样本不确定性估计的在线测试时自适应目标识别方法,其特征在于,对每张图像进行随机增强组合包括中心裁剪和随机水平翻转,中心裁剪尺寸为原图尺寸大小,随机水平翻转概率为0.5。

4.根据权利要求1所述的基于样本不确定性估计的在线测试时自适应目标识别方法,其特征在于,步骤2具体包括以下步骤:

5.根据权利要求4所述的基于样本不确定性估计的在线测试时自适应目标识别方法,其特征在于,步骤2-1中模型两次预测结果为:

6.根据权利要求4所述的基于样本不确定性估计的在线测试时自适应目标识别方法,其特征在于,步骤2-2中对两次模型评估结果进行差异计算的计算公式如下:

7.根据权利要求4所述的基于样本不确定性估计的在线测试时自适应目标识别方法,其特征在于,步骤2-3中加权损失为:

8.根据权利要求1所述的基于样本不确定性估计的在线测试时自适应目标识别方法,其特征在于,步骤3具体包括以下步骤:

...

【技术特征摘要】

1.一种基于样本不确定性估计的在线测试时自适应目标识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于样本不确定性估计的在线测试时自适应目标识别方法,其特征在于,步骤1具体包括以下步骤:

3.根据权利要求2所述的基于样本不确定性估计的在线测试时自适应目标识别方法,其特征在于,对每张图像进行随机增强组合包括中心裁剪和随机水平翻转,中心裁剪尺寸为原图尺寸大小,随机水平翻转概率为0.5。

4.根据权利要求1所述的基于样本不确定性估计的在线测试时自适应目标识别方法,其特征在于,步骤2具体包括以下步骤:...

【专利技术属性】
技术研发人员:孙涵孟新茹
申请(专利权)人:南京航空航天大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1