【技术实现步骤摘要】
本专利技术涉及使用自监督原型分数、冻结参数分支约束、小样本学习和无监督领域自适应图像分类。
技术介绍
1、近年来，深度学习在计算机视觉领域的任务，例如图像分类、语义分割等任务中取得了优越的性能表现，但深度神经网络在某一个特定的数据集训练后，在新的数据集上往往性能会出现大幅的下降，这是由于领域分布差异导致的。针对该问题，无监督领域自适应方法应运而生。通过利用相关源域上有标记的数据得到一个分类可靠的模型，再进行与目标域分布的领域对齐，即可得到在目标域上分类性能良好的方案。
2、然而在现实生活的应用中，提供大量准确的有标记样本需要很高的人工标注成本，这使得在特定领域下获得一个有标记的源域数据集是成本较高且难以实现的。考虑到现实中会遇到的问题，研究者提出了一个新的情景设定，即小样本的领域自适应方法。在这种情况下源域数据集中只有少量的标记样本，模型需要通过少量的标记样本获得分类相关的知识并适应到目标域数据分布上，在监督信息不足的情况下的同时还需要考虑到领域间差异的问题，这使得该任务更具挑战性。
3、现有的无监督领域自适应方法通常假定源域数据集是有标记的图像样本，而目标数据集是无标记的，通过减小源域和目标域之间的分布差异度量对齐源域和目标域的特征分布，并利用源域的充分的有标记样本让模型提取分类任务相关的知识。而在小样本域适应的设定下，如果直接应用现有的传统设定下的领域自适应的方法，模型可能难以有效的利用源域中有限的标记信息，导致源域和目标域特征分布的对齐策略失效，进而产生模型性能大幅下降的问题。因此小样本域适应问题中
4、当前技术的局限性在于：首先，在小样本域适应中源域有标记数据量有限，而深度学习的模型参数量往往较为庞大，这种情况下容易发生过拟合问题；其次，现有方法对源域和目标域的分布差异较为敏感，当领域差异较大时，模型性能下降明显；第三，小样本的领域自适应模型现有方法多为基于聚类的方法，在源域和目标域之间存在较大的领域差异且有标记的样本极为有限的情况下，聚类方法存在较为明显的局限性，在减小域间差异时可能会导致类别误分的现象。
5、综上所述，为了解决以上的三个挑战，我们提出了基于自监督原型分数和冻结参数分支约束的小样本领域自适应图像分类方法。首先，提出了一个域内和域间的自监督原型分数的计算方法，增强源域和目标域的图像样本与类别的相关性，促进源域到目标域的自适应分布对齐；第二，提出了一个利用参数冻结的预训练模型分支的辅助约束方法，保证图像的语义特征的多样性，防止模型在源域的小样本有标记数据上过拟合；第三，提出了一个基于梯级概率的跨域边界优化，缓解源域和目标域存在域差异所造成的分类器的类别边界偏移，进一步提高模型的小样本域适应图像分类能力。
技术实现思路
0、
技术实现思路
：
1、为了解决当前的域适应模型在源域有标记样本稀缺且领域差异较大时图像分类效果不理想的问题，本文专利技术了一种基于自监督原型分数和冻参分支约束的小样本域适应图像分类方法，
技术实现思路
主要包括：促进域内可鉴别性并减小域间差异的自监督原型分数的计算方法，提取无标记样本的多样性语义的结合冻结参数模型辅助的分支约束操作，降低类别边界不确定性的跨域边界优化方法，利用优化的分类器进行小样本域适应图像分类。
2、一种基于自监督原型分数和冻参分支约束的小样本域适应图像分类方法，其主要步骤如下：
3、步骤一、提出一种域内和域间的自监督原型分数计算方法，基于文本特征类别原型与图像样本特征构建。首先构建m组文本提示模版和源域数据的k个类别进行拼接，输入基于transformer骨干网络的文本编码器g，对其输出取平均得到对应k个类别的特征原型向量v，将源域和目标域的图像样本输入图像编码器f得到样本特征向量hs和ht，分别与文本的类别特征原型向量v计算原型相似度，得到源域及目标域的样本-类别相似度分数cs和ct；其次，对于源域中存在的少量有标记的图像，为辅助矫正自监督训练的优化方向，对其样本-类别相似度分数做独热处理。对样本-类别相似度分数应用负对数似然计算，得到域内的自监督原型分数。基于上面得到的样本-类别相似度分数cs和ct构建源域和目标域的样本-类别相似度矩阵ps和pt，计算二者的kl散度得到域间自监督原型分数，将域内和域间的自监督原型分数相加，得到总体的域内和域间的自监督原型分数。
4、步骤二、基于步骤一的自监督原型分数计算方法，利用结合冻结参数的预训练模型作为辅助分支进行约束操作。首先，在自监督原型分数的指导下对源域样本和目标域样本进行域内对齐，通过域内自监督原型分数筛选出更接近文本类别原型的图像样本嵌入，得到源域和目标域各自具有鉴别性的样本嵌入，其次，对源域和目标域的样本进行域间对齐，在域间自监督原型分数的指导下筛选与源域更加相似的目标域样本嵌入，最后得到具有鉴别性的且目标域分布和源域分布相似的图像样本特征嵌入向量。进一步，为促进提取语义的多样性，利用冻结参数的预训练模型作为辅助分支进行约束操作。首先，将步骤一中m组提示模版以及源域和目标域的图像样本分别输入冻结参数的预训练模型的文本编码器g'和图像编码器f'，得到文本特征原型向量v′和图像样本特征向量h′s和h′t，计算图像样本特征向量和文本特征原型之间的原型相似度，进而得到预训练模型分支的源域及目标域的样本-类别相似度矩阵p′s和p′t。为促使其提取到多样性的语义特征，并防止模型在源域的少量标记样本上过拟合，分别将两分支的样本-类别相似度矩阵依照源域和目标域进行拼接，计算自监督原型分支和预训练模型分支的样本-类别相似度矩阵的kl散度，得到分支间差异指数。基于得到的分支间差异指数，筛选出分支间差异指数更小的图像样本，从而结合自监督原型分支实现约束操作，得到兼具泛化性和任务特定语义的图像样本特征嵌入向量。
5、步骤三、基于步骤二得到的图像样本特征嵌入向量，提出一个基于梯级概率的跨域边界优化操作。首先，将由步骤二得到的源域和目标域经对齐和约束后的图像样本特征嵌入向量输入分类器h，得到预测置信度向量，通过软最大化后取前两高的预测概率，用第二高的概率值减去最大的概率值得到梯级概率pm，取一个大于0的阈值ε，用梯级概率pm加上该阈值，即得到跨域边界度量值。根据跨域边界度量值，使分类器h的分类边界远离特征分布较为密集的区域，得到源域和目标域样本的预测概率向量。
6、步骤四、基于步骤三得到的源域和目标域样本的预测概率向量，进行目标域图像样本类别边界的确定。将步骤三得到的源域和目标域样本的预测概率向量进行拼接，在边缘概率分布和条件概率分布上分别计算样本预测概率向量的熵值，在模型的迭代过程中进行最大最小化，分类器h确定最终的分类边界，得到目标域的预测概率向量，从而得到图像分类的结果，提高了对目标域样本预测的全局多样性和分类准确性。
7、有益效果：
8、与现有的小样本域适应图像分类方法相比，本文档来自技高网...
【技术保护点】
1.一种基于自监督原型分数和冻参分支约束的小样本域适应方法，其特征在于：至少包括以下步骤：
2.根据权利要求1所述的一种基于自监督原型分数和冻参分支约束的小样本域适应方法，其特征在于：步骤一中提出域内和域间的自监督原型分数计算方法，先将构建的文本提示模板与源域类别标签拼接后输入基于Transformer的文本编码器，得到文本特征原型向量，再将小部分有标记的源域和无标记的源域和目标域图像输入基于Resnet的图像编码器，得到图像样本特征向量，计算图像样本特征向量与文本特征原型向量的原型相似度，利用域内和域间的自监督原型分数度量源域和目标域图像样本的可鉴别性以及源域和目标域图像样本特征分布的差异，其目的是令模型提取到具有可鉴别性且目标域和源域分布相近的图像样本特征嵌入向量，域内和域间的自监督原型分数计算过程为计算图像样本特征向量和文本特征原型向量的原型相似度、计算图像样本-类别相似度分数的负对数似然、定义域内的自监督原型分数、构建源域和目标域的样本-类别相似度矩阵、计算源域与目标域样本-类别相似度矩阵的差异、定义域间的自监督原型分数。
3.根据权利要求1所述的
4.根据权利要求1所述的一种基于自监督原型分数和冻参分支约束的小样本域适应方法，其特征在于：步骤三中提出基于梯级概率的跨域边界优化操作，首先利用全连接网络作为分类器，将由步骤二得到的经过域内和域间对齐以及双分支约束后的图像样本特征嵌入向量输入分类器，得到预测置信度向量，通过软最大化激活，用第二高的概率值减去最高的概率值得到梯级概率，取一个大于0的合理阈值，用梯级概率和阈值相加，得到跨域边界度量值；根据跨域边界度量值，可缓解域差异导致的类别错误匹配和边界偏移，使分类器的分类边界远离特征分布较密集的区域，从而得出源域和目标域样本的预测概率向量。
5.根据权利要求1所述的一种基于自监督原型分数和冻参分支约束的小样本域适应方法，其特征在于：步骤四中提出基于步骤三得到的源域和目标域的预测概率向量进行目标域图像样本分类边界的确定；将得到的源域和目标域样本的预测概率向量进行拼接，在边缘概率分布和条件概率分布上分别计算源域和目标域样本预测概率向量的熵值，迭代过程中最大化边缘分布的熵值，最小化条件概率分布的熵值，同时保证目标域样本的全局分类多样性和类别预测准确性，确定目标域图像样本的分类边界，最后利用上述的小样本无监督域适应图像分类模型进行图像分类。
...【技术特征摘要】
1.一种基于自监督原型分数和冻参分支约束的小样本域适应方法，其特征在于：至少包括以下步骤：
2.根据权利要求1所述的一种基于自监督原型分数和冻参分支约束的小样本域适应方法，其特征在于：步骤一中提出域内和域间的自监督原型分数计算方法，先将构建的文本提示模板与源域类别标签拼接后输入基于transformer的文本编码器，得到文本特征原型向量，再将小部分有标记的源域和无标记的源域和目标域图像输入基于resnet的图像编码器，得到图像样本特征向量，计算图像样本特征向量与文本特征原型向量的原型相似度，利用域内和域间的自监督原型分数度量源域和目标域图像样本的可鉴别性以及源域和目标域图像样本特征分布的差异，其目的是令模型提取到具有可鉴别性且目标域和源域分布相近的图像样本特征嵌入向量，域内和域间的自监督原型分数计算过程为计算图像样本特征向量和文本特征原型向量的原型相似度、计算图像样本-类别相似度分数的负对数似然、定义域内的自监督原型分数、构建源域和目标域的样本-类别相似度矩阵、计算源域与目标域样本-类别相似度矩阵的差异、定义域间的自监督原型分数。
3.根据权利要求1所述的一种基于自监督原型分数和冻参分支约束的小样本域适应方法，其特征在于：步骤二中提出利用结合冻结参数的预训练模型作为辅助分支进行约束操作，首先，利用步骤一的域内和域间的自监督原型分数，对源域和目标域的图像样本分别进行域内和域间的对齐操作，得到具有鉴别性且源域和目标域分布相近的图像样本特征嵌入向量；其次，将步骤一中构建的文本提示模板以及源域和目标域的图像样本分别输入冻结参数的预训练模型分支的文本编码器和图像编码器，得到...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。