一种图像分类方法和装置制造方法及图纸

本申请公开了一种图像分类方法和装置，通过对待分类的图像进行语义引导的注意力权重处理，提取得到属性视觉基元特征和物体视觉基元特征，并基于此，通过图像分类器对其进行处理，得到与该图像对应的目标分类结果。图像分类器中包括细粒度属性原型和细粒度物体原型，每一个所述细粒度属性原型由从对应属性语义特征和物体语义特征组合的图像样本中提取的属性视觉基元特征计算得到，细粒度物体原型同理。基于此，每一个所述属性语义特征或者所述物体语义特征都有与之对应的多个细粒度属性原型或者细粒度物体原型，提升每一个所述属性语义特征和所述物体语义特征的视觉多样性，有利于提升图像分类的准确率。利于提升图像分类的准确率。利于提升图像分类的准确率。

【技术实现步骤摘要】
一种图像分类方法和装置


[0001]本申请涉及图像识别
，更具体地说，涉及一种图像分类方法和装置。

技术介绍

[0002]在计算机视觉领域中，图像分类可以学习多个不同语义标签对应的视觉基元特征，并基于待分类图像的视觉基元特征与上述语义标签对应的视觉基元特征进行分类。通常图像所表现的语义信息不只一个，其中可以包括物体信息和属性信息，基于此，可以利用训练好的组合式零样本分类模型，识别图像对应的物体语义标签和属性语义标签。
[0003]但是现有技术中，通常一个语义标签只学习一个统一的视觉基元特征，忽略了在不同图像场景下，同一个语义标签所呈现的视觉表现之间的差异性，基于上述缺乏多样性的视觉图像分类，最终得到的图像分类结果也会与图像本身存在较大差异。

技术实现思路

[0004]有鉴于此，本申请提供了一种图像分类方法和装置，用于解决现有图像识别方式中，视觉特征单一的问题。
[0005]为了实现上述目的，现提出的方案如下：
[0006]一种图像分类方法，包括：
[0007]获取待分类图像；
[0008]对所述待分类图像进行语义引导的注意力权重处理，得到所述待分类图像的待分类属性视觉基元特征和待分类物体视觉基元特征，所述语义引导的注意力权重处理是基于从训练数据集中提取的属性语义特征和物体语义特征，与所述待分类图像的特征图进行计算得到属性视觉基元特征和物体特征的处理过程；
[0009]将所述待分类属性视觉基元特征和所述待分类物体视觉基元特征输入图像分类器进行分类处理，得到与所述待分类图像对应的目标分类结果，所述图像分类器由所述训练数据集中的图像样本，所述图像样本对应的属性语义特征、物体语义特征，以及细粒度属性原型和细粒度物体原型训练得到，使其针对图像的属性视觉基元特征和物体视觉基元特征进行分类，其中，每一个所述细粒度属性原型由从对应属性语义特征和物体语义特征组合的图像样本中提取的属性视觉基元特征计算得到，所述细粒度物体原型由从对应物体语义特征和属性语义特征的图像样本中提取的物体视觉基元特征计算得到。
[0010]优选地，该方法还包括：
[0011]获取训练数据集，所述训练数据集中包括多个图像样本，每一个所述图像样本包括属性标签和物体标签；
[0012]从每一个所述图像样本中提取特征图；
[0013]对所述属性标签和所述物体标签进行语义提取处理，得到属性语义特征和物体语义特征；
[0014]基于所述属性语义特征和所述物体语义特征的语义相似度，从所述图像样本中选
取目标图像进行图像混合，得到新图像样本；
[0015]提取所述新图像样本的特征图、属性语义特征和物体语义特征；
[0016]将所有的所述图像样本和所述新图像样本的所述特征图、所述属性语义特征和所述物体语义特征进行语义引导的注意力权重处理，得到与每一个所述图像样本或者所述新图像样本对应的属性视觉基元特征和物体视觉基元特征；
[0017]基于预设的分类器结构、所述属性视觉基元特征、所述物体视觉基元特征进行训练，得到图像分类器。
[0018]优选地，所述将所有的所述图像样本和所述新图像样本的所述特征图、所述属性语义特征和所述物体语义特征进行语义引导的注意力权重处理，得到与每一个所述图像样本或者所述新图像样本对应的属性视觉基元特征和物体视觉基元特征，包括：
[0019]对所有的所述属性语义特征和所述特征图进行计算，得到所述特征图与所述属性语义特征之间的属性相似度；
[0020]对所述属性相似度进行卷积计算及整合并与所述特征图进行计算，得到与所述图像样本或者所述新图像样本的所述属性语义特征对应的属性视觉基元特征；
[0021]对所有的所述物体语义特征和所述特征图进行计算，得到与每一个特征图与每一个所述物体语义特征之间的物体相似度；
[0022]对所述物体相似度进行卷积计算及整合并与所述特征图进行计算，得到与所述图像样本或者所述新图像样本的所述物体语义特征对应的物体视觉基元特征。
[0023]优选地，所述图像分类器包括细粒度基元分类器，其中，所述基于预设的分类器结构、所述属性视觉基元特征、所述物体视觉基元特征进行训练，得到图像分类器，包括：
[0024]基于所述图像样本和所述新图像样本的所述属性语义特征和物体语义特征，对所述图像样本和所述新图像样本进行细粒度划分，得到多个细粒度类别，每一个所述细粒度类别中至少包括一个所述图像样本或所述新图像样本，且同一个所述细粒度类别中的所述图像样本或所述新图像样本的所述属性语义特征和所述物体语义特征相同；
[0025]根据每一个所述细粒度类别中所包括的所述图像样本或所述新图像样本的属性视觉基元特征进行计算，得到每一个所述细粒度类别的细粒度属性原型；
[0026]根据每一个所述细粒度类别中所包括的所述图像样本或所述新图像样本的物体视觉基元特征进行计算，得到每一个所述细粒度类别的细粒度物体原型；
[0027]利用所述细粒度属性原型和细粒度物体原型对预设的分类器结构进行初始化，得到待训练细粒度基元分类器；
[0028]基于所述待训练细粒度分类器和所述图像样本进行训练，得到细粒度基元分类器，所述训练过程基于所述图像样本的所述属性视觉基元特征和所述物体视觉基元特征来训练，以使得所述细粒度基元分类器分别根据所述属性视觉基元特征和所述物体视觉基元特征计算与所述细粒度属性原型和所述细粒度物体原型之间的预测分数，基于所述预测分数计算并输出细粒度的预测分数。
[0029]优选地，该方法还包括：
[0030]将所有的所述属性视觉基元特征、所述物体视觉基元特征、所述属性语义特征、所述物体语义特征、所述细粒度属性原型和所述细粒度物体原型映射到对比空间；
[0031]在所述对比空间中，利用损失函数对所述属性视觉基元特征、所述物体视觉基元
特征、所述属性语义特征、所述物体语义特征、所述细粒度属性原型和所述细粒度物体原型进行约束，得到强化后的属性视觉基元特征、物体视觉基元特征、细粒度属性原型和细粒度物体原型，所述损失函数至少包括多模态对比损失、细粒度原型损失和粗粒度原型损失；
[0032]利用所述强化后的细粒度属性原型和细粒度物体原型对预设的分类器结构进行初始化，得到待训练细粒度基元分类器；
[0033]基于所述待训练细粒度分类器和所述图像样本进行训练，得到细粒度基元分类器，所述训练过程基于所述图像样本的所述属性视觉基元特征和所述物体视觉基元特征来训练，以使得所述细粒度基元分类器分别根据所述属性视觉基元特征和所述物体视觉基元特征计算与所述强化后的细粒度属性原型和细粒度物体原型之间的预测分数，基于所述预测分数计算并输出细粒度的预测分数。
[0034]优选地，该方法还包括：
[0035]在所述图像分类器中，利用分类损失函数对所述图像分类器进行约束。
[0036]优选地，所述将所述待分类属性视觉基元特征和所述待分类物体视觉基元特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分类方法，其特征在于，包括：获取待分类图像；对所述待分类图像进行语义引导的注意力权重处理，得到所述待分类图像的待分类属性视觉基元特征和待分类物体视觉基元特征，所述语义引导的注意力权重处理是基于从训练数据集中提取的属性语义特征和物体语义特征，与所述待分类图像的特征图进行计算得到属性视觉基元特征和物体特征的处理过程；将所述待分类属性视觉基元特征和所述待分类物体视觉基元特征输入图像分类器进行分类处理，得到与所述待分类图像对应的目标分类结果，所述图像分类器由所述训练数据集中的图像样本，所述图像样本对应的属性语义特征、物体语义特征，以及细粒度属性原型和细粒度物体原型训练得到，使其针对图像的属性视觉基元特征和物体视觉基元特征进行分类，其中，每一个所述细粒度属性原型由从对应属性语义特征和物体语义特征组合的所述图像样本中提取的属性视觉基元特征计算得到，所述细粒度物体原型由从对应物体语义特征和属性语义特征的所述图像样本中提取的物体视觉基元特征计算得到。2.根据权利要求1所述的方法，其特征在于，还包括：获取训练数据集，所述训练数据集中包括多个图像样本，每一个所述图像样本包括属性标签和物体标签；从每一个所述图像样本中提取特征图；对所述属性标签和所述物体标签进行语义提取处理，得到属性语义特征和物体语义特征；基于所述属性语义特征和所述物体语义特征的语义相似度，从所述图像样本中选取目标图像进行图像混合，得到新图像样本；提取所述新图像样本的特征图、属性语义特征和物体语义特征；将所有的所述图像样本和所述新图像样本的所述特征图、所述属性语义特征和所述物体语义特征进行语义引导的注意力权重处理，得到与每一个所述图像样本或者所述新图像样本对应的属性视觉基元特征和物体视觉基元特征；基于预设的分类器结构、所述属性视觉基元特征、所述物体视觉基元特征进行训练，得到图像分类器。3.根据权利要求2所述的方法，其特征在于，所述将所有的所述图像样本和所述新图像样本的所述特征图、所述属性语义特征和所述物体语义特征进行语义引导的注意力权重处理，得到与每一个所述图像样本或者所述新图像样本对应的属性视觉基元特征和物体视觉基元特征，包括：对所有的所述属性语义特征和所述特征图进行计算，得到所述特征图与每一个所述属性语义特征之间的属性相似度；对所述属性相似度进行卷积计算及整合并与所述特征图进行计算，得到与所述图像样本或者所述新图像样本的所述属性语义特征对应的属性视觉基元特征；对所有的所述物体语义特征和所述特征图进行计算，得到所述特征图与每一个所述物体语义特征之间的物体相似度；对所述物体相似度进行卷积计算及整合并与所述特征图进行计算，得到与所述图像样本或者所述新图像样本的所述物体语义特征对应的物体视觉基元特征。
4.根据权利要求2所述的方法，其特征在于，所述图像分类器包括细粒度基元分类器，其中，所述基于预设的分类器结构、所述属性视觉基元特征、所述物体视觉基元特征进行训练，得到图像分类器，包括：基于所述图像样本和所述新图像样本的所述属性语义特征和物体语义特征，对所述图像样本和所述新图像样本进行细粒度划分，得到多个细粒度类别，每一个所述细粒度类别中至少包括一个所述图像样本或所述新图像样本，且同一个所述细粒度类别中的所述图像样本或所述新图像样本的所述属性语义特征和所述物体语义特征相同；根据每一个所述细粒度类别中所包括的所述图像样本或所述新图像样本的属性视觉基元特征进行计算，得到每一个所述细粒度类别的细粒度属性原型；根据每一个所述细粒度类别中所包括的所述图像样本或所述新图像样本的物体视觉基元特征进行计算，得到每一个所述细粒度类别的细粒度物体原型；利用所述细粒度属性原型和细粒度物体原型对预设的分类器结构进行初始化，得到待训练细粒度基元分类器；基于所述待训练细粒度分类器和所述图像样本进行训练，得到细粒度基元分类器，所述训练过程基于所述图像样本的所述属性视觉基元特征和所述物体视觉基元特征来训练，以使得所述细粒度基元分类器分别根据所述属性视觉基元特征和所述物体视觉基元特征计算与所述细粒度属性原型和所述细粒度物体原型之间的预测分数，基于所述预测分数计算并输出细粒度的预测分数。5.根据权利要求4所述的方法，其特征在于，还包括：将所有的所述属性视觉基元特征、所述物体视觉基元特征、所述属性语义特征、所述物体语义特征、所述细粒度属性原型和所述细粒度物体原型映射到对比空间；在所述对比空间中，利用损失函数对所述属性视觉基元特征、所述物体视觉基元特征、所述属性语义特征、所述物体语义特征、所述细粒度属性原型和所...

【专利技术属性】
技术研发人员：姜晗，陈超凡，杨小汕，徐常胜，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：