【技术实现步骤摘要】
基于深度对比学习的不完备多视图多标签分类方法和系统
[0001]本专利技术涉及模式识别
,尤其涉及一种基于深度对比学习的不完备多视图多标签分类方法和系统。
技术介绍
[0002]近年来,随着数据采集与特征提取方式的爆发性增长,仅从单一视角描述,分析和处理样本已难以满足愈加复杂的综合性分析需求,搜集自多种来源的多视图数据能够更加全面和准确地描述观察对象。一些方法利用对抗损失与标签损失学习多个视图的共享语义。另一些方法通过最大化潜在空间、特征空间与标签空间的相关性获得预测标签。另一类基于矩阵分解的方法通过在核空间最大化不同视图的基矩阵的依赖性对齐语义空间。值得注意的是,这些方法无一例外地都是建立在一个不合理的完备数据的前提下。然而真实实践中用于多视图多标签分类的数据往往是不完备的。一方面是搜集自多种来源的特征数据本身可能由于各种原因出现视图缺失现象,例如一些档案库中档案的媒体形式可能包括文本、音频、视频等,这些被看作不同视图的信息媒介并非普遍存在于所有的档案中,因此其所提取的多视图特征数据天然地存在缺失视图;另一方面,由于人工标记所有标签是困难的且成本昂贵的,真实数据中标签信息常常出现不同程度的缺失,这在具有大量强相关性标签的数据集中更为常见。基于此,不同于现有方法仅考虑视图缺失或标签缺失,旨在处理标签与视图双缺失问题,即随机的多视图特征数据缺失与多类别标签缺失问题。一些学者将基于矩阵分解的不完备多视图学习模型和基于标签相关性的多标签预测模型结合起来,通过学习公共表示连接特征空间与语义空间,并对标签相关性矩阵施加低 ...
【技术保护点】
【技术特征摘要】
1.一种基于深度对比学习的不完备多视图多标签分类方法,其特征在于,所述方法包括以下步骤:构建不完备多视图多标签分类网络模型;训练所述不完备多视图多标签分类网络模型;将测试数据输入训练好的所述不完备多视图多标签分类网络模型进行推理,输出预测标签;其中,所述不完备多视图多标签分类网络模型包括三个子模块:特定视图表示学习框架、不完备实例级对比学习模块和加权融合与不完备多标签分类模块,所述特定视图表示学习框架利用自编码器提取特征和重建原始数据,所述自编码器包括编码器和解码器,所述编码器用于提取特征,所述解码器用于重建原始数据;所述不完备实例级对比学习模块用于在所述编码器提取的特征上施加不完备实例级对比损失以增强多视图表示的一致性;所述加权融合与不完备多标签分类模块用于进行多视图的加权融合以及利用加权融合结果计算多标签分类得分,得到多标签分类的推理结果。2.根据权利要求1所述的基于深度对比学习的不完备多视图多标签分类方法,其特征在于,在所述特定视图表示学习框架中,针对视图输入数据X
(v)
,编码器E
(v)
提取对应的特征Z
(v)
=E
(v)
(X
(v)
),解码器D
(v)
对Z
(v)
进行解码,得到重构的在所述解码器的输出端施加平方损失函数用于使重构的与原始的X
(v)
误差小:其中,l表示视图数量,n表示样本数量,m
v
表示视图v的特征维度,表示样本i的重构特征,表示样本i的原始视图输入数据,表示先验缺失视图指示矩阵,表示先验缺失视图指示矩阵,表示先验缺失视图指示矩阵,表示第i个样本的第v个视图是缺失的,表示第i个样本的第v个视图是可用的。3.根据权利要求1所述的基于深度对比学习的不完备多视图多标签分类方法,其特征在于,所述不完备实例级对比学习模块采用对比学习方法引导编码器提取一致的特征,具体包括:对于l个视图共存在l
×
n个实例,其中的任一实例共有l
×
n
‑
1个实例与实例构成实例对,与实例属于同一样本的实例对为正实例对,其余实例为负实例对i、j均表示样本数,v、u均表示视图数,所述不完备实例级对比学习模块用于拉近正实例对的距离以及扩大负实例对的距离,距离度量函数使用余弦相似度,表达式如下:
其中<
·
>表示点积操作,对于任意两个视图,不完备对比学习损失函数为:其中,l表示视图数量,n表示样本数量,其中,l表示视图数量,n表示样本数量,τ表示控制分布的扩散程度,表示先验缺失视图指示矩阵,表示先验缺失视图指示矩阵,表示第i...
【专利技术属性】
技术研发人员:刘成亮,文杰,吴彦乔,许戈辉,
申请(专利权)人:哈尔滨工业大学深圳,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。