多视角聚类方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种多视角聚类方法、装置、电子设备及存储介质，涉及多媒体技术领域，所述方法包括：获取多视角的样本数据，并将其输入特征提取网络中，得到多视角的样本数据的原始特征；将其分别输入多视角对应的编码器中，得到多视角的样本数据的编码特征；构建狄利克雷过程高斯混合模型的深度变分推理网络，深度变分推理网络用于最小化重参数变分概率分布与狄利克雷过程高斯混合模型的先验概率分布之间的KL距离；将多视角的样本数据的编码特征输入深度变分推理网络中，进行未知聚类数的无监督聚类，得到聚类簇的聚类数和每个视角中各样本的预测聚类标签。本发明专利技术可以在未知聚类数的条件下进行多视角聚类，并在聚类过程自动发现聚类数。聚类数。聚类数。

【技术实现步骤摘要】
多视角聚类方法、装置、电子设备及存储介质


[0001]本专利技术涉及多媒体
，尤其涉及一种多视角聚类方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网和多媒体的快速发展，多视角数据呈爆炸式增长。多视角聚类作为多视角学习的基本任务，旨在挖掘不同视角之间的信息互补特性，以提升数据聚类性能。
[0003]现有的多视角聚类方案中，深度依赖聚类数为先验信息来提高多视角聚类效果。然而，在更具有现实意义的场景中，往往不知道待聚类的多视角数据的聚类数，因此如何在未知聚类数的条件下进行多视角聚类，并在聚类过程自动发现聚类数，成为一个巨大挑战。

技术实现思路

[0004]本专利技术提供一种多视角聚类方法、装置、电子设备及存储介质，用以解决现有技术中无法实现在未知聚类数的条件下进行多视角聚类，并在聚类过程自动发现聚类数的缺陷，实现在未知聚类数的条件下进行多视角聚类，并在聚类过程自动发现聚类数的目的。
[0005]本专利技术提供一种多视角聚类方法，包括：
[0006]获取多视角的样本数据，并将所述多视角的样本数据输入特征提取网络中，得到所述多视角的样本数据的原始特征；
[0007]将所述多视角的样本数据的原始特征分别输入多视角对应的编码器中，得到所述多视角的样本数据的编码特征；
[0008]构建狄利克雷过程高斯混合模型的深度变分推理网络，所述深度变分推理网络用于最小化重参数变分概率分布与狄利克雷过程高斯混合模型的先验概率分布之间的KL距离；
[0009]将所述多视角的样本数据的编码特征输入所述深度变分推理网络中，进行未知聚类数的无监督聚类，得到聚类簇的聚类数和每个视角中各样本的预测聚类标签。
[0010]根据本专利技术提供的一种多视角聚类方法，所述构建狄利克雷过程高斯混合模型的深度变分推理网络，包括：
[0011]基于重参数在第一分布中的变分概率分布，确定所述重参数变分概率分布；
[0012]基于在狄利克雷过程高斯混合模型的先验超参数下所述变分参数和待分类特征在第二分布中的联合分布概率，确定所述狄利克雷过程高斯混合模型的先验概率分布；
[0013]基于所述重参数变分概率分布与所述先验概率分布之间的KL距离的第一最小化函数，构建狄利克雷过程高斯混合模型的深度变分推理网络。
[0014]根据本专利技术提供的一种多视角聚类方法，所述将所述多视角的样本数据的编码特征输入所述深度变分推理网络中，进行未知聚类数的无监督聚类，得到聚类簇的聚类数和每个视角中各样本的预测聚类标签，包括：
[0015]将所述多视角的样本数据的编码特征作为所述待分类特征，输入所述深度变分推
理网络中；
[0016]将所述第一最小化函数，转换为所述重参数变分概率分布对应的数学期望与所述先验概率分布对应的数学期望之间的变分推理损失的第二最小化函数；
[0017]求解所述第二最小化函数，得到聚类簇的聚类数和每个视角中各样本的预测聚类标签。
[0018]根据本专利技术提供的一种多视角聚类方法，所述方法还包括：
[0019]基于各视角中各样本的预测聚类标签，确定所有视角的跨视角样本锚点对比损失函数的第一累加函数和所有视角的跨视角簇锚点对比损失函数的第二累加函数；
[0020]基于所述第一累加函数和所述第二累加函数，进行跨视角双锚点对比学习，以跨视角对齐同一样本数据的预测聚类标签和同一聚类簇的预测聚类标签；
[0021]针对每个聚类簇中的目标样本数据，对所述聚类簇中所有视角的目标样本数据对齐后的预测聚类标签的预测概率进行平均池化，得到所述目标样本数据的鲁棒标签。
[0022]根据本专利技术提供的一种多视角聚类方法，所述基于各视角中各样本的预测聚类标签，确定所有视角的跨视角样本锚点对比损失函数的第一累加函数，包括：
[0023]针对第一视角，确定所述第一视角中各样本的预测聚类标签序列和具有样本锚点的第二视角中各样本的预测聚类标签序列之间的跨视角样本锚点对比损失函数；
[0024]确定所有视角的跨视角样本锚点对比损失函数的第一累加函数。
[0025]根据本专利技术提供的一种多视角聚类方法，所述基于各视角中各样本的预测聚类标签，确定所有视角的跨视角簇锚点对比损失函数的第二累加函数，包括：
[0026]针对第一视角，确定所述第一视角中各样本的预测聚类标签序列和具有簇锚点的第二视角中各样本的预测聚类标签序列之间的跨视角簇锚点对比损失函数；
[0027]确定所有视角的跨视角簇锚点对比损失函数的第二累加函数。
[0028]根据本专利技术提供的一种多视角聚类方法，所述方法还包括：
[0029]将多视角的样本数据的鲁棒标签输入多视角对应的解码器中，得到多视角的样本数据的重建特征；
[0030]基于所述多视角的样本数据的原始特征和重建特征，构建无监督重建损失函数；
[0031]基于所述无监督重建损失函数对所述多视角对应的编码器的参数进行调整。
[0032]本专利技术还提供一种多视角聚类装置，包括：
[0033]提取模块，用于获取多视角的样本数据，并将所述多视角的样本数据输入特征提取网络中，得到所述多视角的样本数据的原始特征；
[0034]编码模块，用于将所述多视角的样本数据的原始特征分别输入多视角对应的编码器中，得到所述多视角的样本数据的编码特征；
[0035]构建模块，用于构建狄利克雷过程高斯混合模型的深度变分推理网络，所述深度变分推理网络用于最小化重参数变分概率分布与狄利克雷过程高斯混合模型的先验概率分布之间的KL距离；
[0036]聚类模块，用于将所述多视角的样本数据的编码特征输入所述深度变分推理网络中，进行未知聚类数的无监督聚类，得到聚类簇的聚类数和每个视角中各样本的预测聚类标签。
[0037]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理
器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的多视角聚类方法的步骤。
[0038]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的多视角聚类方法的步骤。
[0039]本专利技术提供的多视角聚类方法、装置、电子设备及存储介质，首先，获取多视角的样本数据，并将多视角的样本数据输入特征提取网络中，得到多视角的样本数据的原始特征；而后，将多视角的样本数据的原始特征分别输入多视角对应的编码器中，得到多视角的样本数据的编码特征，可以将多视角的样本数据的原始特征映射到共同的语义表征空间中；然后，构建狄利克雷过程高斯混合模型的深度变分推理网络，深度变分推理网络用于最小化重参数变分概率分布与狄利克雷过程高斯混合模型的先验概率分布之间的KL距离；最后，将多视角的样本数据的编码特征输入深度变分推理网络中，通过最小化重参数变分概率分布与狄利克雷过程高斯混合模型的先验概率分布之间的KL距离，可以进行未知聚类数的无监督聚类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视角聚类方法，其特征在于，包括：获取多视角的样本数据，并将所述多视角的样本数据输入特征提取网络中，得到所述多视角的样本数据的原始特征；将所述多视角的样本数据的原始特征分别输入多视角对应的编码器中，得到所述多视角的样本数据的编码特征；构建狄利克雷过程高斯混合模型的深度变分推理网络，所述深度变分推理网络用于最小化重参数变分概率分布与狄利克雷过程高斯混合模型的先验概率分布之间的KL距离；将所述多视角的样本数据的编码特征输入所述深度变分推理网络中，进行未知聚类数的无监督聚类，得到聚类簇的聚类数和每个视角中各样本的预测聚类标签。2.根据权利要求1所述的多视角聚类方法，其特征在于，所述构建狄利克雷过程高斯混合模型的深度变分推理网络，包括：基于重参数在第一分布中的变分概率分布，确定所述重参数变分概率分布；基于在狄利克雷过程高斯混合模型的先验超参数下所述变分参数和待分类特征在第二分布中的联合分布概率，确定所述狄利克雷过程高斯混合模型的先验概率分布；基于所述重参数变分概率分布与所述先验概率分布之间的KL距离的第一最小化函数，构建狄利克雷过程高斯混合模型的深度变分推理网络。3.根据权利要求2所述的多视角聚类方法，其特征在于，所述将所述多视角的样本数据的编码特征输入所述深度变分推理网络中，进行未知聚类数的无监督聚类，得到聚类簇的聚类数和每个视角中各样本的预测聚类标签，包括：将所述多视角的样本数据的编码特征作为所述待分类特征，输入所述深度变分推理网络中；将所述第一最小化函数，转换为所述重参数变分概率分布对应的数学期望与所述先验概率分布对应的数学期望之间的变分推理损失的第二最小化函数；求解所述第二最小化函数，得到聚类簇的聚类数和每个视角中各样本的预测聚类标签。4.根据权利要求1至3任一项所述的多视角聚类方法，其特征在于，所述方法还包括：基于各视角中各样本的预测聚类标签，确定所有视角的跨视角样本锚点对比损失函数的第一累加函数和所有视角的跨视角簇锚点对比损失函数的第二累加函数；基于所述第一累加函数和所述第二累加函数，进行跨视角双锚点对比学习，以跨视角对齐同一样本数据的预测聚类标签和同一聚类簇的预测聚类标签；针对每个聚类簇中的目标样本数据，对所述聚类簇中所有视角的目标样本数据对齐后的预测聚类标签的预测概率进行平均池化，得到所述目标样本...

【专利技术属性】
技术研发人员：钱胜胜，徐常胜，薛迪展，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：