本发明专利技术公开一种基于多模态原型网络的PU对比学习异常检测方法及系统，属于医疗人工智能领域，利用扩张卷积网络与Bert模型构成多模态数据（脑电、文本）特征提取与融合网络，通过多模态特征增强的原型网络进行聚类，但缺乏标注负样本故结果存在偏差；最后采用融合PU学习的对比学习方法对有偏聚类结果进行无偏风险估计，纠正偏差，准确地识别出正、负类样本。本发明专利技术通过分析有限数量的多模态正样本和大量无标签数据实现正、负样本的准确分类，避免高昂的人工标注成本；采用自监督学习框架，将PU学习融入对比学习中，纠正样本不平衡和缺少标注负样本造成的分类偏差，可应用于医疗诊断，辅助医生高效、准确地筛查病症，具有广泛的应用前景。
【技术实现步骤摘要】
本专利技术涉及医疗人工智能，更具体的说是涉及一种基于多模态原型网络的pu对比学习异常检测方法及系统。
技术介绍
1、在当今的医疗诊断领域中，准确迅速地诊断出病人的疾病变得越来越重要。传统的医学诊断方法主要依赖于医生的经验和知识，具有耗时效率低、无法处理大量患者数据、缺乏自动化和智能化的问题。医疗人工智能技术以其在图像识别、自然语言处理和深度学习等方面的出色性能，正逐渐成为辅助医生诊断，解决上述问题的重要工具。而现有的医疗智能检测方法通常为单模态检测，存在检测准确率有限且需要大量标注样本的问题，标注成本高昂。为了提高检测的准确率，可采用多模态数据进行分析，但在医疗诊断场景中，获取标注的多模态（脑电、文本）正样本及负样本数据是极其困难且成本高昂，通常情况下，获得的多模态数据为部分标注的正样本及大量未标记样本，这种数据不平衡性使得训练一个有效的分类器变得尤为困难，并且偏差较大。
2、为解决上述问题，现有的多模态异常检测方法大多通过数据增强技术来平衡正负样本，例如通过翻转、切分或添加噪声来人工地增加正样本数量，但这种方式无法充分捕捉数据的内在关联，而且可能引入额外的噪声。除此之外，目前一些先进的方法使用半监督学习对未标注数据进行学习，试图从大量未标注样本中提取有用信息，但通常需要精心设计损失函数和训练策略，面临模型难收敛，易坍塌的问题。
3、因此，提出一种基于多模态原型网络的pu对比学习异常检测方法，在多模态数据不平衡和资源有限的情境下，实现准确和有效的二分类，是本领域技术人员亟需解决的问题。
<
p>技术实现思路1、有鉴于此，本专利技术提供了一种基于多模态原型网络的pu对比学习异常检测方法及系统，采用扩张卷积网络与bert模型来建立多模态数据（脑电、文本）特征提取与融合网络，然后利用多模态特征增强的原型网络对融合后的特征进行聚类；由于缺乏标注负样本且数据的不平衡性，聚类结果存在偏差，为解决这一问题，通过融合正无标签（pu）学习的自监督对比学习策略对上述聚类结果进行无偏风险估计，判断样本所属类别，旨在从无标签样本中准确地识别出正类、负类样本。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、一方面，本专利技术公开一种基于多模态原型网络的pu对比学习异常检测方法，包括以下步骤：
4、采集多模态数据，所述多模态数据包括脑电模态数据和文本模态数据；
5、构建无偏分类模型，并对所述无偏分类模型进行训练；所述无偏分类模型包括特征提取与融合网络、多模态特征增强的原型网络以及pu对比学习网络；所述特征提取与融合网络根据多模态数据生成融合特征，通过所述多模态特征增强的原型网络对所述融合特征进行聚类，聚类结果存在一定偏差；最后利用所述pu对比学习网络对所述有偏聚类结果进行无偏风险估计，纠正因缺乏标注负类样本及数据不平衡性所造成的偏差，实现多模态数据的分类；
6、将所述多模态数据输入到训练后的无偏分类模型中，输出所述多模态数据所属的类别。
7、优选的，采集多模态数据包括对所述多模态数据进行预处理；
8、将所述多模态数据划分为部分标记正样本
x
p，和未标记样本
x
u，；所述部分标记正样本
x
p的标签为y=+1，所述未标记样本
x
u无标签。
9、优选的，所述特征提取与融合网络包括扩张卷积网络、bert模型和多头自注意力机制；
10、所述扩张卷积网络和所述bert模型分别用于所述脑电模态数据和所述文本模态数据的特征提取；所述多头自注意力机制用于将所述多模态数据的特征进行融合，生成所述融合特征。
11、优选的，所述多模态特征增强的原型网络通过融合特征计算
k类的原型，，其中，为所述部分标记正样本
x
p的原型即正类原型，；为所述未标记样本
x
u的原型即未标签原型，但因未标签数据中包含正类样本和负类样本，所以未标签原型具有一定的偏差；
12、计算每个样本与各个原型在嵌入空间中的欧几里德距离，得到二分类的概率分布。
13、优选的，所述多模态特征增强的原型网络的损失函数为：
14、；
15、其中，
x为数据样本，为样本
x
i的融合特征。
16、优选的，所述pu对比学习网络将所述融合特征与所述原型进行合并操作得到样本对
z
i；基于所述样本对
z
i构建无偏的风险估计函数，即pu对比学习损失函数。
17、优选的，将所述融合特征与所述原型进行合并操作得到样本对
z
i，包括：
18、通过所述部分标记正样本
x
p的融合特征与所述正类原型计算得到正样本对，，所述未标记样本
x
u的融合特征与所述未标签原型计算得到样本对，。
19、优选的，所述无偏风险估计函数，即pu对比学习损失函数为：
20、；
21、其中，表示正样本的先验概率。
22、优选的，将所述多模态数据输入到训练后的所述无偏分类模型中，输出所述多模态数据所属的类别，包括：
23、将所述多模态数据输入到所述特征提取与融合网络中，生成一个融合特征；
24、计算所述融合特征与所述多模态特征增强的原型网络中各个原型在嵌入空间中的欧几里德距离，得到样本分类的概率分布；
25、根据所述概率分布判定所述多模态数据所属的类别。
26、另一方面，本专利技术还公开一种基于多模态原型网络的pu对比学习异常检测系统，用于实现上述基于多模态原型网络的pu对比学习异常检测方法，包括：
27、数据采集模块，用于采集多模态数据，所述多模态数据包括脑电模态数据和文本模态数据；
28、模型构建模块，用于构建无偏分类模型，并对所述无偏分类模型进行训练；所述无偏分类模型包括特征提取与融合网络、多模态特征增强的原型网络以及pu对比学习网络；所述特征提取与融合网络根据多模态数据生成融合特征，通过所述多模态特征增强的原型网络对所述融合特征进行聚类，得到有偏聚类结果本文档来自技高网
...
【技术保护点】
1.一种基于多模态原型网络的PU对比学习异常检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态原型网络的PU对比学习异常检测方法，其特征在于，采集多模态数据包括对所述多模态数据进行预处理；
3.根据权利要求1所述的一种基于多模态原型网络的PU对比学习异常检测方法，其特征在于，所述特征提取与融合网络包括扩张卷积网络、BERT模型和多头自注意力机制；
4.根据权利要求3所述的一种基于多模态原型网络的PU对比学习异常检测方法，其特征在于，所述多模态原型网络通过融合特征计算k类的原型，，其中，为所述部分标记正样本XP的原型即正类原型，；为所述未标记样本XU的原型即未标签原型；
5.根据权利要求4所述的一种基于多模态原型网络的PU对比学习异常检测方法，其特征在于，所述多模态特征增强的原型网络的损失函数为：
6.根据权利要求1所述的一种基于多模态原型网络的PU对比学习异常检测方法，其特征在于，所述PU对比学习损失函数为：
7.一种基于多模态原型网络的PU对比学习异常检测系统，其特征在于，包括：</p>...
【技术特征摘要】
1.一种基于多模态原型网络的pu对比学习异常检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态原型网络的pu对比学习异常检测方法，其特征在于，采集多模态数据包括对所述多模态数据进行预处理；
3.根据权利要求1所述的一种基于多模态原型网络的pu对比学习异常检测方法，其特征在于，所述特征提取与融合网络包括扩张卷积网络、bert模型和多头自注意力机制；
4.根据权利要求3所述的一种基于多模态原型网络的pu对比学习异常检测方法，其特征在于...
【专利技术属性】
技术研发人员：洪日昌，楚喻棋，郭艳蓉，郝世杰，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。