【技术实现步骤摘要】
本专利技术涉及智能分类，尤其涉及一种数据缺失条件下的多模态混合融合分类方法。
技术介绍
1、多模态融合技术是当前热门的研究方向之一，它是指对包含多种模态数据的数据集进行组合分析，通过将这些不同模态的数据进行融合，从而得到更为全面和准确的信息。深度学习的成功已经成为解决日益复杂的机器学习问题的催化剂，这些问题通常涉及多种数据模式，如文字、图像、声音等。如何解决模态缺失问题，以及如何跨越不同模态之间的障碍将底层特征与抽象语义之间的差距联系起来，以挖掘多模态数据之间的相关性是当前亟待解决的问题。
2、在医疗领域众多的多模态融合应用中，按照融合策略主要可以分为三种，及前期融合、晚期融合以及中期融合。
3、(1)、前期融合；
4、前期融合是指在将多个输入模式输入到单个学习模型中进行训练之前，先将多个输入模式加入到单个特征向量的过程，更具体地说，在数据集被用作深度学习算法的输入之前的初始阶段就发生了融合过程。我们可以认为，融合过程直接发生在原始数据上，或者如果执行的不是原始数据，而是预处理特征提取步骤，那么认为合并步骤是在特征级别上执行的。“[thung k h,yap p t,shen d.multi-stage diagnosis of alzheimer’sdisease with incomplete multimodal data via multi-task deep learning[c].deeplearning in medical image analysis and multimod
5、(2)、晚期融合；
6、晚期融合是决策层面的融合，它是指利用可能存在的多个子模型的预测结果来做最终决策的过程。它通常使用不同的模态数据来训练不同的子模型，并使用聚合函数来组合多个模型的预测结果，从而做最终决策。常用的聚合方式例如：平均值、多数投票、加权投票或基于每个模型预测的分类器等。“yoo y,tang l y w,li d k b,et al.deep learningof brain lesion patterns and user-defined clinical and mri features forpredicting conversion to multiple sclerosis from clinically isolated syndrome[j].computer methods in biomechanics and biomedical engineering:imaging&visualization,2019,7(3):250-259.”将两个单模态模型的预测概率的平均值作为最终结果实现了mri并发的预测。“reda i,khalil a,elmogy m,et al.deep learning role inearly diagnosis of prostate cancer[j].technology in cancer research&treatment,2018,17(1):1-11.”利用单模态模型的预测概率作为输入构建了另一个分类器。“qiu s,chang g h,panagia m,et al.fusion of deep learning models of mriscans,mini-mental state examination,and logical memory test enhancesdiagnosis of mild cognitive impairment[j].alzheimer's&dementia:diagnosis,assessment&disease monitoring,2018,10(1):737-749.”训练了三个独立的成像模型，将来自特定解剖位置的单个mri切片作为输入，并分别应用max、mean和majority三种成像模型的综合预测策略，三种融合方法的结果在与临床模型进行后期融合前，通过多数投票再次合并，与仅使用单一模式的模型相比，所有后期融合模型的性能都有所提高。为了避免假设所有子模型都持有相同的相关信息来预测目标，可以采用其他聚合方法。“wang h,subramanian v,syeda-mahmood t.modeling uncer-tainty in multi-modal fusion forlung cancer survival analysis[c].2021ieee 18th international sy本文档来自技高网...
【技术保护点】
1.一种数据缺失条件下的多模态混合融合分类方法，其特征在于，所述多模态混合融合分类方法包括文本缺失数据补全和多模态混合融合；
2.根据权利要求1所述的数据缺失条件下的多模态混合融合分类方法，其特征在于，所述基于KNN进行缺失值补充，具体如下：
3.根据权利要求2所述的数据缺失条件下的多模态混合融合分类方法，其特征在于，所述提取文本特征具体如下：
4.根据权利要求3所述的数据缺失条件下的多模态混合融合分类方法，其特征在于，所述注意力编码器包括切片模块、全连接层、归一化层、激活函数、掩码和加权缩放因子层，根据前一个步骤切片模块的部分输出，经过全连接层和批归一化层后，采用一个残差连接，输入至加权缩放因子层，计算得到当前步骤的掩码结果，输入至特征编码器中；
5.根据权利要求3或4所述的数据缺失条件下的多模态混合融合分类方法，其特征在于，所述通过3D-RSENet网络提取影像特征具体如下：
6.根据权利要求5所述的数据缺失条件下的多模态混合融合分类方法，其特征在于，所述残差学习具体为：首先采用尺寸为1×1×1的卷积核进行卷积，将其
7.根据权利要求6所述的数据缺失条件下的多模态混合融合分类方法，其特征在于，所述多模态混合融合模型包括基于注意力机制的多模态融合模块和基于中期融合的决策融合模块；
...【技术特征摘要】
1.一种数据缺失条件下的多模态混合融合分类方法，其特征在于，所述多模态混合融合分类方法包括文本缺失数据补全和多模态混合融合；
2.根据权利要求1所述的数据缺失条件下的多模态混合融合分类方法，其特征在于，所述基于knn进行缺失值补充，具体如下：
3.根据权利要求2所述的数据缺失条件下的多模态混合融合分类方法，其特征在于，所述提取文本特征具体如下：
4.根据权利要求3所述的数据缺失条件下的多模态混合融合分类方法，其特征在于，所述注意力编码器包括切片模块、全连接层、归一化层、激活函数、掩码和加权缩放因子层，根据前一个步骤切片模块的部分输出，经过全连接层和批归一化层后，采用一个残差连接，输入至加权缩放因子层，计算得到当前步骤的掩码结果，输入至特征...
【专利技术属性】
技术研发人员：贾同，朱哲仪，原婧，贾娜娜，王雪莉，赵紫旭，陈东岳，王昊，邓诗卓，
申请(专利权)人：东北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。