【技术实现步骤摘要】
本申请设计癌症生存分析和预后预测，尤其涉及一种图对齐基于多模态模型的癌症患者预后预测方法
技术介绍
1、肿瘤微环境(tumor microenvironment，tme)是肿瘤生存的关键环境，影像肿瘤进程和预后。由于肿瘤的异质性，患者治疗反应和预后效果各异，总体来说预后效果较差。在这种情况下，生存预后评估得分有利于辅助医生判断，对于制定个性化治疗是至关重要的。通过分析患者的生存时间和患病状态，医生可以更精准地预测患者的患病阶段，以便选择合适的治疗决策，这不单单可以提高治疗效果，亦可以更加合理地优化医疗资源的分配。
2、肿瘤异质性是癌症表征的特点，是研究癌症成因以及发展需要解决的问题。不同诱因导致多种组织诱发肿瘤，也会出现多种亚型，诱发过程原因有太多未知，结合病患个体差异，肿瘤异质性就会出现在数字病理图像、基因表达量上。探索病理组织复杂结构和形态学特征，需要厘清组织中细胞群之中的关系，解析肿瘤异质性与细胞过程之间的联系。现有的工作要是将肿瘤组织进行分割，可以集中于局部高关注区域，或者使用全局组织切分成patch，提取组织块特征。目前的方法在病理图像内缺少组织块之间相互联系，无法捕获组织内的病理微环境。肿瘤的形成也与基因的先天决定相关，在多层面、多角度地诊疗癌症是有必要的。基因表达量可以和组织病理图像提供的表型信息相结合，将表型和基因联系起来，可能将基因层面的肿瘤诱因挖掘出来，捕捉肿瘤微环境中的可解释分析，在以往的方法流程中存在可解释性的局限性，这显然无法发挥模态特征间的潜在价值。
3、深度学习在癌症病理学中
4、1)多模态之间的异构问题会造成数据融合时出现维度爆炸，或者数据比例出问题，使得需要使用更高性能的设备或者更复杂的模型来处理，导致训练起来比较困难；
5、2)在多模态融合如何让各自模态的数据自然融合需要合适的交互模块，否则生硬的融合会导致模型的崩溃；
6、3)因此，需要使用对齐的方式，将先有的方法中增加模态之间的相互作用，起到数据在融合之前就包含了部分彼此模态的信息，有利于实现多模态数据之间的融合。
技术实现思路
1、本专利技术为了解决目前技术局限性，提供了一种基于图对齐多模态模型的癌症患者预后预测方法，能够联合数字病理特征、分子特征以及临床信息特征。首次将图对齐的概念引入多模态预后测试研究，实现对不同表征分布进行趋近，可以实现共同表征映射的语义对齐，将表征与基因结合起来，准确性提高；同时，可以实现存在模态删失情况时，利用其他模态数据同样获得风险评估得分，使得多模态特征实现相互作用、相互补充。提高患者的生存预测准确性，有利于精准预后。
2、为了达到上诉目的，本专利技术采用以下技术方案：
3、第一方面，本申请提供了一种基于图对齐多模态的癌症患者预后预测方法，该方法包括：
4、多模态数据预处理,对病理的组织部分切分成patch，提取patch特征，根据细胞迁移连续性，对patch进行围绕式构图。对组学数据经过gsea富集分类，其中包括癌症5种发展过程；
5、单模态特征，利用模态增强和共享的图掩码自编码器得到模态对应特征；
6、跨模态交互，使用跨模态对齐模块实现多模态数据分布映射对齐；
7、多模态融合，使用hyperedge-mixer模块将跨模态交互特征、各单模态特征融合，获得模态融合特征；
8、风险预测，将最终的多模态表示输入到风险预测模块，并结合模态决策，最终得到风险预测结果。
9、进一步的，根据权利要求所综述基于图对齐的多模态癌症预后评估方法，其特征在于，所述图2步骤1中具体包括获取数字病理图像并进行特征提取等预处理，获得病理图数据，包括：
10、对上述的病理图像进行组织部分进行分割，获得256×256的组织patch图像块以及patch块在图像中的位置；
11、将上述的切分patch输入kimianet进行特征提取，获取每一个patch表达tensor；
12、根据癌症侵袭的想法，连接每一个patch周围的、步长半径为1的patch，构建病理组织微环境网络，形成病理图数据；
13、进一步的，所述图2步骤2中具体包括获取组学数据并进行特征提取等预处理，其特征在于.获得分子特征图数据，包括：
14、采用standardscaler方法对上述测序数据进行归一化，得到标准测序数据；
15、采用gsea对上述标准测序数据进行癌症相关的功能分类，获得5种测序分组；
16、根据癌症相关基因功能之间相互关系，连接分组tensor，构建组学功能基因网络，形成分子特征图数据；
17、根据图2步骤3中具体包括获取临床数据并进行特征提取等预处理，其特征在于，获得临床图数据，包括：
18、将上述获取到的临床数据拆分成生存相关数据和病人体征数据，将体征数据进行独热编码以及零填充的方式形成tensor；
19、根据完整的个体体征数据之间息息相关，故连接各个tensor，构建临床体征网络，形成临床图数据；
20、根据权利要求x所述的方法，其特征在于，所述方法还包括：
21、获取多种癌症的诊断数据；所述诊断数据包括数字病理图像、基因数据和患者特征数据；
22、基于预设样本纳入标准对各所述诊断队列进行筛选，得到样本数据；
23、对所述样本数据进行预处理，获得训练数据；以及生存相关数据转化成生存时间和状态的标签数据；
24、构建训练模型，将所述训练数据和标签数据输入到训练模型，直到所述的训练模型的损失函数达到稳定值，得到所述训练好的多模态模型；
25、根据权利要求x所述的方法，其特征在于，所述基于预设样本纳入标准对所述诊断数据进行筛选，得到样本数据，包括：
26、将同一癌症的所述诊断数据作为一个诊断队列，将病理、组学和体征图数据进行匹配，结合生存相关数据，形成完整的异构图数据队列；
27、根据不同癌症种类分成多个异构图数据队列，得到所述样本数据。
28、根据权利要求3所述的方法，其特征在于，所述基于预设样本纳入标准对各所述诊断队列进行筛选，得到多个样本队列，包括：
29、将各所述异构数据队列中，数据量小于阈值或者存在大量扰动本文档来自技高网...
【技术保护点】
1.一种基于图对齐的多模态癌症预后评估方法，其特征在于，包括以下步骤：
2.根据权利要求1所综述基于图对齐的多模态癌症预后评估方法，其特征在于，所述步骤S1中具体包括获取数字病理图像并进行特征提取等预处理，获得病理图数据，包括：
3.根据权利要求1所综述基于图对齐的多模态癌症预后评估方法，其特征在于，所述步骤S2中具体包括获取组学数据并进行特征提取等预处理，获得分子特征图数据，包括：
4.根据权利要求1所综述基于图对齐的多模态癌症预后评估方法，其特征在于，所述步骤S3中具体包括获取临床数据并进行特征提取等预处理，获得临床图数据，包括：
5.根据权利要求2、3、4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述基于预设样本纳入标准对所述诊断数据进行筛选，得到样本数据，包括：
7.根据权利要求6所述的方法，其特征在于，所述基于预设样本纳入标准对各所述诊断队列进行筛选，得到多个样本队列，包括：
8.一种基于图的多模态癌症患者预后预测模型，其特征在于，所述模型的模块
9.一种计算机可读取存储运行的方法，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于图对齐的多模态癌症预后评估方法，其特征在于，包括以下步骤：
2.根据权利要求1所综述基于图对齐的多模态癌症预后评估方法，其特征在于，所述步骤s1中具体包括获取数字病理图像并进行特征提取等预处理，获得病理图数据，包括：
3.根据权利要求1所综述基于图对齐的多模态癌症预后评估方法，其特征在于，所述步骤s2中具体包括获取组学数据并进行特征提取等预处理，获得分子特征图数据，包括：
4.根据权利要求1所综述基于图对齐的多模态癌症预后评估方法，其特征在于，所述步骤s3中具体包括获取临床数据并进行特征提取等预处理，获得临床图数据...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。