【技术实现步骤摘要】
本专利技术涉及医学影像，尤其涉及多模态腔内肿瘤影像的分期预测方法。
技术介绍
1、腔内肿瘤主要包括结直肠癌、胃癌、膀胱癌、宫颈癌、食道癌等，约占人体肿瘤的60％，临床表现隐匿，患者确诊时大多已进展到晚期，使得致死率畸高。
2、肿瘤的tnm分期是制定患者分层及临床策略的最主要依据之一。腔内肿瘤多起源于腔内粘膜层，在向腔内生长的同时，逐渐向粘膜下层、肌层及腔壁外浸润生长。因此，肿瘤t分期主要取决于肿瘤对腔壁的浸润程度，而n分期即淋巴结转移与否亦是决定腔内肿瘤诊疗决策的重要因素。一旦发生淋巴结转移，患者的5年生存率将大幅降低(15％–31％vs.>60％)(4)，且淋巴结转移病例复发的概率远超阴性病例(80％vs.30％)。美国国立综合癌症网络(nccn)指南指出，不同tnm分期(肌层浸润程度及转移)与复发风险导致患者分层不同，对应的手术、治疗与随访策略亦不同。因此，术前准确预测腔内肿瘤t分期与n分期对于患者分层、治疗策略的制定及预后评估均具有重要意义。
3、光学内窥镜是腔内肿瘤临床检查及诊断的金标准，但其侵入性检测方式不仅有创口，且小视野取样活检仅能反映肿瘤病灶的局部特性，易导致肿瘤浸润深度或分期被低估或误判。以膀胱癌为例，多个临床研究表明，9％-49％的膀胱癌患者的分期和级别被低估或误判，影响患者预后的同时，极易导致腔内肿瘤复发风险，显著降低患者的生存获益。
4、医学影像作为重要的临床检查手段，可全面评价肿瘤及周围组织，以及淋巴转移情况，在肿瘤的精准诊疗中起到越来越重要的作用。近年来，针对
5、尽管基于多模态影像智能分析技术相比于单模态影像分析在肿瘤无创活检方面更具潜力，但在实际应用中存在以下问题：①模态缺失，即并非所有患者均在术前被有效采集智能分析模型所需的全部影像模态，存在不同程度模态缺失的问题；②模态特征纠缠导致信息冗余，降低智能影像分析技术的预测效能与泛化能力。存在多模态影像智能诊断方法在面对模态缺失与模态信息不齐时难以适用的问题。
技术实现思路
1、为了克服上述现有技术中多模态影像智能诊断方法在面对模态缺失与模态信息不齐时难以适用的缺点，本专利技术的主要目的在于提供多模态腔内肿瘤影像的分期预测方法、系统、设备和介质。
2、为达到上述目的，本专利技术采用以下技术方案，多模态腔内肿瘤影像的分期预测方法，包括以下步骤：
3、采用多模态影像标准化策略处理腔内肿瘤影像，并对影像进行手工构建边界框，获得处理后多模态肿瘤影像，包括主体模态影像与次模态影像；
4、分别提取主体模态影像与次模态影像的局部与全部的原始特征，将主体模态影像原始特征分别与对应的次模态影像的原始特征进行信息缠绕，获得多个主体影像模态与对应模态间的共性表征矩阵；
5、引入encoder-decoder模块对多个共性表征矩阵进行特征提取，并与次模态影像特征拼接融合，获得多个融合特征；
6、多个融合特征经过teacher网络蒸馏，得到腔内肿瘤分期预测结果；
7、同时设计student网络，利用主体模态影像的原始特征与teacher网络蒸馏-耦合的特征共同构建teacher-student特征损失函数，得到关于学生网络的腔内肿瘤分期预测结果；
8、根据teacher与student网络分别得到不同的腔内肿瘤的分期预测结果，引入kl散度的蒸馏预测损失函数，采用软投票将不同的腔内肿瘤的分期预测结果融合，得到腔内肿瘤影像的分期预测结果。
9、所述主体模态影像与次模态影像的局部与全部的原始特征通过网络头部的编码器提取；
10、所述信息缠绕是基于区域互信息分析策略的特征解缠模块提取主体核磁共振模态的影像特征，经与其他模态对应的最具疾病预测能力的图像子区域特征求取互信息，采用特征解缠模块的损失函数使得互信息最大化，从而获得主体影像模态与对应模态间的共性表征矩阵。
11、所述引入encoder-decoder模块对多个共性表征矩阵进行特征提取，并与次模态影像特征拼接融合包括：
12、引入encoder-decoder模块对共性表征矩阵进行特征提取，在次模态影像中经头部编码器提取的原始特征与该共性表征矩阵经encoder-decoder模块提取的特征拼接在一起，进行1×1×4卷积，获得融合特征。
13、所述多个融合特征之后采用maxpooling运算进行特征降维，并采用relu进行特征激活，经上多层卷积-池化-激活操作，网路蒸馏出多模态影像中能够有效表征腔内肿瘤分期特性的关键信息与领域知识。
14、所述多模态影像标准化策略包括数据降噪、滤波，以及灰度标准化处理，使不同模态的影像呈现出较好的一致性。
15、多模态腔内肿瘤影像的分期预测系统，包括：
16、特征提取模块，采用多模态影像标准化策略处理腔内肿瘤影像，并对影像进行手工构建边界框，获得处理后多模态肿瘤影像，包括主体模态影像与次模态影像；分别提取主体模态影像与次模态影像的局部与全部的原始特征，将主体模态影像原始特征分别与对应的次模态影像的原始特征进行信息缠绕，获得多个主体影像模态与对应模态间的共性表征矩阵；
17、特征融合模块，引入encoder-decoder模块对多个共性表征矩阵进行特征提取，并与次模态影像特征拼接融合，获得多个融合特征；多个融合特征经过teacher网络蒸馏，得到腔内肿瘤分期特性的关键信息与领域知识；
18、构建teacher-student特征损失函数模块，设计student网络，利用主体模态影像的原始特征与teacher网络蒸馏-耦合的特征共同构建teacher-student特征损失函数；
19、分期预测模块，teacher与student网络分别得到不同的腔内肿瘤的分期预测结果，引入kl散度的蒸馏预测损失函数，采用软投票将不同的腔内肿瘤的分期预测结果融合，得到腔内肿瘤影像的分期预测结果。
20、一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
21、采用多模态影像标准化策略处理腔内肿瘤影像，并对影像进行手工构建边界框，获得处理后多模态肿瘤影像，包括主体模态影像与次模态影像；
22、分别提取主体模态影像与次模态影像的局部与全部的原始特征，将主体模态影像原始特征分别与对应的次模态影像的原始特征进行信息缠绕，获得多个主体影像模态与对应模态间的共性表征矩阵；
23、引入encoder-decoder模块对多个共性表征矩阵进行特征提取，并与次模态影像特征拼接融合，获得多个融合特征；
24、多个融合特征经过teacher网络蒸馏，得到腔内肿本文档来自技高网...
【技术保护点】
1.多模态腔内肿瘤影像的分期预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述多模态腔内肿瘤影像的分期预测方法，其特征在于，所述主体模态影像与次模态影像的局部与全部的原始特征通过网络头部的编码器提取；
3.根据权利要求1所述多模态腔内肿瘤影像的分期预测方法，其特征在于，所述引入Encoder-Decoder模块对多个共性表征矩阵进行特征提取，并与次模态影像特征拼接融合包括：
4.根据权利要求1所述多模态腔内肿瘤影像的分期预测方法，其特征在于，所述多个融合特征之后采用Maxpooling运算进行特征降维，并采用ReLU进行特征激活，经上多层卷积-池化-激活操作，网路蒸馏出多模态影像中能够有效表征腔内肿瘤分期特性的关键信息与领域知识。
5.根据权利要求1所述多模态腔内肿瘤影像的分期预测方法，其特征在于，所述多模态影像标准化策略包括数据降噪、滤波，以及灰度标准化处理。
6.多模态腔内肿瘤影像的分期预测系统，其特征在于，包括：
7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：采用多模态影像标准化策略处理腔内肿瘤影像，并对影像进行手工构建边界框，获得处理后多模态肿瘤影像，包括主体模态影像与次模态影像；
...【技术特征摘要】
1.多模态腔内肿瘤影像的分期预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述多模态腔内肿瘤影像的分期预测方法，其特征在于，所述主体模态影像与次模态影像的局部与全部的原始特征通过网络头部的编码器提取；
3.根据权利要求1所述多模态腔内肿瘤影像的分期预测方法，其特征在于，所述引入encoder-decoder模块对多个共性表征矩阵进行特征提取，并与次模态影像特征拼接融合包括：
4.根据权利要求1所述多模态腔内肿瘤影像的分期预测方法，其特征在于，所述多个融合特征之后采用maxpooling运算进行特征降维，并采用relu进行特征激活，经上多层卷积-池化-激活操作，网路蒸馏出多模态影像中能够有效表征腔内肿瘤分期特性的关键信息与...
【专利技术属性】
技术研发人员：徐肖攀，卢虹冰，刘洋，黄东，杜鹏，
申请(专利权)人：中国人民解放军空军军医大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。