【技术实现步骤摘要】
本公开涉及预后预测模型领域，特别是涉及一种基于多模态融合的非小细胞肺癌预后预测方法。
技术介绍
1、非小细胞肺癌(non-small cell lung cancer,nsclc)是一种常见的肺癌类型，在肺癌中占比约85％；其中约20％-25％的患者被诊断为局部晚期非小细胞肺癌。对于不可手术的局部晚期非小细胞肺癌，同步放化疗是目前标准的治疗方式。然而由于肿瘤的异质性，处于同一期别的患者经过标准治疗后的反应仍存在一定差异性。因此，在个体水平上准确预测局部晚期非小细胞肺癌患者的预后对于临床精准治疗具有重要意义。
2、对于经过放疗的局部晚期非小细胞肺癌患者，除了计算机断层成像(computedtomography，ct)上显示的固有解剖结构信息，放疗的三维剂量分布状态也对患者的预后有着重要影响。现有研究大多数仅关注ct单模态影像中特征的提取与挖掘，忽略了三维剂量分布中蕴含的丰富信息，限制了预后预测模型效能的提升。因此，开发一种有效的多模态融合方法，充分挖掘并整合ct影像和剂量分布图中的互补表征，对于实现准确的预后预测至关重要。
技术实现思路
1、本公开要解决的技术问题是为了克服现有技术中的缺陷，提供一种整合原发肿瘤与受累淋巴结信息的nsclc多模态预后预测方法。
2、本公开是通过下述技术方案来解决上述技术问题：一种基于多模态融合的非小细胞肺癌预后预测方法，包括以下步骤：
3、获取目标患者的治疗前ct图像以及放疗三维剂量分布图像；
4、根据所
5、基于所述治疗前ct图像以及所述放疗三维剂量分布图像以及所述感兴趣区域，得到多组学预测标签；
6、基于所述治疗前ct图像以及所述放疗三维剂量分布图像以及所述感兴趣区域，得到深度生存标签；
7、基于所述多组学预测标签、深度生存标签以及预后相关临床特征实现患者无进展生存期(progression-free survival,pfs)的预测。
8、优选地，所述基于所述治疗前ct图像以及所述放疗三维剂量分布图像以及所述感兴趣区域，得到多组学预测标签步骤之前，还包括，
9、对所述治疗前ct图像和放疗三维剂量分布图像进行预处理，所述预处理包括，将所述治疗前ct图像和所述放疗三维剂量分布图像进行匹配并且插值至相同分辨率；
10、所述感兴趣区域包括原发肿瘤区域(roit)和受累淋巴结区域(roin)。
11、优选地，所述基于所述治疗前ct图像以及所述放疗三维剂量分布图像以及所述感兴趣区域，得到多组学预测标签；包括，
12、基于预处理后的所述治疗前ct图像和三维剂量分布图像，在感兴趣区域内分别提取高维影像组学(radiomics)特征、以及剂量组学(dosiomics)特征；
13、从所述高维影像组学特征以及所述剂量组学特征中，筛选出具有预后预测潜力、冗余度低的多组学特征子集；
14、基于所述多组学特征子集，输入预先构建的第一模型，将所述第一模型输出的预测概率作为所述多组学预测标签；
15、所述第一模型为多因素cox回归模型，用于根据输入的多组学特征子集输出对应的pfs预测。
16、优选地，所述基于所述治疗前ct图像以及所述放疗三维剂量分布图像以及所述感兴趣区域，得到深度生存标签，包括，
17、根据预处理后的所述治疗前ct图像以及所述感兴趣区域，得到肿瘤区域对应的掩码图像、淋巴结区域对应的掩码图像和淋巴结与肿瘤的空间距离图谱；
18、基于预处理后的所述治疗前ct图像、所述肿瘤区域对应的掩码图像与所述淋巴结与肿瘤的空间距离图谱得到第一通道输入拼接图像；
19、基于预处理后的所述放疗三维剂量分布图像、所述肿瘤区域对应的掩码图像与所述淋巴结与肿瘤的空间距离图谱得到第二通道输入拼接图像；
20、将所述第一通道拼接图像和所述第二通道拼接图像输入预先构建好的第二模型，将所述第二模型输出的预测概率作为深度生存预测标签；
21、所述预先构建好的第二模型包括两个单模态分支网络，为以训练样本得到的第一通道拼接图像和第二通道拼接图像作为两个分支网络的输入，以pfs标签为监督信息，进行端到端训练得到的三维密集连接网络。
22、优选地，训练所述三维密集连接网络的步骤包括，
23、以所述第一通道拼接图像和所述第二通道拼接图像作为输入分别单独训练两个单模态分支网络；
24、利用门控机制整合所述单模态网络分支提取到的特征表示；
25、通过级联的全连接层进一步提取特征，输出预测概率。
26、优选地，所述基于所述多组学预测标签、深度生存标签以及预后相关临床特征实现患者pfs预测，包括，
27、将所述多组学预测标签、所述深度生存标签以及所述预后相关临床特征共同作为输入，输入预先构建的第三模型，输出得到最终的预测概率；
28、所述第三模型为弹性网络约束的多因素cox回归模型(elastic-cox)，向cox回归中引入lasso和ridge惩罚项。
29、优选地，根据预处理后的治疗前ct图像以及所述感兴趣区域，得到肿瘤区域对应的掩码图像、淋巴结区域对应的掩码图像和淋巴结与肿瘤的空间距离图谱，包括，
30、根据预处理后的治疗前ct图像以及所述感兴趣区域，得到肿瘤区域对应的掩码图像(maskt)和淋巴结区域对应的掩码图像(maskn)；
31、将所述淋巴结区域对应的掩码图像中每个像素的像素值转换为淋巴结的每个体素到肿瘤的最近距离，得到所述淋巴结与肿瘤的空间距离图谱(n-t map)。
32、本公开的另一方面，提供一种基于多模态融合的非小细胞肺癌预后预测装置，包括，
33、第一获取模块，用于获取目标患者的治疗前ct图像以及放疗三维剂量分布图像；
34、第二获取模块，用于根据所述治疗前ct图像获取感兴趣区域；
35、多组学预测标签模块，用于基于所述治疗前ct图像以及所述放疗三维剂量分布图像以及所述感兴趣区域，得到多组学预测标签；
36、深度生存标签模块，用于基于所述治疗前ct图像以及所述放疗三维剂量分布图像以及所述感兴趣区域，得到深度生存标签；
37、最终预测模块，用于基于所述多组学预测标签、深度生存标签以及预后相关临床特征实现患者pfs预测。
38、本公开的另一方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的基于多模态融合的非小细胞肺癌预后预测方法。
39、本公开的另一方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于多模态融合的非小细胞肺癌预后预测方法方法。
40、在符合本领域常识的基础上，上述各优选本文档来自技高网...
【技术保护点】
1.一种基于多模态融合的非小细胞肺癌预后预测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于多模态融合的非小细胞肺癌预后预测方法，其特征在于，所述基于所述治疗前CT图像以及所述放疗三维剂量分布图像以及所述感兴趣区域，得到多组学预测标签步骤之前，还包括，
3.如权利要求2所述的基于多模态融合的非小细胞肺癌预后预测方法，其特征在于，所述基于所述治疗前CT图像以及所述放疗三维剂量分布图像以及所述感兴趣区域，得到多组学预测标签；包括，
4.如权利要求2所述的基于多模态融合的非小细胞肺癌预后预测方法，其特征在于，所述基于所述治疗前CT图像以及所述放疗三维剂量分布图像以及所述感兴趣区域，得到深度生存标签，包括，
5.如权利要求4所述的基于多模态融合的非小细胞肺癌预后预测方法，其特征在于，
6.如权利要求1所述的基于多模态融合的非小细胞肺癌预后预测方法，其特征在于，所述基于所述多组学预测标签、深度生存标签以及预后相关临床特征实现患者PFS预测，包括，
7.如权利要求4所述的基于多模态融合的非小细胞肺癌预后预测方
8.一种基于多模态融合的非小细胞肺癌预后预测装置，其特征在于，包括，
9.一种电子设备，包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于多模态融合的非小细胞肺癌预后预测方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于多模态融合的非小细胞肺癌预后预测方法。
...【技术特征摘要】
1.一种基于多模态融合的非小细胞肺癌预后预测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于多模态融合的非小细胞肺癌预后预测方法，其特征在于，所述基于所述治疗前ct图像以及所述放疗三维剂量分布图像以及所述感兴趣区域，得到多组学预测标签步骤之前，还包括，
3.如权利要求2所述的基于多模态融合的非小细胞肺癌预后预测方法，其特征在于，所述基于所述治疗前ct图像以及所述放疗三维剂量分布图像以及所述感兴趣区域，得到多组学预测标签；包括，
4.如权利要求2所述的基于多模态融合的非小细胞肺癌预后预测方法，其特征在于，所述基于所述治疗前ct图像以及所述放疗三维剂量分布图像以及所述感兴趣区域，得到深度生存标签，包括，
5.如权利要求4所述的基于多模态融合的非小细胞肺癌预后预测方法，其特征在于，
6.如权利要求1所述的基于多模态融合的非小细胞肺癌...
【专利技术属性】
技术研发人员：傅小龙，赵俊，侯润萍，夏武艳，邵琰，
申请(专利权)人：上海市胸科医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。