一种肺癌基因突变的跨模态预测系统及方法技术方案

本发明专利技术提供一种肺癌基因突变的跨模态预测系统及方法，涉及神经网络领域，包括：采集模块，用于采集接受靶向治疗和免疫治疗前患者的计算机断层扫描影像，数字病理图像，真实基因突变类型及真实肿瘤突变负荷；标注模块，用于对计算机断层扫描影像和数字病理图像标注得到对应标注图像；训练模块，用于将计算机断层扫描和数字病理的标注图像作为输入，将真实基因突变类型和真实肿瘤突变负荷作为输出，训练得到肺癌基因突变预测模型；预测模块，用于将待预测患者的计算机断层扫描影像和数字病理图像输入肺癌基因突变预测模型得到预测基因突变类型和预测肿瘤突变负荷。本发明专利技术准确预测肺癌基因类型及肿瘤突变负荷，供医生评估靶向治疗和免疫治疗疗效。

【技术实现步骤摘要】
一种肺癌基因突变的跨模态预测系统及方法
本专利技术涉及神经网络领域，尤其涉及一种肺癌基因突变的跨模态预测系统及方法。
技术介绍
肺癌是全球癌症相关死亡的首要病因。近年来，随着分子生物学的发展以及基因测序技术的进步，肺癌治疗已经从基于临床特征，病理分型的传统治疗模式发展到基于基因分子改变的精准治疗时代，驱动基因指导下的靶向治疗和针对免疫检查点的免疫治疗为肺癌患者提供了新的可能。然而，在未经选择的治疗人群中，只有少部分患者能从中获益。因此，准确分析基因突变状态，明确治疗靶点，筛选潜在获益人群对于肺癌的个性化精准治疗至关重要。当前，肺癌基因突变的检测主要依靠穿刺活检这一有创性操作，且后续的测序流程需要大量的时间和高昂的费用，无法满足临床大规模推广的需求。此外，由于肺癌的高度异质性，穿刺获取的少量标本难以反映肿瘤整体特征，无法实现对肿瘤基因突变状态的全面准确评估。基于患者CT图像的影像组学模型可预测肺癌驱动基因突变，但多采用单一模态、单一时间序列的肿瘤影像数据，无法反映肿瘤及其微环境动态变化过程、无法解决肿瘤影像特点的地区差异性的问题；此外，该模型局限于肺癌的基因突变预测，未能评估靶向治疗与免疫治疗的生存获益，对肺癌患者精准治疗的指导价值有限在临床实际应用中具有较大的局限性。因此，如何无创高效地分析基因突变特征，从而准确动态地指导靶向治疗与免疫治疗策略，是肺癌精准治疗领域中亟待解决的难题。
技术实现思路
针对现有技术中存在的问题，本专利技术提供一种肺癌基因突变的跨模态预测系统，具体包括：采集模块，用于分别采集接受靶向治疗和免疫治疗前的若干肺癌患者的计算机断层扫描影像，数字病理图像，真实基因突变类型和以及每种所述真实基因突变类型对应的真实肿瘤突变负荷；标注模块，连接所述采集模块，用于分别对所述计算机断层扫描影像和所述数字病理图像中的病灶区域进行标注得到计算机断层扫描标注图像以及数字病理标注图像；训练模块，分别连接所述采集模块和所述标注模块，用于将各所述肺癌患者的所述计算机断层扫描标注图像和所述数字病理标注图像作为输入，将对应的所述真实基因突变类型和所述真实肿瘤突变负荷作为输出，训练得到肺癌基因突变预测模型；预测模块，连接所述训练模块，用于将待预测肺癌患者的所述计算机断层扫描影像和所述数字病理图像输入到所述肺癌基因突变预测模型得到所述待预测肺癌患者的预测基因突变类型以及对应的预测肿瘤突变负荷，作为医生给出靶向治疗以及免疫治疗意见的参考数据。优选的，所述采集模块包括：第一采集单元，用于采集各所述肺癌患者的所述计算机断层扫描影像；第二采集单元，用于获取各所述肺癌患者的病理切片，并对所述病理切片进行扫描得到所述数字病理图像；第三采集单元，用于对各所述肺癌患者进行基因测序得到所述真实基因突变类型和以及每种所述真实基因突变类型对应的所述真实肿瘤突变负荷。优选的，所述训练模块包括：分组单元，用于将每个所述肺癌患者的所述计算机断层扫描标注图像、所述数字病理标注图像、所述真实基因突变类型和所述真实肿瘤突变负荷作为一数据集合，并根据各所述数据集合形成一训练集和一验证集；训练单元，连接所述分组单元，用于将所述训练集中的所述计算机断层扫描标注图像和所述数字病理标注图像作为输入，将所述真实基因突变类型和所述真实肿瘤突变负荷作为输出，训练得到一肺癌基因突变初始模型；验证单元，分别连接所述分组单元和所述训练单元，用于根据所述验证集对所述肺癌基因突变初始模型进行参数优化调整，得到所述肺癌基因突变预测模型。优选的，所述训练模块还包括一测试单元，分别连接所述分组单元和所述验证单元，所述测试单元包括：第一子单元，用于根据各所述数据集合形成一测试集；第二子单元，连接所述第一子单元，用于将所述测试集中的各所述计算机断层扫描标注图像和所述数字病理标注图像输入到所述肺癌基因突变预测模型得到相应的基因突变类型预测结果和肿瘤突变负荷预测结果；第三子单元，连接所述第二子单元，用于根据各所述基因突变类型预测结果与对应的所述真实基因突变类型处理得到一第一预测准确率，以及根据各所述肿瘤突变负荷预测结果与对应的所述真实肿瘤突变负荷处理得到一第二预测准确率，作为医生给出靶向治疗以及免疫治疗意见的参考数据。优选的，采用受试者工作特性曲线及曲线下面积处理得到所述第一预测准确率和所述第二预测准确率。优选的，将所有所述数据集合按照预设比例划分形成所述训练集，所述验证集和所述测试集，所述预设比例为3：1：1。一种肺癌基因突变的跨模态预测方法，应用于上述肺癌基因突变的跨模态预测系统，所述肺癌基因突变的跨模态预测方法具体包括以下步骤：步骤S1，所述的肺癌基因突变的跨模态预测系统分别采集接受靶向治疗和免疫治疗前的若干肺癌患者的计算机断层扫描影像，数字病理图像，真实基因突变类型和以及每种所述真实基因突变类型对应的真实肿瘤突变负荷；步骤S2，所述的肺癌基因突变的跨模态预测系统分别对所述计算机断层扫描影像和所述数字病理图像中的病灶区域进行标注得到计算机断层扫描标注图像以及数字病理标注图像；步骤S3，所述的肺癌基因突变的跨模态预测系统将各所述肺癌患者的所述计算机断层扫描标注图像和所述数字病理标注图像作为输入，将对应的所述真实基因突变类型和所述真实肿瘤突变负荷作为输出，训练得到肺癌基因突变预测模型；步骤S4，所述的肺癌基因突变的跨模态预测系统将待预测肺癌患者的所述计算机断层扫描影像和所述数字病理图像输入到所述肺癌基因突变预测模型得到所述待预测肺癌患者的预测基因突变类型以及对应的预测肿瘤突变负荷，作为医生给出靶向治疗以及免疫治疗意见的参考数据。优选的，所述步骤S1包括：步骤S11，所述肺癌基因突变的跨模态预测系统采集各所述肺癌患者的所述计算机断层扫描影像；步骤S12，所述肺癌基因突变的跨模态预测系统获取各所述肺癌患者的病理切片，并对所述病理切片进行扫描得到所述数字病理图像；步骤S13，所述肺癌基因突变的跨模态预测系统对各所述肺癌患者进行基因测序得到所述真实基因突变类型和以及每种所述真实基因突变类型对应的所述真实肿瘤突变负荷。优选的，所述步骤S3包括：步骤S31，所述肺癌基因突变的跨模态预测系统将每个所述肺癌患者的所述计算机断层扫描标注图像、所述数字病理标注图像、所述真实基因突变类型和所述真实肿瘤突变负荷作为一数据集合，并根据各所述数据集合形成一训练集和一验证集；步骤S32，所述肺癌基因突变的跨模态预测系统将所述训练集中的所述计算机断层扫描标注图像和所述数字病理标注图像作为输入，将所述真实基因突变类型和所述真实肿瘤突变负荷作为输出，训练得到一肺癌基因突变初始模型；步骤S33，所述肺癌基因突变的跨模态预测系统根据所述验证集对所述肺癌基因突变初始模型进行参数优化调整，得到所述肺癌基因突变预测模型。优选的，所述步骤S3还包括一获取模型预测准确率的过程，具体包括：...

【技术保护点】
1.一种肺癌基因突变的跨模态预测系统，其特征在于，具体包括：/n采集模块，用于分别采集接受靶向治疗和免疫治疗前的若干肺癌患者的计算机断层扫描影像，数字病理图像，真实基因突变类型和以及每种所述真实基因突变类型对应的真实肿瘤突变负荷；/n标注模块，连接所述采集模块，用于分别对所述计算机断层扫描影像和所述数字病理图像中的病灶区域进行标注得到计算机断层扫描标注图像以及数字病理标注图像；/n训练模块，分别连接所述采集模块和所述标注模块，用于将各所述肺癌患者的所述计算机断层扫描标注图像和所述数字病理标注图像作为输入，将对应的所述真实基因突变类型和所述真实肿瘤突变负荷作为输出，训练得到肺癌基因突变预测模型；/n预测模块，连接所述训练模块，用于将待预测肺癌患者的所述计算机断层扫描影像和所述数字病理图像输入到所述肺癌基因突变预测模型得到所述待预测肺癌患者的预测基因突变类型以及对应的预测肿瘤突变负荷，作为医生给出靶向治疗以及免疫治疗意见的参考数据。/n

【技术特征摘要】
1.一种肺癌基因突变的跨模态预测系统，其特征在于，具体包括：
采集模块，用于分别采集接受靶向治疗和免疫治疗前的若干肺癌患者的计算机断层扫描影像，数字病理图像，真实基因突变类型和以及每种所述真实基因突变类型对应的真实肿瘤突变负荷；
标注模块，连接所述采集模块，用于分别对所述计算机断层扫描影像和所述数字病理图像中的病灶区域进行标注得到计算机断层扫描标注图像以及数字病理标注图像；
训练模块，分别连接所述采集模块和所述标注模块，用于将各所述肺癌患者的所述计算机断层扫描标注图像和所述数字病理标注图像作为输入，将对应的所述真实基因突变类型和所述真实肿瘤突变负荷作为输出，训练得到肺癌基因突变预测模型；
预测模块，连接所述训练模块，用于将待预测肺癌患者的所述计算机断层扫描影像和所述数字病理图像输入到所述肺癌基因突变预测模型得到所述待预测肺癌患者的预测基因突变类型以及对应的预测肿瘤突变负荷，作为医生给出靶向治疗以及免疫治疗意见的参考数据。


2.根据权利要求1所述的肺癌基因的跨模态突变预测系统，其特征在于，所述采集模块包括：
第一采集单元，用于采集各所述肺癌患者的所述计算机断层扫描影像；
第二采集单元，用于获取各所述肺癌患者的病理切片，并对所述病理切片进行扫描得到所述数字病理图像；
第三采集单元，用于对各所述肺癌患者进行基因测序得到所述真实基因突变类型和以及每种所述真实基因突变类型对应的所述真实肿瘤突变负荷。


3.根据权利要求1所述的肺癌基因突变的跨模态预测系统，其特征在于，所述训练模块包括：
分组单元，用于将每个所述肺癌患者的所述计算机断层扫描标注图像、所述数字病理标注图像、所述真实基因突变类型和所述真实肿瘤突变负荷作为一数据集合，并根据各所述数据集合形成一训练集和一验证集；
训练单元，连接所述分组单元，用于将所述训练集中的所述计算机断层扫描标注图像和所述数字病理标注图像作为输入，将所述真实基因突变类型和所述真实肿瘤突变负荷作为输出，训练得到一肺癌基因突变初始模型；
验证单元，分别连接所述分组单元和所述训练单元，用于根据所述验证集对所述肺癌基因突变初始模型进行参数优化调整，得到所述肺癌基因突变预测模型。


4.根据权利要求3所述的肺癌基因突变的跨模态预测系统，其特征在于，所述训练模块还包括一测试单元，分别连接所述分组单元和所述验证单元，所述测试单元包括：
第一子单元，用于根据各所述数据集合形成一测试集；
第二子单元，连接所述第一子单元，用于将所述测试集中的各所述计算机断层扫描标注图像和所述数字病理标注图像输入到所述肺癌基因突变预测模型得到相应的基因突变类型预测结果和肿瘤突变负荷预测结果；
第三子单元，连接所述第二子单元，用于根据各所述基因突变类型预测结果与对应的所述真实基因突变类型处理得到一第一预测准确率，以及根据各所述肿瘤突变负荷预测结果与对应的所述真实肿瘤突变负荷处理得到一第二预测准确率，作为医生给出靶向治疗以及免疫治疗意见的参考数据。


5.根据权利要求4所述的肺癌基因突变的跨模态预测系统，其特征在于，采用受试者工作特性曲线及曲线下面积处理得到所述第一预测准确率和所述第二预测准确率。


6.根据权利要求4所述的肺癌基因突变的跨模态预测系统，其特征在于，将所有所述数据集合按照预设比例划分形成所述训练集，所述验证集和所...

【专利技术属性】
技术研发人员：武春燕，候立坤，佘云浪，陈昶，
申请(专利权)人：上海市肺科医院，
类型：发明
国别省市：上海;31