疾病患者智能预后预测方法、装置、存储介质及设备制造方法及图纸

本发明专利技术提供了一种疾病患者智能预后预测方法、装置、存储介质及设备，该方法包括：获取目标对象的时序生理生化指标和时序生理生化指标对应时间点的核磁共振影像数据，将时序生理生化指标和核磁共振影像数据分别输入预设的预后预测模型，利用预后预测模型学习得到时序生理生化指标对应的第一时序表征和核磁共振影像数据对应的第二时序表征，利用预后预测模型将第一时序表征和第二时序表征拼接得到目标时序表征，以根据目标时序表征得到包括目标对象疾病发展结果的预后结果。本发明专利技术提供的方案通过融合目标对象的时序生理生化指标以及核磁共振影像数据，进行智能预后预测，以真实数据的角度客观且高效率的分析疾病患者的复发概率。复发概率。复发概率。

【技术实现步骤摘要】
疾病患者智能预后预测方法、装置、存储介质及设备


[0001]本专利技术涉及人工智能及智慧医疗
，特别是一种疾病患者智能预后预测方法、装置、存储介质及设备。

技术介绍

[0002]肝细胞癌(hepatocellular carcinoma，HCC)是全球第4位肿瘤致死病因，具有侵袭性强、预后差等特点。随着对高危人群监测筛查的规范化和影像学检查手段的进步，早期HCC诊断率显著提高，已占所有HCC病例的40％～50％。目前，手术切除仍是肝功能储备良好的早期HCC患者的首选治疗方法，但术后5年复发率高达50％，这与HCC微小播散灶(肝内转移)或多中心发生机制(多中心起源)密切相关。准确的复发风险预测对优化早期HCC术后管理方案和提高外科治疗远期效果具有重要意义。
[0003]传统的分期预测方法如根据专家经验设计的癌症TNM(Tumor Node Metastasis)分期法，这种方法人工进行判断，受限于医生的主观判断因素，无法根据具体的数据给出客观的预测结果。

技术实现思路

[0004]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的疾病患者智能预后预测方法、装置、存储介质及设备。
[0005]根据本专利技术的第一方面，提供了一种基于时序多模态数据的疾病患者智能预后预测方法，其特征在于，所述方法包括：
[0006]获取目标对象的时序生理生化指标；
[0007]获取所述时序生理生化指标对应时间点的核磁共振影像数据；
[0008]将所述时序生理生化指标和所述核磁共振影像数据分别输入预设的预后预测模型，利用所述预后预测模型学习得到所述时序生理生化指标对应的第一时序表征和所述核磁共振影像数据对应的第二时序表征；
[0009]利用所述预后预测模型将所述第一时序表征和所述第二时序表征拼接得到目标时序表征，以根据所述目标时序表征对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果。
[0010]可选地，所述将所述时序生理生化指标和所述核磁共振影像数据分别输入预设的预后预测模型之前，所述方法还包括：
[0011]构建基于注意力的第一神经网络模型，以及基于时空卷积的第二神经网络模型；其中，所述第一神经网络模型的输入数据为时序生理生化指标，输出数据为所述时序生理生化指标对应的时序表征；所述第二神经网络模型的输入数据为核磁共振影像数据，输出数据为核磁共振影像数据对应时序表征；
[0012]建立同时与所述第一神经网络模型和所述第二神经网络模型连接的多个全连接层；将所述第一神经网络模型和所述第二神经网络模型的输出数据同时作为所述全连接层
的输入数据；
[0013]收集多组疾病患者的时序生理生化指标和对应的时序表征，构建第一样本数据集；所述疾病患者为经过治疗的患者，所述第一样本数据集包括预先采集的所述患者在治疗前和治疗后对应不同时间点的生理生化指标以及生理生化指标对应的时序表征；
[0014]收集所述多组疾病患者的头颈部核磁共振影像数据和对应的时序表征，构建第二样本数据集；所述第二数据集包括与所述生理生化指标对应时间点采集的头颈部核磁共振影像数据和对应的时序表征；
[0015]分别利用所述第一数据集、所述第二数据集训练所述第一神经网络模型和所述第二神经网络模型。
[0016]可选地，利用所述第一数据集训练第一神经网络模型包括：
[0017]将所述第一数据集划分为训练集和验证集，先利用所述训练集对所述第一神经网络模型进行训练；其中，第一数据集中的时序生理生化指标为模型的输入数据，时序生理生化指标对应的时序表征为模型的输出数据；
[0018]利用所述验证集调整所述第一神经网络模型的超参数，并在所述第一神经网络模型的迭代训练时，验证所述第一神经网络模型的泛化能力达到设定要求时，得到训练好的第一神经网络模型。
[0019]可选地，所述利用所述预后预测模型学习得到所述时序生理生化指标对应的第一时序表征包括：
[0020]将所述时序生理生化指标输入所述预后预测模型中的第一神经网络模型，
[0021]利用所述第一神经网络模型学习不同时间点的时序生理生化指标各自对应指标特征以及连续时间点的时序生理生化指标对应关联关系的关联特征；
[0022]根据所述时序生理生化指标各自对应指标特征和所述关联特征得到所述时序生理生化指标对应的第一时序表征。
[0023]可选地，所述获取所述时序生理生化指标对应时间点的核磁共振影像数据包括：
[0024]识别连续多次检测所述时序生理生化指标时对应的多个检测时间点；
[0025]从头颈部核磁共振影像数据中选取所述多个检测时间点在对应时间点检测的核磁共振影像数据，作为所述核磁共振影像数据；其中，每个所述检测时间点对应的核磁共振影像数据包含多个子序列，所述多个子序列分别为从不同角度和防伪拍摄的核磁共振图像，展示了肿瘤区域的空间信息。
[0026]可选地，所述利用所述预后预测模型学习得到所述核磁共振影像数据对应的第二时序表征包括：
[0027]将各所述检测时间点对应的多个子序列输入所述预后预测模型中的第二神经网络模型；
[0028]利用所述第二神经网络模型对每个时间点对应的多个子序列进行学习，得到每个子序列在不同检测时间点的序列特征以及连续的检测时间点的关联特征，整合所述序列特征和所述关联特征得到并输出所述核磁共振影像数据对应的第二时序表征。
[0029]可选地，所述根据所述目标时序表征对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果包括：
[0030]将所述目标时序表征输入所述预后预测模型中的多个全连接层，经过函数激活得
到复发风险概率；
[0031]利用所述复发风险概率对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果，所述预后结果包括所述目标对象对应的疾病复发风险等级。
[0032]根据本专利技术的第二方面，还提供了一种基于时序多模态数据的疾病患者智能预后预测系统，所述系统包括：
[0033]第一获取模块，用于获取目标对象的时序生理生化指标；
[0034]第二获取模块，用于获取所述时序生理生化指标对应时间点的核磁共振影像数据；
[0035]特征学习模块，用于将所述时序生理生化指标和所述核磁共振影像数据分别输入预设的预后预测模型，利用所述预后预测模型学习得到述时序生理生化指标对应的第一时序表征和所述核磁共振影像数据对应的第二时序表征；
[0036]预测模块，用于利用所述预后预测模型将所述第一时序表征和所述第二时序表征拼接得到目标时序表征，以根据所述目标时序表征对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果。
[0037]根据本专利技术的第三方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面中任一项所述的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序多模态数据的疾病患者智能预后预测方法，其特征在于，所述方法包括：获取目标对象的时序生理生化指标；获取所述时序生理生化指标对应时间点的核磁共振影像数据；将所述时序生理生化指标和所述核磁共振影像数据分别输入预设的预后预测模型，利用所述预后预测模型学习得到所述时序生理生化指标对应的第一时序表征和所述核磁共振影像数据对应的第二时序表征；利用所述预后预测模型将所述第一时序表征和所述第二时序表征拼接得到目标时序表征，以根据所述目标时序表征对所述目标对象进行智能预后预测，得到包括所述目标对象疾病发展结果的预后结果。2.根据权利要求1所述的方法，其特征在于，所述将所述时序生理生化指标和所述核磁共振影像数据分别输入预设的预后预测模型之前，所述方法还包括：构建基于注意力的第一神经网络模型，以及基于时空卷积的第二神经网络模型；其中，所述第一神经网络模型的输入数据为时序生理生化指标，输出数据为所述时序生理生化指标对应的时序表征；所述第二神经网络模型的输入数据为核磁共振影像数据，输出数据为核磁共振影像数据对应时序表征；建立同时与所述第一神经网络模型和所述第二神经网络模型连接的多个全连接层；将所述第一神经网络模型和所述第二神经网络模型的输出数据同时作为所述全连接层的输入数据；收集多组疾病患者的时序生理生化指标和对应的时序表征，构建第一样本数据集；所述疾病患者为经过治疗的患者，所述第一样本数据集包括预先采集的所述患者在治疗前和治疗后对应不同时间点的生理生化指标以及生理生化指标对应的时序表征；收集所述多组疾病患者的头颈部核磁共振影像数据和对应的时序表征，构建第二样本数据集；所述第二数据集包括与所述生理生化指标对应时间点采集的头颈部核磁共振影像数据和对应的时序表征；分别利用所述第一数据集、所述第二数据集训练所述第一神经网络模型和所述第二神经网络模型。3.根据权利要求2所述的方法，其特征在于，利用所述第一数据集训练第一神经网络模型包括：将所述第一数据集划分为训练集和验证集，先利用所述训练集对所述第一神经网络模型进行训练；其中，第一数据集中的时序生理生化指标为模型的输入数据，时序生理生化指标对应的时序表征为模型的输出数据；利用所述验证集调整所述第一神经网络模型的超参数，并在所述第一神经网络模型的迭代训练时，验证所述第一神经网络模型的泛化能力达到设定要求时，得到训练好的第一神经网络模型。4.根据权利要求2所述的方法，其特征在于，所述利用所述预后预测模型学习得到所述时序生理生化指标对应的第一时序表征包括：将所述时序生理生化指标输入所述预后预测模型中的第一神经网络模型，利用所述第一神经网络模型学习不同时间点的时序生理生化指标各自对应指标特征
以及连续时间点的时序生理生化指标对应关联关系...

【专利技术属性】
技术研发人员：李映雪，李响，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：