本申请提出一种基于多模态信息融合的癌症预测方法与系统，其中方法包括：获取任意两种或两种以上的多模态信息；针对所述任意两种或两种以上的多模态信息，分别提取对应的特征；将所述特征在时间域上对齐；将对齐后的特征融合在动态的多模态图网络中，进行多模态表征交互与融合后，输出总表征向量；选择评价结果最高的对应预测算法作为最终预测算法，对应的癌症预测结果为最终的癌症预测结果。所述系统包括：数据获取模块、特征提取模块、多模态融合模块、算法预测模块、参数评价模块。本申请实现了CT影像、病理信息、临床信息以及基因数据的多模态信息融合，并且提高了术后癌症预测的准确性。准确性。准确性。
【技术实现步骤摘要】
一种基于多模态信息融合的癌症预测方法与系统
[0001]本申请属于医疗信息处理领域，具体涉及一种基于多模态信息融合的癌症预测方法与系统。
技术介绍
[0002]现有技术中，有关癌症术后疗效预测方法，一般需要针对癌症患者，会采集患者术后的CT影像，病理切片，基因，临床信息等多模态数据，病理切片数据一般作为金标准来判断术后治疗效果，但由于其是活体组织采集，需要侵入人体，会对病人造成比较大的创伤。若将CT影像，临床信息以及基因数据为输入，并预测术后疗效结果准确，将可以省去侵入式的病理组织采集步骤，提升病人的治疗舒适度。
技术实现思路
[0003]基于以上技术问题，本申请提出一种基于多模态信息融合的癌症预测方法与系统。
[0004]第一方面，本申请提出一种基于多模态信息融合的癌症预测方法，包括如下步骤：
[0005]获取任意两种或两种以上的多模态信息；
[0006]针对所述任意两种或两种以上的多模态信息，分别提取对应的特征；
[0007]将所述特征在时间域上对齐；
[0008]将对齐后的特征融合在动态的多模态图网络中，进行多模态表征交互与融合后，输出总表征向量；
[0009]将所述总表征向量输入多模态记忆状态，得到多模态记忆状态的最终输出状态；
[0010]将所述总表征向量更新长短期记忆网络中的下一个时间序列数据，得到长短记忆网络的输出；
[0011]结合所述长短记忆网络的输出与多模态记忆状态的最终输出状态，采用不同的预测算法进行分类预测，得到癌症预测结果集合；
[0012]选择评价参数，对所采用的预测算法进行评价，得到评价结果；
[0013]选择评价结果最高的对应预测算法作为最终预测算法，对应的癌症预测结果为最终的癌症预测结果。
[0014]所述多模态信息包括：影像组学数据、病理组学数据、基因组学数据、临床文本数据；
[0015]所述影像组学数据为反映病灶部位的CT影像；
[0016]所述病理组学数据为反映病灶部位的病理切片图像；
[0017]所述基因组学数据为反映病灶部位的基因测序数据；
[0018]所述临床文本数据为反映病灶的文字数据。
[0019]所述对应的特征包括：影像组学特征，提取过程如下：针对反映病灶部位的CT影像，采用基于transformer的nn
‑
UNet模型提取影像组学特征和深度组学特征。
[0020]所述对应的特征包括：影像组学特征，为能够反映医学图像的病灶部位的信息的特征数据，包括：直方图特征、形态学特征、共生矩阵特征、游程矩阵特征、灰度连通大小矩阵特征、基于梯度图的特征。
[0021]所述对应的特征包括：所述病理组学特征，其提取过程如下：
[0022]针对病灶部位的历史病理切片图像进行数据标注；
[0023]基于数据标注的结果对病灶部位的病理切片图像中组织区域进行识别，识别结果为癌症区域以及正常组织区域；
[0024]分别从所述癌症区域以及正常组织区域提取用于训练的小图数据集；
[0025]将所述小图数据集输入到深度卷积神经网络模型，得到深度卷积神经网络输出；
[0026]针对深度卷积神经网络输出，分别对病理切片图像中的癌症区域以及正常组织区域做概率热图；
[0027]针对所述概率热图，对需要提取特征的病理切片图像进行分类，得到病理切片分类结果。
[0028]所述数据标注包括如下信息：癌区信息、肿瘤微环境、细胞核密度信息以及细胞核面积信息。
[0029]所述对应的特征包括：基因组学特征，其提取过程步骤如下：
[0030]针对基因组学数据进行基因组学分析；
[0031]根据筛选条件逐个对基因组学分析结果进行过滤；
[0032]针对过滤后的基因组学分析结果进行行列转换，同时针对过滤后的基因组学分析结果中的突变信息转换为1或0，得到转换后的基因组学分析结果；
[0033]将转换后的基因组学分析结果合并成一个文本文件，每一行代表一个病人或者一次检查，每一列代表某个基因的某个基因组学分析下存在特征值。
[0034]所述对应的特征包括：所述临床文本向量，提取过程如下：采用BERT模型对临床文本数据的每个单词进行向量化，得到临床文本向量。
[0035]所述动态的多模态图网络，包含三类节点，即单模态向量，两模态向量，三模态向量，所述单模态向量，两模态向量以及三模态向量之间具有包含和被包含的关系，所有的节点均与动态的多模态图网络的总输出相关联，将各节点连接构建动态的多模态图网络，所述动态的多模态图网络中每个边关系上隐含着一个权重参数，代表节点之间关系的强弱性。
[0036]所述不同的预测算法，包括：逻辑回归、随机森林、Xgboost、LightGBM、Adaboost、SVM、决策树、K最近邻、朴素贝叶斯、GBDT、GBDT回归、线性回归、KNN回归、随机森林回归、Xgboost回归、LASSO回归、SVM回归。
[0037]所述评价参数用于评价不同的预测算法对应模型的性能，包括：准确率、精确率、召回率、F1_score，混淆矩阵，ROC曲线。
[0038]第二方面，本申请提出一种基于多模态信息融合的癌症预测系统，包括：数据获取模块、特征提取模块、多模态融合模块、算法预测模块、参数评价模块；
[0039]所述数据获取模块、特征提取模块、多模态融合模块、算法预测模块、参数评价模块依次顺序相连接；
[0040]所述数据获取模块用于获取任意两种或两种以上的多模态信息；
[0041]所述特征提取模块用于针对所述任意两种或两种以上的多模态信息，分别提取对应的特征；
[0042]所述多模态融合模块用于将所述特征在时间域上对齐；将对齐后的特征融合在动态的多模态图网络中，进行多模态表征交互与融合后，输出总表征向量；将所述总表征向量输入多模态记忆状态，得到多模态记忆状态的最终输出状态；将所述总表征向量更新长短期记忆网络中的下一个时间序列数据，得到长短记忆网络的输出；
[0043]所述算法预测模块用于结合所述长短记忆网络的输出与多模态记忆状态的最终输出状态，采用不同的预测算法进行分类预测，得到癌症预测结果集合；
[0044]所述参数评价模块用于选择评价参数，对所采用的预测算法进行评价，得到评价结果；选择评价结果最高的对应预测算法作为最终预测算法，对应的癌症预测结果为最终的癌症预测结果。
[0045]所述特征提取模块包括：影像组学特征提取单元、病理组学特征提取单元、基因组学特征提取单元以及临床文本数据特征提取单元；
[0046]所述影像组学特征提取单元用于提取反映病灶部位的CT影像的特征；
[0047]所述病理组学特征提取单元用于提取反映病灶部位的病理切片图像的特征；
[0048]所述基因组学特征提取单元用于提取反映病灶部位的基因测序数据的特征
[0049]所述临床文本数本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多模态信息融合的癌症预测方法，其特征在于，包括如下步骤：获取任意两种或两种以上的多模态信息；针对所述任意两种或两种以上的多模态信息，分别提取对应的特征；将所述特征在时间域上对齐；将对齐后的特征融合在动态的多模态图网络中，进行多模态表征交互与融合后，输出总表征向量；将所述总表征向量输入多模态记忆状态，得到多模态记忆状态的最终输出状态；将所述总表征向量更新长短期记忆网络中的下一个时间序列数据，得到长短记忆网络的输出；结合所述长短记忆网络的输出与多模态记忆状态的最终输出状态，采用不同的预测算法进行分类预测，得到癌症预测结果集合；选择评价参数，对所采用的预测算法进行评价，得到评价结果；选择评价结果最高的对应预测算法作为最终预测算法，对应的癌症预测结果为最终的癌症预测结果。2.如权利要求1所述的基于多模态信息融合的癌症预测方法，其特征在于，所述多模态信息包括：影像组学数据、病理组学数据、基因组学数据、临床文本数据；所述影像组学数据为反映病灶部位的CT影像；所述病理组学数据为反映病灶部位的病理切片图像；所述基因组学数据为反映病灶部位的基因测序数据；所述临床文本数据为反映病灶的文字数据。3.如权利要求2所述的基于多模态信息融合的癌症预测方法，其特征在于，所述对应的特征包括：影像组学特征，提取过程如下：针对反映病灶部位的CT影像，采用基于transformer的nn
‑
UNet模型提取影像组学特征和深度组学特征。4.如权利要求2所述的基于多模态信息融合的癌症预测方法，其特征在于，所述对应的特征包括：影像组学特征，为能够反映医学图像的病灶部位的信息的特征数据，包括：直方图特征、形态学特征、共生矩阵特征、游程矩阵特征、灰度连通大小矩阵特征、基于梯度图的特征。5.如权利要求2所述的基于多模态信息融合的癌症预测方法，其特征在于，所述对应的特征包括：所述病理组学特征，其提取过程如下：针对病灶部位的历史病理切片图像进行数据标注；基于数据标注的结果对病灶部位的病理切片图像中组织区域进行识别，识别结果为癌症区域以及正常组织区域；分别从所述癌症区域以及正常组织区域提取用于训练的小图数据集；将所述小图数据集输入到深度卷积神经网络模型，得到深度卷积神经网络输出；针对深度卷积神经网络输出，分别对病理切片图像中的癌症区域以及正常组织区域做概率热图；针对所述概率热图，对需要提取特征的病理切片图像进行分类，得到病理切片分类结果。6.如权利要求2所述的基于多模态信息融合的癌...
【专利技术属性】
技术研发人员：许峥，王剑仲，许娟，弓孟春，史文钊，
申请(专利权)人：神州医疗科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。