【技术实现步骤摘要】
本专利技术属于医疗健康大数据领域，具体涉及一种基于跨模态知识蒸馏的肺癌风险预测方法。
技术介绍
1、肺癌是全球负担最重的恶性肿瘤之一，根据globocan 2018数据库显示，肺癌全球发病率为11.6％，死亡率为18.4％。肺癌是全球癌症死亡的主要原因，越早发现越有益，因此针对于肺癌的患病风险预测也至关重要。通过风险预测模型可以初步标记出满足肺癌筛查条件的高风险个体，为医生的准确诊断提供一定的医疗决策支持，也可以对个体的生活习惯进行预警。
2、从目前训练模型的方法来看，无论是多模态数据训练的模型还是单模态数据训练的模型，模型在使用时都需要提供与其训练数据相同模态的数据。这就导致使用多模态技术时，虽然能保证数据平台中不同模态的数据都可以用于模型训练，使得平台中的数据得以充分利用，但是模型使用时会提高获取用于预测的数据的成本；相对的，使用单模态技术时，获取用于预测的数据的成本不会过高，但是模型训练时无法充分利用平台数据。
技术实现思路
1、为解决上述问题，本专利技术提供了一种基于跨模态知识蒸馏的肺癌风险预测方法，其特征在于，包括以下步骤：
2、s1.选取训练完成的基于ct图像输入的i3d模型为教师模型；采用多层感知机模型构建学生模型，且其以结构化问卷数据为输入；
3、s2.将ct图像数据集输入教师模型并提取出中间特征图集，将每一中间特征图转换为对应的第一中间特征向量；
4、s3.将ct图像数据集所对应的结构化问卷数据集输入学生模型，输出预
5、s4.基于第一中间特征向量集合和第二中间特征向量集合，计算教师模型空间分布和学生模型空间分布；
6、s5.采用kl散度计算教师模型空间分布和学生模型空间分布间的散度损失；
7、s6.计算散度损失和交叉熵损失的加权和，并反向传播训练学生模型，直至学生模型参数收敛；
8、s7.将训练完成的学生模型作为肺癌风险预测模型，用于预测患者的肺癌风险数据辅助医生诊断。
9、进一步的，步骤s2将任一ct图像输入教师模型提取出中间特征图，并将中间特征图转换为对应的第一中间特征向量；包括：
10、s21.将一张ct图像ctvolume输入教师模型，提取出对应的n×m维中间特征图featuremap；其中，n表示中间特征图的长，m表示中间特征图的宽；
11、s22.对n×m维中间特征图featuremap的每一行元素值求取行平均值，根据行平均值得到n×1维的第一中间特征向量。
12、进一步的，步骤s4中根据第一中间特征向量集合计算教师模型空间分布，包括：
13、s41.采用核函数处理每两个ct图像的第一中间特征向量，得到对应的向量点积，表示为：
14、
15、其中，xi，xj∈x分别表示ct图像数据集x中第i张ct图像和第j张ct图像，k()表示核函数，表示第i张ct图像对应的第一中间特征向量，t表示转置操作；
16、s42.采用核密度估计方法处理所有向量点积得到教师模型空间分布，在教师模型空间分布中每一ct图像相对于其余不同ct图像的条件概率密度，表示为：
17、
18、其中，p(xi|xj)表示在ct图像数据集中第i张ct图像相对于第j张ct图像的条件概率密度，n表示ct图像数据集的ct图像数量。
19、进一步的，步骤s5采用kl散度计算教师模型空间分布和学生模型空间分布间的散度损失，表示为：
20、
21、其中，q(yi|yj)表示在结构化问卷数据集中第i个结构化问卷数据相对于第j个结构化问卷数据的条件概率密度，p(xi|xj)表示在ct图像数据集中第i张ct图像相对于第j张ct图像的条件概率密度，n表示样本数，kl(·||·)用于度量表示两个分布距离的kl散度。
22、进一步的，步骤s6计算散度损失和交叉熵损失的加权和，表示为：
23、loss＝αlossce+(1-α)losskd×grad_ratio
24、其中，α为加权系数，lossce为交叉熵损失，losskd为散度损失，grad_ratio为梯度修正参数。
25、进一步的，梯度修正参数grad_ratio的计算公式为：
26、
27、
28、
29、其中，θ表示学生模型参数，grad1_norm表示交叉熵损失提供的梯度的二范数，grad2_norm表示散度损失提供的梯度的二范数，||·||2表示二范数计算。
30、本专利技术的有益效果：
31、1)现有的的肺癌风险预测模型可以使用各种数据进行训练和测试，在测试时模型要求的输入数据与训练数据一致。但在模型训练完后的实际应用中一些数据获取成本高，正如本专利技术提及的ct影像数据，为了获取ct影像数据需要去医院挂号检查，拿到数据以后才能将数据输入模型进行预测，但是风险预测模型本身就是给是否医院做检查提供决策支持的，为了能使用模型而去医院做检查本身就与风险预测模型的功能相背。2)所以构建的模型应当选择易于获取的数据作为输入如本专利技术中的结构化问卷数据，但是现有风险预测模型在测试时模型要求输入数据与训练数据一致，这使得无法使用ct数据这类与诊断相关的数据来提升模型性能。为了解决1)和2)的问题本专利技术将跨模态知识蒸馏技术应用于肺癌风险预测模型上。最终产生有益的效果是解除了测试时模型要求的输入数据与训练数据一致这限制，通过跨模态知识蒸馏可以使用更多模态更多视图的数据训练模型但是在模型训练完使用时只需要使用易于获取的数据进行预测，保证模型较低的使用成本同时，更加充分的使用了多源数据。
本文档来自技高网...【技术保护点】
1.一种基于跨模态知识蒸馏的肺癌风险预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于跨模态知识蒸馏的肺癌风险预测方法，其特征在于，步骤S2将任一CT图像输入教师模型提取出中间特征图，并将中间特征图转换为对应的第一中间特征向量；包括：
3.根据权利要求1所述的一种基于跨模态知识蒸馏的肺癌风险预测方法，其特征在于，步骤S4中根据第一中间特征向量集合计算教师模型空间分布，包括：
4.根据权利要求1所述的一种基于跨模态知识蒸馏的肺癌风险预测方法，其特征在于，步骤S5采用KL散度计算教师模型空间分布和学生模型空间分布间的散度损失，表示为：
5.根据权利要求1所述的一种基于跨模态知识蒸馏的肺癌风险预测方法，其特征在于，步骤S6计算散度损失和交叉熵损失的加权和，表示为：
6.根据权利要求5所述的一种基于跨模态知识蒸馏的肺癌风险预测方法，其特征在于，梯度修正参数grad_ratio的计算公式为：
【技术特征摘要】
1.一种基于跨模态知识蒸馏的肺癌风险预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于跨模态知识蒸馏的肺癌风险预测方法，其特征在于，步骤s2将任一ct图像输入教师模型提取出中间特征图，并将中间特征图转换为对应的第一中间特征向量；包括：
3.根据权利要求1所述的一种基于跨模态知识蒸馏的肺癌风险预测方法，其特征在于，步骤s4中根据第一中间特征向量集合计算教师模型空间分布，包括：
4...
【专利技术属性】
技术研发人员：于洪，孙世杰，苏祖强，王国胤，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。