【技术实现步骤摘要】
本专利技术涉及多模态医学图像属性分类，具体涉及一种基于多模态融合的胃肠道肿瘤图像多属性分类方法、设备及介质。
技术介绍
1、胃肠道间质瘤(gist)是一种常见的胃肠道和肠系膜肿瘤且被认定为潜在的恶性肿瘤。在内镜超声(eus)成像中，gist与平滑肌瘤等肿瘤的成像特征具有重叠导致内镜医生难以分辨肿瘤的病理性质而医生在白光内镜(wle)下对消化道粘膜下肿瘤的诊断也十分困难。
2、现有的单模态eus模型对于gist识别准确度不符合临床要求，而eus联合wle成像能提供强有力的互补诊断信息，将会更有助于gists的诊断。同时在医生诊断肿瘤的过程中会通过eus和wle成像对肿瘤的性质进行诊断并生成格式化的肿瘤属性诊断报告，因此模型对肿瘤属性的识别对于最终肿瘤性质识别有帮助，同时得到的肿瘤属性也能够进行格式化的诊断报告生成，提高模型可解释性。
技术实现思路
1、为解决现有技术中存在的问题，本专利技术提供了一种基于多模态融合的胃肠道肿瘤图像多属性分类方法、设备及介质，可以对胃肠道肿瘤的回声大小、起源层次、回声异质性、边界情况、肿瘤形状以及突出方向等肿瘤属性进行分类，并结合这些属性再对肿瘤性质进行分类，解决了上述
技术介绍
中提到的问题。
2、为实现上述目的，本专利技术提供如下技术方案：一种基于多模态融合的胃肠道肿瘤图像多属性分类方法，包括如下步骤：
3、s1、构建多模态胃肠道肿瘤数据集；
4、s2、对数据集进行分层操作；
5、s3、构建图像
6、s4、构建多属性分类网络，利用图像特征对肿瘤属性进行多属性分类训练，训练完成后，利用该网络对待测肿瘤图像进行预测，得到网络预测补全后的肿瘤属性；
7、s5、病灶属性引导下的跨模态注意力融合及肿瘤性质分类：利用网络预测补全后的肿瘤属性对图像特征进行注意力进行引导并对eus和wle模态进行跨模态注意力融合，得到跨模态注意力融合后的向量，再经过多属性分类网络三层全连接层，最终输出待测肿瘤图像的肿瘤性质分类，用于辅助诊断结果。
8、优选的，在步骤s1中，收集患者的多模态数据集，数据集包括患者的eus图像、wle图像以及对这两个图像的文本描述，并按照eus图像、eus文本、wle图像、wle文本的组合对所有的数据进行配对；
9、然后进行图像与文本预处理：对于图像，进行大小调节和标准化操作，使其符合网络的输入；对于文本进行错别字鉴别以及文本格式标准化操作，并提取出文本描述中肿瘤的属性特征标签。
10、优选的，在步骤s2中，利用提取到的属性特征标签数量对数据集进行分层操作，具体包括：当eus图像属性标签与wle图像属性标签均未缺失，那么该数据就被归为第零层数据；当eus图像属性标签与wle图像属性标签缺失数量为两个，那么该数据就被归为第二层数据。
11、优选的，在步骤s3中，所述图像特征提取网络包括eus图像特征提取网络以及wle图像特征提取网络，均使用通过imagenet与训练后的resnet18网络作为基础特征提取骨架，得到eus图像特征与wle图像特征：
12、meus＝reus(ieus)
13、mwle＝rwle(iwle)
14、feus＝avgpool(meus)
15、fwle＝avgpool(mwle)
16、其中分别表示eus图像特征向量与wle图像特征向量，分别表示eus图像特征提取网络和wle图像特征提取网络，分别表示eus图像特征图和wle图像特征图，avgpool(·)为平均池化操作。
17、优选的，在步骤s4中，所述多属性分类网络包括eus和wle属性分类网络，eus和wle属性分类网络由三层全连接层组成，其中eus有六种属性，wle有三种属性，因此，在属性分类层总共使用了九个三层的全连接层进行肿瘤多属性分类；其中第一层为512*1024的全连接层，第二层为1024*1024的全连接层，第三层为1024*dimcls的全连接层，其中，dimcls为肿瘤其中一个单个属性的分类数量；
18、在训练中，采用adam对多属性分类网络进行更新，若能够从描述文本中提取出所有的肿瘤属性标签，那么就使用所有预测结果以及真实属性标签对模型进行训练；如果文本中缺失该标签，那么在训练时会为其加入相应权重，具体损失函数如下：
19、
20、
21、其中，n、m分别表示eus属性的数量和wle属性的数量，gt表示真实的标签，yc表示属性的真实值；
22、在训练时，首先使用第零层的数据对模型进行训练，再依次加入第一层、第二层的数据来对模型进行训练，直到所有层次的数据都加入训练为止；除第零层外，每加入一层数据时，首先会利用上一层数据中训练好的模型对该层数据中缺失的属性标签进行预测，并在缺失处生成对应伪标签，具体过程如下：
23、
24、其中分别表示第i层模型预测的eus和wle属性分别表示eus和wle第j个属性的分类网络；
25、利用模型预测的标签对该层数据中缺失的标签进行替换：
26、
27、其中分别表示更新后的第i层eus和wle的第j个属性，将使用伪标签填充缺失部分的数据加入到模型的训练集中，并进行后续的模型训练，训练完成后，利用该网络对待测肿瘤图像特征进行预测，得到网络预测补全后的肿瘤属性。
28、优选的，在步骤s5中，具体包括如下：
29、s51、将网络预测补全后的肿瘤属性利用lstm网络进行特征提取，得到对应图像的肿瘤属性特征向量，具体过程如下：
30、feattr＝leus(atteus)
31、fwattr＝lwle(attwle)
32、其中，分别为eus属性特征向量和wle属性特征向量，分别为经过网络预测补全后的eus属性和wle属性，leus、lwle分别为eus属性特征提取器和wle属性特征提取器；
33、s52、利用eus和wle属性特征对eus和wle图像的特征图进行注意力引导，过程如下：
34、由于eus特征图与通过特征提取获得的eus报告特征之间的通道数量不匹配，首先对齐eus特征图中的通道数量和报告特征的长度：
35、
36、其中都是可学习参数，将eus和wle的属性特征与图像特征通道对齐；
37、之后将对齐后的属性特征中每个元素广播到的空间中形成的向量，之后使用1×1卷积核的卷积将所有信息聚合到最终属性注意力特征图中，如下所示：
38、
39、其中bro(·)表示广播操作，conv(·)表示使用1×1卷积核将多个通道信息聚合到一个通道中，为经过属性特征引导之后的引导特征图；
40、将aeus、awle中的每个元素和meus、m本文档来自技高网...
【技术保护点】
1.一种基于多模态融合的胃肠道肿瘤图像多属性分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多模态融合的胃肠道肿瘤图像多属性分类方法，其特征在于：在步骤S1中，收集患者的多模态数据集，数据集包括患者的EUS图像、WLE图像以及对这两个图像的文本描述，并按照EUS图像、EUS文本、WLE图像、WLE文本的组合对所有的数据进行配对；
3.根据权利要求1所述的基于多模态融合的胃肠道肿瘤图像多属性分类方法，其特征在于：在步骤S2中，利用提取到的属性特征标签数量对数据集进行分层操作，具体包括：当EUS图像属性标签与WLE图像属性标签均未缺失，那么该数据就被归为第零层数据；当EUS图像属性标签与WLE图像属性标签缺失数量为两个，那么该数据就被归为第二层数据。
4.根据权利要求1所述的基于多模态融合的胃肠道肿瘤图像多属性分类方法，其特征在于：在步骤S3中，所述图像特征提取网络包括EUS图像特征提取网络以及WLE图像特征提取网络，均使用通过ImageNet与训练后的Resnet18网络作为基础特征提取骨架，得到EUS图像特征与WLE图像特征：
5.根据权利要求1所述的基于多模态融合的胃肠道肿瘤图像多属性分类方法，其特征在于：在步骤S4中，所述多属性分类网络包括EUS和WLE属性分类网络，EUS和WLE属性分类网络由三层全连接层组成，其中EUS有六种属性，WLE有三种属性，因此，在属性分类层总共使用了九个三层的全连接层进行肿瘤多属性分类；其中第一层为512*1024的全连接层，第二层为1024*1024的全连接层，第三层为1024*Dimcls的全连接层，其中，Dimcls为肿瘤其中一个单个属性的分类数量；
6.根据权利要求1所述的基于多模态融合的胃肠道肿瘤图像多属性分类方法，其特征在于：在步骤S5中，具体包括如下：
7.一种电子设备，其特征在于：所述电子设备包括：处理器(210)；和存储器(220)，用于存储一个或多个程序；
8.一种计算机可读存储介质，其特征在于：其上存储有计算机程序，所述计算机程序被处理器(210)执行时实现如权利要求1-6中任一项所述的基于多模态融合的胃肠道肿瘤图像多属性分类方法。
...【技术特征摘要】
1.一种基于多模态融合的胃肠道肿瘤图像多属性分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多模态融合的胃肠道肿瘤图像多属性分类方法，其特征在于：在步骤s1中，收集患者的多模态数据集，数据集包括患者的eus图像、wle图像以及对这两个图像的文本描述，并按照eus图像、eus文本、wle图像、wle文本的组合对所有的数据进行配对；
3.根据权利要求1所述的基于多模态融合的胃肠道肿瘤图像多属性分类方法，其特征在于：在步骤s2中，利用提取到的属性特征标签数量对数据集进行分层操作，具体包括：当eus图像属性标签与wle图像属性标签均未缺失，那么该数据就被归为第零层数据；当eus图像属性标签与wle图像属性标签缺失数量为两个，那么该数据就被归为第二层数据。
4.根据权利要求1所述的基于多模态融合的胃肠道肿瘤图像多属性分类方法，其特征在于：在步骤s3中，所述图像特征提取网络包括eus图像特征提取网络以及wle图像特征提取网络，均使用通过imagenet与训练后的resnet18网络作为基础特征提取骨架，得...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。