【技术实现步骤摘要】
本专利技术涉及医学影像处理技术，尤其涉及了基于多模态信息融合的医学影像分割标注方法和系统。
技术介绍
1、随着人工智能(artificial intelligence，ai)技术的发展，其在医疗影像领域的应用和意义也日益显著。通过对大量病例数据的特征提取和学习，ai模型可以快速定位组织器官的病变位置，精准分割病灶以及对病种类型进行分类，进而提高了医生的诊断效率，减轻了医生的工作负担。
2、大量高标准的标注数据是训练一个优秀ai模型的必要条件，而目前对三维医学影像进行分割标注的方法主要依赖人工逐层在感兴趣区域进行手动涂抹或者进行轮廓勾勒，从而进一步得到标注结果，这种标注方法在实际应用中耗时耗力，标注难度大，对标注人员的专业要求较高。
3、如现有技术1：cn117893738a，基于自适应加权均值滤波的图像分割方法和装置，虽然在某些特定应用中可能具有一定的优势，但其自适应性和鲁棒性方面较差，无法适应复杂场景的分割任务，且该方法依赖于设计者的先验知识和经验，难以利用大规模数据进行优化和精度提升。
4、现有技术2：cn118314161a，一种基于文本语义引导的小样本医学图像分割方法在交互式分割中引入文本描述，实现了对小样本医学图像的分割标注，该技术在实施过程中是采用二维切片逐层进行提示分割标注的方法，最后将每层分割结果进行组合作为最终的标注，这种方法虽然提高了标注速度，但对于三维医学影像来说，它忽略了影像的空间信息，可能会造成断层现象。
技术实现思路
2、为了解决上述技术问题，本专利技术通过下述技术方案得以解决：
3、基于多模态信息融合的医学影像分割标注方法，其包括：
4、步骤1，模型结构的构建，构建多模态信息融合的医学影像分割标注模型的模型结构，分割标注模型的模型结构包括图像编码器image encoder、文本编码器text encoder以及掩膜解码器mask decoder；
5、步骤2，数据集的处理，对数据集进行预处理并利用随机采样法构造数据集，从数据集中按照比例划分为训练集、验证集和测试集；
6、步骤3，模型的训练及收敛，通过损失函数和优化器对模型进行训练，直至模型收敛；
7、步骤4，将待分割的器官从原始影像中裁剪出来并输入到步骤3中训练好的模型中，同时输入文本提示词进行语义分割，将模型预测的掩膜作为模型分割标注结果。
8、作为优选，图像编码器采用3d vision transformer作为骨干网络，对输入的影像cube做特征提取并获取不同深度的特征图；
9、文本编码器text encoder采用3d transformer架构来提取文本语义信息，并将提取到的文本语义信息与图像编码器image encoder提取到的图像语义信息进行线性对齐；
10、掩膜解码器mask decoder通过整合图像编码器image encoder输出的多尺度图像特征图和文本编码器text encoder输出的文本提示嵌入向量，得到最终的分割标注。
11、作为优选，数据集的预处理包括：
12、根据单个器官掩膜的最大外接矩形框来裁剪器官和对应的掩膜；
13、把所有掩膜的像素二值化，背景点像素值为0，前景点像素值为1，将器官和掩膜的cube尺寸统一化，
14、对放射检查报告进行预处理，去除放射检查报告文本中的多余空格、标点符号。
15、作为优选，步骤3，采用适当的损失函数和优化器用以优化模型，采用联合损失函数来计算预测掩膜和真值掩膜之间的损失，采用adamw优化器对模型参数进行更新优化，联合损失计算公式为：
16、
17、l＝αldl+βlce；
18、其中，l是联合损失函数，ldl是dice loss，lce是交叉熵损失，α、β分别代表diceloss和交叉熵损失的权重参数，n为掩膜的总像素点，s代表预测掩膜，g代表真值掩膜，si代表预测掩膜第i个像素的置信度，gi代表真值掩膜第i个像素的置信度。
19、作为优选，模型的训练通过微调训练图像编码器image encoder并得到图像嵌入向量，具体包括：
20、第一步，输入图像编码器image encoder之前，根据输入cube的不同的类型对其设置合适的窗宽窗位，并将影像归一化到[0,1]之间；
21、第二步，在图像编码器image encoder中，cube经过卷积核的卷积操作将影像离散化为向量，将向量展平后输入级联的多层3dvit单元，并选取最后以及三个不同深度3dvit单元后的特征作为中间特征向量，对其进行特征后处理，每个特征向量经过特征投影、转置和尺寸调整，通过卷积和卷积转置操作生成多尺度特征图，分别为feature_1、feature_2、feature_3和feature_4，每个特征图代表不同深度的特征。
22、作为优选，模型训练阶段微调训练文本编码器text encoder，得到文本提示嵌入向量包括
23、文本提示数据为放射检查报告，放射检查报告包括患病组织，病灶位置，病灶征象等信息，在进入文本编码器text encoder之前，需要对其进行预处理并进行实体识别和关系抽取形成三元组格式，三元组表示为(s，r，o)，其中s代表头实体，r代表关系，o代表尾实体；采用jieba分词对文本进行命名实体识别并采用casrel模型抽取实体之间的关系，并对抽取出的关系做人工校验，过滤掉错误的关系，形成三元组；
24、对三元组进行编码，采用3d transformer架构，其结构包含多头注意力机制层，layernorm、多层感知机、layernorm。其中，注意力机制层的头数为8，多层感知机的结构为线性层、quick gelu激活函数、线性层；quick gelu的公式为：
25、
26、其中，x表示文本实体关系三元组经过处理后得到的张量；
27、文本张量x经过反复的自注意力计算和残差计算，然后经过多层感知机层得到最终的提示嵌入向量。
28、作为优选，模型训练阶段微调训练掩膜解码器mask decoder，融合多尺度图像特征和文本特征得到预测的掩膜；
29、将多尺度图像特征与文本特征进行融合，生成最终的预测掩膜；
30、多尺度的图像输入特征feature_1、feature_2、feature_3和feature_4首先通过卷积核大小为3的卷积层进行初步处理得到对应的特征图，特征融合模块用于逐步融合多尺度图像特征，进行特征降维得到最终的融合后的图像特征，之后对图像特征和文本特征进行归一化处理，得到对应的单位特征向量；
31、对两个单位特本文档来自技高网...
【技术保护点】
1.基于多模态信息融合的医学影像分割标注方法，其方法包括：
2.根据权利要求1所述的基于多模态信息融合的医学影像分割标注方法，其特征在于，图像编码器采用3D Vision Transformer作为骨干网络，对输入的影像cube做特征提取并获取不同深度的特征图；
3.根据权利要求1所述的基于多模态信息融合的医学影像分割标注方法，其特征在于，数据集的预处理包括：
4.根据权利要求1所述的基于多模态信息融合的医学影像分割标注方法，其特征在于，步骤3，采用适当的损失函数和优化器用以优化模型，采用联合损失函数来计算预测掩膜和真值掩膜之间的损失，采用AdamW优化器对模型参数进行更新优化，联合损失计算公式为：
5.根据权利要求1所述的基于多模态信息融合的医学影像分割标注方法，其特征在于，模型的训练通过微调训练图像编码器image encoder并得到图像嵌入向量，具体包括：
6.根据权利要求1所述的基于多模态信息融合的医学影像分割标注方法，其特征在于，模型训练阶段微调训练文本编码器text encoder，得到文本提示嵌入向量；包
7.根据权利要求1所述的基于多模态信息融合的医学影像分割标注方法，其特征在于，模型训练阶段微调训练掩膜解码器mask decoder，融合多尺度图像特征和文本特征得到预测的掩膜；
8.基于多模态信息融合的医学影像分割标注系统，其特征在于，基于多模态信息融合的医学影像分割标注方法，其方法包括：
...【技术特征摘要】
1.基于多模态信息融合的医学影像分割标注方法，其方法包括：
2.根据权利要求1所述的基于多模态信息融合的医学影像分割标注方法，其特征在于，图像编码器采用3d vision transformer作为骨干网络，对输入的影像cube做特征提取并获取不同深度的特征图；
3.根据权利要求1所述的基于多模态信息融合的医学影像分割标注方法，其特征在于，数据集的预处理包括：
4.根据权利要求1所述的基于多模态信息融合的医学影像分割标注方法，其特征在于，步骤3，采用适当的损失函数和优化器用以优化模型，采用联合损失函数来计算预测掩膜和真值掩膜之间的损失，采用adamw优化器对模型参数进行更新优化，联合损失计算公式为：
5...
【专利技术属性】
技术研发人员：胡利荣，叶凯凯，尤堃，伍华樑，
申请(专利权)人：浙江飞图影像科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。