【技术实现步骤摘要】
本专利技术属于基于计算机视觉的医学影像分割，尤其涉及一种多模态脑肿瘤医学影像分割方法及其模型构建方法。
技术介绍
1、在脑肿瘤分割领域，传统的多模态方法通常采用基于固定规则或经验的分割策略，存在一定的局限性。这些方法缺乏智能化和自适应性，难以适应不同的数据特征和分割需求。因此，本文提出一种基于区域融合模块的多模态脑肿瘤分割方法，旨在克服传统方法的局限性，提高分割精度和鲁棒性。
2、1.传统脑肿瘤分割方法缺乏智能化和自适应性。这些方法通常基于固定规则或经验指导，无法根据实时变化的病灶特征做出灵活的调整。由于脑肿瘤的形态和位置会随着时间和治疗的进展而变化，传统方法无法及时适应这些变化，导致分割结果可能不够精确。
3、2.传统方法需要深入了解系统的固有动态，增加了分割过程的复杂性。脑部组织结构复杂，肿瘤形态各异，传统方法往往难以准确捕捉到这些动态特性。这导致了需要更多的人工干预和调整，增加了分割过程的耗时和成本。
4、3.传统的肿瘤分割方法是采用基于阈值的方法和基于区域的方法[4]，但由于肿瘤图像会受到噪声等影响，会出现图像灰度不均匀，肿瘤与正常组织之间的灰度值变化平滑，这些特征的不确定性会导致肿瘤无法实现精确分割
5、4.传统方法无法灵活地调整分割策略以适应不同的病变类型和临床需求。不同类型的脑肿瘤对分割算法的要求不同，而传统方法往往采用统一的处理流程，无法根据不同病变的特点进行个性化的分割，可能导致分割结果的准确性和稳定性不佳。
技术实现思路>
1、针对上述问题，本专利技术第一方面提供了一种多模态脑肿瘤医学影像分割模型构建方法，包括以下过程：
2、步骤1，利用磁共振成像mri技术采集脑肿瘤患者的影像数据，获得原始影像数据；
3、步骤2，对原始影像数据进行预处理，构建训练与测试数据集；包括肿瘤区域标记，生成对应的标签掩码mask；
4、步骤3，构建多模态脑肿瘤医学影像分割模型，包括特定于不同模态的并行编码器，将3d可用模态作为每个编码器的输入，包含t1加权模态、对比度增强t1加权模态、t2加权模态和流体衰减反演恢复模态；
5、还包括区域感知融合模块与解码器，所述区域感知融合模块包括概率图学习部分和区域感知特征融合部分，将多模态特征划分为不同的区域，对每个区域中的分割特征进行区域感知融合，实现对四种图像模态学习权重的共享；所述解码器引入了基于扩展卷积的残差块，用于处理编码器获得的多尺度特征；
6、步骤4，定义损失函数，使用步骤2中的练集与测试集对构建的分割模型进行训练与测试，得到最终的多模态脑肿瘤医学影像分割模型。
7、优选的，所述步骤2对原始影像数据进行预处理还包括对获取的mri图像进行去噪处理，以消除图像中的噪音干扰，并进行图像标准化，使得图像的像素值范围在一定区间内，同时调整图像大小，将图像大小调整为适合模型输入的尺寸，以便于后续的训练和处理。
8、优选的，所述步骤3中的编码器，每个独立编码器由4个相同的encoder层组成，在每一层包含了多头自注意力层、残差块以及归一化层；单层编码器定义为：
9、
10、其中i≤4，m∈{mask,xt2,xt1,xt1c,xflair}，表示模态m在编码器第i层的输入序列，即为s1中经过预处理得到的dataset对应的m模态序列，表示模态m在编码器第i层的输出特征，att表示多头注意力层，r表示残差块，n表示层归一化操作；
11、其中，多头自注意力层用于捕捉不同模态之间的相关性，残差块有助于信息传递，归一化层则保证了模型的稳定性和泛化能力；
12、所述多头注意力层旨在从不同的表示子空间捕获不同的相关性，公式如下：
13、att(x)＝concat(head1,head2,...,headh)wo
14、
15、其中x为输入序列，h为头数(head number)，wiq,wik,wiv分别为第i个头的查询query、键key和值value的线性投影矩阵，dk为每个头的维度，wo为最终线性变换的权重矩阵；
16、所述残差块通过引入残差连接，提高网络的优化能力，公式如下：
17、r(x)＝x+ffn(n(x))
18、其中ffn为前馈神经网络，由两个线性层和一个激活函数组成；
19、所述归一化层公式如下：
20、
21、其中μ(x)和σ(x)分别为输入x在某个维度上的均值和标准差，γ和β为可学习的仿射变换参数，∈为一个很小的数，避免分母为0。
22、优选的，所述步骤3中的区域感知融合模块包括概率图学习部分和区域感知特征融合部分；
23、所述概率图是基于可用的编码器特征和对应的掩码特征获得的，ω表示模态集合，包括flair、t1c、t1和t2；δm被设置为0或1，指示模态中是否缺失信息；fm表示相应的模态特征；概率图学习过程定义为：
24、
25、其中表示分割掩码对应的特征，x、y和z表示特征图中的体素，是所学习的概率图；φ表示区域分类器，θ是相应的参数；k表示肿瘤区域集，包括背景、tc、ed和et；
26、所述区域感知特征融合部分将多模态特征划分为不同的区域，对每个区域中的分割特征进行区域感知融合，实现对四种图像模态学习权重的共享，将四种模态特征投影到共享的空间中；
27、特征划分是通过将多模态相关特征与概率图相乘来实现的，公式如下：
28、
29、其中，fk表示肿瘤区域k中可用模态的划分特征，并且fm表示模态m的编码器特征；区域k特征是通过注意力机制获得的；在特征划分后，在不同的区域中单独学习模态注意力权重，以聚合相应的特征；使用区域范数池防止平均全局特征判别性低，然后将生成的注意力权重应用于划分的特征fk，以调整来自可用模态的贡献，从而获得有区别的融合特征fi。
30、优选的，所述解码器引入了基于扩展卷积的残差块，用于处理编码器获得的多尺度特征所有卷积操作的核尺寸均为3×3×3，卷积核数量从8个增加到256个；
31、解码器的每一层都从上采样层开始，然后进行卷积操作，将特征通道数减少一半；接着，将上采样后的特征与来自编码器对应层级的特征进行拼接融合；在特征融合后，使用基于扩展卷积的残差块进一步扩大接受域，提取更丰富的特征表示；最后，该方法将不同层次的分割预测结果进行整合，生成最终的网络输出，实现对脑肿瘤区域的精准分割；
32、具体而言，上采样层用于增加特征图的空间分辨率，采用反卷积方法，其公式如下：
33、y＝w*x+b
34、其中x为输入特征图，y为输出特征图，w为可学习的卷积核权重，b为偏置项，*表示反卷积运算；反卷积通过向输入特征图周围填充0值，然后与可学习的卷积核进行卷积，从而实现上采样；
35、扩展卷积在不增加参数和计算量的本文档来自技高网...
【技术保护点】
1.一种多模态脑肿瘤医学影像分割模型构建方法，其特征在于，包括以下过程：
2.如权利要求1所述的一种多模态脑肿瘤医学影像分割模型构建方法，其特征在于：所述步骤2对原始影像数据进行预处理还包括对获取的MRI图像进行去噪处理，以消除图像中的噪音干扰，并进行图像标准化，使得图像的像素值范围在一定区间内，同时调整图像大小，将图像大小调整为适合模型输入的尺寸，以便于后续的训练和处理。
3.如权利要求1所述的一种多模态脑肿瘤医学影像分割模型构建方法，其特征在于：所述步骤3中的编码器，每个独立编码器由4个相同的Encoder层组成，在每一层包含了多头自注意力层、残差块以及归一化层；单层编码器定义为：
4.如权利要求1所述的一种多模态脑肿瘤医学影像分割模型构建方法，其特征在于：所述步骤3中的区域感知融合模块包括概率图学习部分和区域感知特征融合部分；
5.如权利要求4所述的一种多模态脑肿瘤医学影像分割模型构建方法，其特征在于：所述解码器引入了基于扩展卷积的残差块，用于处理编码器获得的多尺度特征所有卷积操作的核尺寸均为3×3×3，卷积核数量从8个增加到
6.如权利要求1所述的一种多模态脑肿瘤医学影像分割模型构建方法，其特征在于：所述步骤4中的定义损失函数，是自适应的损失函数设计，将二值交叉熵损失BCE Loss和Dice损失函数有机结合为BCEDiceLoss损失函数；当数据分布极度不均衡时，BCEDiceLoss将自动舍弃BCE Loss部分，等价于使用Dice Loss损失函数；公式为：
7.一种多模态脑肿瘤医学影像分割方法，其特征在于，将如权利要求1至6任意一项所述的构建方法所构建的多模态脑肿瘤医学影像分割模型部署于医疗设备上，并包括以下过程：
8.一种多模态脑肿瘤医学影像分割设备，其特征在于：所述设备包括至少一个处理器和至少一个存储器，所述处理器和存储器相耦合；所述存储器中存储有如权利要求1至6任意一项所述的构建方法所构建的多模态脑肿瘤医学影像分割模型的计算机执行程序；所述处理器执行存储器中存储的计算机执行程序时，使处理器执行一种多模态脑肿瘤医学影像分割方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有如权利要求1至6任意一项所述的构建方法所构建的多模态脑肿瘤医学影像分割模型的计算机程序或指令，所述程序或指令被处理器执行时，使处理器执行一种多模态脑肿瘤医学影像分割方法。
...【技术特征摘要】
1.一种多模态脑肿瘤医学影像分割模型构建方法，其特征在于，包括以下过程：
2.如权利要求1所述的一种多模态脑肿瘤医学影像分割模型构建方法，其特征在于：所述步骤2对原始影像数据进行预处理还包括对获取的mri图像进行去噪处理，以消除图像中的噪音干扰，并进行图像标准化，使得图像的像素值范围在一定区间内，同时调整图像大小，将图像大小调整为适合模型输入的尺寸，以便于后续的训练和处理。
3.如权利要求1所述的一种多模态脑肿瘤医学影像分割模型构建方法，其特征在于：所述步骤3中的编码器，每个独立编码器由4个相同的encoder层组成，在每一层包含了多头自注意力层、残差块以及归一化层；单层编码器定义为：
4.如权利要求1所述的一种多模态脑肿瘤医学影像分割模型构建方法，其特征在于：所述步骤3中的区域感知融合模块包括概率图学习部分和区域感知特征融合部分；
5.如权利要求4所述的一种多模态脑肿瘤医学影像分割模型构建方法，其特征在于：所述解码器引入了基于扩展卷积的残差块，用于处理编码器获得的多尺度特征所有卷积操作的核尺寸均为3×3×3，卷积核数量从8个增加到256个；
6.如权利要求1所述的一种多模态脑肿瘤医学影像...
【专利技术属性】
技术研发人员：冯莹，窦菁菁，
申请(专利权)人：青岛大学心血管病研究所青岛大学附属心血管病医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。