【技术实现步骤摘要】
本专利技术属于数字图像处理，涉及一种基于图像语义信息融合的脑组织分割方法。
技术介绍
1、磁共振成像(mri)属于非侵入式成像技术，对人体没有电离辐射损伤，是婴幼儿大脑疾病诊断中主要的检测手段。mri中的大脑组织分割时量化大脑结构体积、研究婴儿大脑发育模式、治疗成人疾病的关键一步。将婴幼儿的大脑磁共振图像准确分割为白质、灰质和脑脊液，对研究大脑早期发育和评估其发育情况有很大帮助。在多模态mr图像中，t1加权模态增强了白质和灰质的对比，t2加权模态突出了脑组织病变区域。不同的模态可以提供不同的脑组织区域的强度分布，这有助于临床医生观察脑组织区域之间的差异。因此，多模态mr图像之间的互补信息可以指导脑组织分割过程，得到更加准确的分割结果。然而，由于脑组织区域的边界模糊、对比度低、解剖关系复杂、人工分割脑组织区域非常困难，特别是许多大脑结构是在新生儿时期形成的，并且在mr图像中具有相似的强度分布，因此基于强度阈值分割大脑结构是比较困难的。
2、全卷积网络(fcn)，它是一种基于深度学习的语义分割网络，可以实现端到端自动分割图像，广泛应用于医学图像分割领域。除此以外，还有各种形式的u-net网络变种，被证明在分割大脑结构方面很有效果。但是，新生儿脑mr图像的精准分割仍然是一项困难的任务，因为存在以下几点问题：1)首先，大多数的网络都忽略了脑mr图像可能存在各向异性的分辨率，即片内和片间分辨率不一致的问题。比如片内分辨率高，片间分辨率低，造成的结果就是导致每个维度的体积图像大小不同。一般的3d fcn都是采用固定尺寸大小的卷积
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种基于图像语义信息融合的脑组织分割方法，通过提取融合多种模态的图像语义信息，并引入图像的远程依赖信息，在边界辅助信息的约束下，实现对脑组织的精准分割。
2、为达到上述目的，本专利技术提供如下技术方案：
3、一种基于图像语义信息融合的脑组织分割方法，包括以下步骤：
4、s1：获取多模态脑组织mr图像数据集，将数据集划分为训练集和测试集；对训练集和测试集的数据进行分块，即将三维数据进行裁剪并进行预处理；
5、s2：通过两个编码流分别处理训练集中的t1加权模态和t2加权模态mr图像，将得到的两种不同模态的特征进行融合，得到融合特征；
6、s3：将所述融合特征通过位置变换的方式计算切块之间的相似性；
7、s4：从前两层编码器选择特征映射，以深监督的方式提供具有细粒度约束的边界特征映射来辅助分割；
8、s5：训练完成后，利用测试集测试由步骤s2-s4构建的脑组织分割模型。
9、进一步，步骤s1具体包括以下步骤：
10、s11：获取脑组织数据集，将数据集划分为训练集和测试集；
11、s12：使用fsl工具对图像进行头骨剥离及强度不均匀校正；
12、s13：对t1模态和t2模态图像的非背景像素进行z-score标准化处理，即对非背景图像像素减去均值，除以方差，使所有数据都聚集在0附近，方差为1，具体公式如下：
13、
14、其中为原始数据的均值，σ为原始数据的方差；
15、s14：对脑组织图像进行分块，即将三维的数据裁剪成64×64×64的尺寸。
16、进一步，所述步骤s2包括以下步骤：
17、s21：经过第一层编码模块得到两个初始特征张量tmod1，tmod2，其中编码模块的具体公式如下：
18、tmod1,tmod2＝max(relu(conv3d(x)))
19、其中，conv3d表示卷积核为3×3×3，步长(stride)为1的三维卷积操作，relu表示relu激活函数，max表示核为2，步长为2的最大池化操作，x是输入特征图，tmod1，tmod2是两个输出的初始特征张量且tmod1∈rc×d×w×h，tmod2∈rc×d×w×h；
20、s22：将步骤s21得到的两个特征张量作为跨模态特征融合的输入，并将第一维的特征张量进行通道维度上的拼接，表示为：
21、tconcat1∈[tmod1,tmod2]
22、其中，[...]表示拼接操作，张量tconcat2∈r2c×d×w×h为多模态图像特征的拼接；
23、接着对于拼接后的特征tconcat2进行max-pooling操作和average-pooling操作，获取通道维度的全局上下文信息，记为tmax∈r1×d×w×h和tavg∈r1×d×w×h；经过池化后的全局信息的张量表示为tconcat∈[tmax,tavg]；整个通道维度的空间信息表示为t∈tconcat1tconcat2；
24、s23：将步骤s22得到的通道维度的空间信息送入嵌入了各向异性卷积的金字塔结构，在所述金字塔结构有三个分支，每一个分支将三维卷积分解为卷积核大小为1×n×n的三维卷积和卷积核大小为m×1×1的三维卷积，其中n∈{3,5,7},m＝3；
25、然后将三个分支生成的张量合并得到大小为6c×d×w×h的空间上下文信息，通过1×1×1的卷积来调整通道数量，并使用归一化bn和leaky relu生成结合了多尺度空间信息的特征张量tmultiscale∈rc×d×w×h；
26、最后，与初始的多模态融合特征拼接，得到具有不同层次的融合特征，表示为：
27、tout∈[tconcat1,tmultiscale]。
28、进一步，所述步骤s3具体包括以下步骤：
29、s31：将步骤s23得到的不同层次的融合特征，输入到基于旋转的transformer层中，将特征图按照90°的整数倍进行旋转；
30、s32：每个patch经过4次旋转之后分别进行卷积操作，产生4通道的特征映射；然后通过最大池化操作得到旋转层的输出；
31、s33：将步骤s32得到的旋转层输出送入transformer计算序列之间的相似性；再使用线性映射，通过位置编码来整合空间信息；所述transformer块由多层自注意msa和多层感知机mlp操作组成，其中包含层的归一化操作；在n-1个transformer层叠加后，第n层的输出计算为：
32、
33、
34、其中，n表示层的归一化操作，z(n)表示第n个transformer层的输出。
35、进一步，所述步骤s4具体包括以下步骤：
36、s41：将步骤s22本文档来自技高网...
【技术保护点】
1.一种基于图像语义信息融合的脑组织分割方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于图像语义信息融合的脑组织分割方法，其特征在于：步骤S1具体包括以下步骤：
3.根据权利要求1所述的基于图像语义信息融合的脑组织分割方法，其特征在于：所述步骤S2包括以下步骤：
4.根据权利要求1所述的基于图像语义信息融合的脑组织分割方法，其特征在于：所述步骤S3具体包括以下步骤：
5.根据权利要求1所述的基于图像语义信息融合的脑组织分割方法，其特征在于：所述步骤S4具体包括以下步骤：
【技术特征摘要】
1.一种基于图像语义信息融合的脑组织分割方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于图像语义信息融合的脑组织分割方法，其特征在于：步骤s1具体包括以下步骤：
3.根据权利要求1所述的基于图像语义信息融合的脑组织分割方法，其特征...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。