一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法技术

本发明专利技术属于图像处理领域，具体涉及一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，包括构建RAPNet网络并对其进行训练；将脑部MRI图像输入到训练好的RAPNet网络中进行图像识别分割，得到分割后的脑肿瘤MRI图像及其亚结构区域，RAPNet网络包括主干网络、特征金字塔以及辅助预测，主干网络由空洞卷积和多个ISE

【技术实现步骤摘要】
一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法


[0001]本专利技术属于图像处理领域，具体涉及一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法。

技术介绍

[0002]脑肿瘤是大脑中聚集的异常细胞，是一种极其危险的疾病。肿瘤细胞会快速分裂并且无限增殖，逐渐侵犯人体中枢神经系统最终导致死亡。医学影像为脑肿瘤的早期诊断提供了技术支持，在众多成像方法中，磁共振成像(Magnetic Resonance Imaging,MRI)技术为脑部软组织的多方位成像提供了优越的对比度，且具有无创、无辐射的特点，因此MRI成为诊断脑肿瘤的一种常用技术。在治疗过程中，为了在杀死肿瘤细胞的同时最大限度的保护正常细胞，治疗前对肿瘤瘤体的分割尤为重要。然而，用人力的方法对大量多模态MRI图像进行标注和分割是一项非常耗时的工作，而且这种方式受到主观因素的影响太大，其分割效率较低。
[0003]随着人工智能技术的迅速发展，特别是深度学习技术的突破和医学大数据的兴起，越来越多的研究者致力将人工智能技术应用于MRI图像中脑肿瘤的自动分割。其中，基于深度卷积神经网络(Deep Convolution Neural Network,DCNN)的方法以数据驱动的方式，通过端到端的学习机制来构建复杂的神经网络模型。这些DCNN网络可以分为两大类，即多流结构和编解码器结构。多流架构使用不同规模的多个输入以共享参数的方式构建网络，此类网络考虑了MRI数据中像素/体素之间的空间关系，其体系结构通常集成到另一级联结构中，以滑动窗口的方式对小像素/体素块和大像素/体素块分别进行采样。小块采样负责学习MRI扫描的详细局部特征，而大块采样则利用上下文信息来提高最终的分割性能。多数据流体系结构首先为不同大小的输入图像构建金字塔，然后馈送它们以学习多尺度特征，这种方式也被称为具有多特征输出的多图像输入。多数据流的方式实现相对简单，但金字塔的输入图像被重复输入到同一网络，这将导致计算冗余。
[0004]与多流架构不同，编解码器结构主要使用端到端学习的像素
‑
像素语义分割思想。陈等人通过在卷积层中添加对称掩码来有效地利用先验知识，提出了一种深度卷积对称神经网络来实现脑肿瘤的自动分割。蒋等人通过探索多模态图像块进行有效的数据增强，提出了一种新的图像增强算法，即用于多类别语义分割的三维全卷积网络。李等人在改进的全卷积网络的基础上，提出了一种向上跳跃连接的结构以改善网络连通性，增强编码器部分和解码器部分之间的信息流，同时在U型结构的每个基础模块中采用初始模块使网络能够学习更丰富的特征表示。胡等人提出了基于多级卷积神经网络和全连通条件随机场的分割方法，该方法结合多个连通分量的中间结果设计了多级网络体系结构，以考虑标签的局部依赖性，并使用条件随机场来考虑上下文信息，消除一些虚假输出以进行精细分割。Rehman等人在现有的U
‑
Net结构中引入了残差扩展跳跃连接和宽泛上下文两个模块，用以有效扩大感受野，增强MRI的背景特征提取。在这些网络中，编码器负责将输入转换为低分辨率表示，而解码器将低分辨率表示映射到像素预测。由于重新移动全连接层，这种类型的
体系结构允许对任意输入大小进行像素级密集预测。
[0005]虽然上述网络极大地促进了医学图像分割的发展，但由于脑肿瘤在不同患者的MRI图像中呈现出不同的大小和形状，基于单尺度的网络在在脑肿瘤分割方面仍然存在以下局限性：过于复杂的网络模型适用于数据量较大的图像处理，并且需要强大的计算资源，当网络参数较多的时候，网络模型会出现梯度弥散的问题；现有的大多数用于脑肿瘤分割的DCNN具有有限的多尺度处理能力，且常忽略病变组织周围环境这种可用以区分不同组织的辅助信息，因此，急需一种用于不同尺度的脑肿瘤MRI图像分割模型进行图像分割处理。

技术实现思路

[0006]为解决脑肿瘤在不同患者MRI图像中呈现不同大小和形状导致基于单尺度DCNN分割精度较低的问题，本专利技术提出一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，
[0007]构建RAPNet网络并对其进行训练；
[0008]将将脑部MRI图像输入到训练好的RAPNet网络中进行图像识别分割，得到分割后的脑肿瘤MRI图像及其亚结构区域；
[0009]RAPNet网络包括主干网络、特征金字塔以及辅助预测，其中：
[0010]主干网络由空洞卷积和多个改进的递归残差卷积单元(Improved Squeeze
‑
and
‑
Excitation Recurrent Residual Convolutional Unit，ISE
‑
R2CU)组成，用于提取输入图像的浅层特征和深层特征；
[0011]特征金字塔由空洞卷积和跨模型注意力机制构成，用于提取具有不同尺度的特征图以提高整体模型对不同大小肿瘤的识别能力；
[0012]辅助预测部分为标准卷积组成，用于综合观察所有受益于特征融合模块的目标。
[0013]进一步的，ISE
‑
R2CU由三个ISE
‑
Res模块、三个1
×1×
1标准卷积层、一个3
×3×
3标准卷积层和一个残差连接层组成，其中：
[0014]3×3×
3标准卷积层根据输入的图像得到高分辨率图像；
[0015]将高分辨率图像输入1
×1×
1标准卷积层在保证不改变图像大小的情况下压缩其通道数；
[0016]将1
×1×
1标准卷积得到图像与高分辨率图像相加后输入ISE
‑
Res模块；
[0017]第一个ISE
‑
Res模块输出的特征再输入一个1
×1×
1标准卷积层在保证不改变图像大小的情况下压缩其通道数；
[0018]将1
×1×
1标准卷积得到图像与高分辨率图像相加后输入第二个ISE
‑
Res模块；
[0019]第二个ISE
‑
Res模块输出的特征再输入一个1
×1×
1标准卷积层在保证不改变图像大小的情况下压缩其通道数；
[0020]将1
×1×
1标准卷积得到图像与高分辨率图像相加后输入第三个ISE
‑
Res模块；
[0021]第二个ISE
‑
Res模块输出的特征与输入的图像相加作为ISE
‑
R2CU单元的输出。
[0022]进一步的，ISE
‑
R2CU提取输入图像的浅层特征和深层特征，具体包括以下步骤：
[0023][0024][0025][0026]其中，表示ISE
‑
R2CU单元网络在时间步长为t的输出，和分别是网络中第l层的标准卷积和递归卷积单元的输入，和的值分别为标准卷积和递归卷积单元在第k层特征图的权重，b本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，其特征在于，包括以下步骤：构建RAPNet网络并对其进行训练；将将脑部MRI图像输入到训练好的RAPNet网络中进行图像识别分割，得到分割后的脑肿瘤MRI图像及其亚结构区域；RAPNet网络包括主干网络、特征金字塔以及辅助预测，其中：主干网络由空洞卷积和多个改进的递归残差卷积单元组成，用于提取输入图像的浅层特征和深层特征；特征金字塔由空洞卷积和跨模型注意力机制构成，用于提取具有不同尺度的特征图以提高整体模型对不同大小肿瘤的识别能力；辅助预测部分为标准卷积组成，用于综合观察所有受益于特征融合模块的目标。2.根据权利要求1所述的一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，其特征在于，改进的递归残差卷积单元由三个ISE
‑
Res模块、三个1
×1×
1标准卷积层、一个3
×3×
3标准卷积层和一个残差连接层组成，其中：3
×3×
3标准卷积层根据输入的图像得到高分辨率图像；将高分辨率图像输入1
×1×
1标准卷积层在保证不改变图像大小的情况下压缩其通道数；将1
×1×
1标准卷积得到图像与高分辨率图像相加后输入ISE
‑
Res模块；第一个ISE
‑
Res模块输出的特征再输入一个1
×1×
1标准卷积层在保证不改变图像大小的情况下压缩其通道数；将1
×1×
1标准卷积得到图像与高分辨率图像相加后输入第二个ISE
‑
Res模块；第二个ISE
‑
Res模块输出的特征再输入一个1
×1×
1标准卷积层在保证不改变图像大小的情况下压缩其通道数；将1
×1×
1标准卷积得到图像与高分辨率图像相加后输入第三个ISE
‑
Res模块；第二个ISE
‑
Res模块输出的特征与输入的图像相加作为改进的递归残差卷积单元的输出。3.根据权利要求2所述的一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，其特征在于，改进的递归残差卷积单元提取输入图像的浅层特征和深层特征，具体包括以下步骤：在于，改进的递归残差卷积单元提取输入图像的浅层特征和深层特征，具体包括以下步骤：在于，改进的递归残差卷积单元提取输入图像的浅层特征和深层特征，具体包括以下步骤：其中，表示ISE
‑
R2CU单元网络在时间步长为t的输出，和分别是网络中第l层的标准卷积和递归卷积单元的输入，和的值分别为标准卷积和递归卷积单元在第k层特征图的权重，b
k
为偏差，是第l层中递归卷积单元的输出，x
l
为网络中第l层的输入样本，w
l
为第l层特征图上的像素。4.根据权利要求1所述的一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法，其特征在于，跨模型注意力机制包括三个ISE
‑
Res；每个ISE
‑
Res集成在特征金字塔的各特征提...

【专利技术属性】
技术研发人员：胡敏，熊思，黄宏程，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：