基于视觉Transformer的腰椎间盘突出与神经根压迫关系分级方法及系统技术方案

本发明专利技术提出基于视觉Transformer的腰椎间盘突出与神经根压迫关系分级方法及系统，利用标注好的ROI框对T2轴位的腰椎MRI图像进行感兴趣区域的提取，并进行数据增强和归一化处理；将归一化后图像进行空洞卷积嵌入操作，将特征图像投影到嵌入维度D，接下来将特征图像划分窗口并送入到网络中进行训练；在进行网络训练时，在划分的窗口内采用深度空洞卷积进行映射，再进行多头自注意力的计算；添加可变形注意力Transformer模块进行训练，将最后获取到的特征向量送入分类头，然后通过Softmax分类得到腰椎间盘突出与神经根压迫关系分级结果。本发明专利技术能够准确高效快速的实现腰椎间盘突出与神经根压迫关系分级任务。出与神经根压迫关系分级任务。出与神经根压迫关系分级任务。

【技术实现步骤摘要】
基于视觉Transformer的腰椎间盘突出与神经根压迫关系分级方法及系统


[0001]本专利技术涉及深度学习、计算机视觉
，尤其涉及一种基于视觉Transformer的腰椎间盘突出与神经根压迫关系分级方法及系统。

技术介绍

[0002]腰椎疾病是临床非常常见且发病率很高的疾病，临床上对腰椎疾病的检测主要是通过腰椎X线平片检查、CT检查、磁共振(MRI)检查等。其中MRI对人体没有电离辐射损伤，通过对神经肌肉等软组织成像，可清晰的得出腰椎椎间盘退变情况，椎间盘突出程度、方向、对椎管内神经压迫等情况，同时可排除椎管内肿瘤性病变，对腰椎疾病的诊断价值很高。腰椎间盘突出是一种慢性腰椎疾病，起初不易引起人们的注意，并且还会引起腰部肌肉经络、腰肌劳损、下肢肌肉萎缩等后遗症，腰椎间盘突出还将导致脊髓和脊神经根遭受刺激或压迫，从而引起相应的神经症状。研究腰椎间盘突出与神经根压迫关系能够帮助医生了解病人病情的严重情况，为医生制定治疗方案提供参考。
[0003]传统的诊断方法主要是进行医疗影像扫描后依靠专业医生阅片进行诊断，整个过程效率非常慢，且由于专业医生培养速度较慢而医疗影像数据增加过快，导致医生诊断压力也越来越大。基于深度学习的诊断方法能够实现数据驱动下的自动特征提取，实现疾病的自动诊断，与此同时，基于深度学习的智能辅助诊断系统在医疗领域中得到了广泛的应用，且在许多疾病的诊断准确率上已经超过了临床医师。研发基于深度学习的腰椎疾病自动化诊断系统不仅能够减少放射科医生不断增加的工作量，而且能够提高医学影像数据的利用价值，对临床应用具有非常重要的意义。

技术实现思路

[0004]本专利技术针对腰椎间盘突出与神经根压迫关系分级对医师临床经验要求较高，医疗影像数据增长快而专业医师相对缺乏，医生的诊断压力增大、诊断结果具有不一致性的问题，提出一种基于视觉Transformer的腰椎间盘突出与神经根压迫关系分级方法及系统，能够准确高效快速的实现腰椎间盘突出与神经根压迫关系分级任务，减轻医生诊断压力同时辅助医生提高诊断效率及准确率。
[0005]为了实现上述目的，本专利技术采用以下技术方案：
[0006]本专利技术一方面提出一种基于视觉Transformer的腰椎间盘突出与神经根压迫关系分级方法，包括以下五个步骤：
[0007]步骤(1)、首先利用医生标注好的ROI框对T2轴位的腰椎MRI图像进行感兴趣区域的提取，截取出感兴趣区域图像，再进行数据增强和归一化处理，最后得到224
×
224
×
3大小的图像；
[0008]步骤(2)、然后将步骤(1)归一化后的图像进行空洞卷积嵌入操作，特征图像由224
×
224
×
3变为56
×
56
×
D，D为嵌入维度，接下来将特征图像划分窗口并展平成特征序列送
入到Swin Transformer网络中进行训练；
[0009]步骤(3)、在进行Swin Transformer网络训练时，采用深度空洞卷积映射生成query、key和value，再进行多头自注意力的计算；
[0010]步骤(4)、在进行网络训练时，添加可变形注意力Transformer模块进行训练，在Swin Transformer模型的中的不同阶段插入可变形注意力Transformer模块，通过可变形注意力Transformer模块训练得到新的注意力特征；
[0011]步骤(5)、将最后得到的特征向量送入两层全连接层的分类头，然后进行Softmax分类得到腰椎间盘突出与神经根压迫关系分级结果。
[0012]进一步地，步骤(1)包括：
[0013]在原灰度图中提取出感兴趣区域之后，将感兴趣区域图像转换为RGB图像，然后进行数据增强，包括随机裁剪，随机水平翻转，随机垂直翻转，
‑
10到10度的随机旋转，旋转180度，对比度增强1到1.5倍，亮度变化0.7到1.3，然后进行归一化处理，将感兴趣区域图像转化成大小为224
×
224
×
3的图像。
[0014]进一步地，步骤(2)中所述空洞卷积嵌入操作通过设计重叠空洞卷积层堆栈来实现，图像在通过空洞卷积嵌入操作后，特征图大小由224
×
224
×
3变为56
×
56
×
D。
[0015]进一步地，所述的空洞卷积嵌入操作，在设计时，首先将224
×
224
×
3的图像经过第一层卷积核大小为3
×
3，扩张率为2，步长为2的空洞卷积后得到大小为112
×
112
×
D/2的特征图，并进行批规范化和ReLU激活；将112
×
112
×
D/2大小的特征图送入第二层卷积核大小为3
×
3，步长为1的普通卷积得到新的特征图，特征图尺寸大小不变，同样进行批规范化和ReLU激活；将新的特征图送入第三层卷积核为3
×
3，扩张率为2，步长为1的空洞卷积后得到大小为56
×
56
×
D的特征图作为输出。
[0016]Swin Transformer是对于原始图像分块并划分窗口，通过线性嵌入把窗口内的图像块变成Tokens序列，再通过计算注意力来实现Tokens之间的信息交互。本方法使用空洞卷积嵌入替换原线性嵌入，这样做的目的是将CNN的优势如平移、缩放、旋转不变性等引入Transformer，使得Transformer也具有和CNN类似的建模局部空间上下文信息的能力，同时保留Transformer对全局上下文信息建模的优势，使模型能够更好的关注到全局和局部的信息，提升了网络的性能。
[0017]进一步地，步骤(3)中所述的深度空洞卷积映射操作，在设计时，首先将基于窗口大小的特征图展平，经过卷积核大小为3
×
3，扩张率为2并进行组卷积的深度空洞卷积映射操作生成query、kay和value的序列，然后进行自注意力的计算得到新的注意力特征图。
[0018]在基于窗口的注意力计算时先通过卷积核为3
×
3，扩张率为2并进行组卷积的深度空洞卷积映射操作生成query、key和value的序列，最后进行自注意力的计算得到注意力特征图，这样做的优势是改进了原模型自注意力的计算，通过引入局部卷积到Transformer中，进一步提高了Tokens内部的信息交互，从而提高了视觉Swin transformer的性能。
[0019]进一步地，步骤(4)中所述可变形注意力Transformer模块主要在计算注意力时通过位置偏移网络将query特征作为输入，并为所有参考点生成相应的位置偏移，然后特征映射出key和value的值；在进行4个阶段的Swin Transformer网络训练时，在第2、3阶本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉Transformer的腰椎间盘突出与神经根压迫关系分级方法，其特征在于，包括：步骤1：利用标注好的ROI框对T2轴位的腰椎MRI图像进行感兴趣区域的提取，截取出感兴趣区域图像，再进行数据增强和归一化处理；步骤2：将步骤1归一化后的图像进行空洞卷积嵌入操作，将特征图像投影到嵌入维度D，接下来将特征图像划分窗口并送入到Swin Transformer网络中进行训练；步骤3：在进行Swin Transformer网络训练时，在划分的窗口内采用深度空洞卷积进行映射，再进行多头自注意力的计算；步骤4：在进行网络训练时，添加可变形注意力Transformer模块进行训练，得到新的注意力特征；步骤5：将最后获取到的特征向量送入分类头，然后通过Softmax分类得到腰椎间盘突出与神经根压迫关系分级结果。2.根据权利要求1所述的基于视觉Transformer的腰椎间盘突出与神经根压迫关系分级方法，其特征在于，所述步骤1包括：在原灰度图中提取出感兴趣区域之后，将感兴趣区域图像转换为RGB图像，然后进行数据增强，包括随机裁剪、随机水平翻转、随机垂直翻转、随机旋转、旋转180度、对比度增强、亮度变化，然后进行归一化处理，将感兴趣区域图像转化成224
×
224
×
3大小的图像。3.根据权利要求2所述的基于视觉Transformer的腰椎间盘突出与神经根压迫关系分级方法，其特征在于，所述空洞卷积嵌入操作通过设计重叠空洞卷积层堆栈来实现，图像在通过空洞卷积嵌入操作后，特征图大小由224
×
224
×
3变为56
×
56
×
D。4.根据权利要求3所述的基于视觉Transformer的腰椎间盘突出与神经根压迫关系分级方法，其特征在于，所述空洞卷积嵌入操作包括：首先将224
×
224
×
3的图像经过第一层卷积核大小为3
×
3，扩张率为2，步长为2的空洞卷积后得到大小为112
×
112
×
D/2的特征图，并进行批规范化和ReLU激活；将112
×
112
×
D/2大小的特征图送入第二层卷积核大小为3
×
3，步长为1的普通卷积得到新的特征图，特征图尺寸大小不变，同样进行批规范化和ReLU激活；将新的特征图送入第三层卷积核为3
×
3，扩张率为2，步长为1的空洞卷积后得到大小为56
×
56
×
D的特征图作为输出。5.根据权利要求2或3所述的基于视觉Transformer的腰椎间盘突出与神经根压迫关系分级方法，其特征在于，所述步骤3包括：将步骤2得到的56
×
56
×
D的特征图划分窗口，并通过深度空洞卷积映射层产生query、key、value，然后基于窗口以及移位窗口求得注意力。6.根据权利要求1所述的基于视觉Transformer的腰椎间盘突出与神经根压迫关系分级方法，其特征在于，所述步骤4包括：在网络模型的不同训练阶段插入可变形注意力Transformer模块，通过可变形注意力Transformer模块训练得到新...

【专利技术属性】
技术研发人员：陈健，闫镔，李英，海金金，乔凯，王争艳，杨帅，苏志海，吕海，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：