【技术实现步骤摘要】
本专利技术属于计算机视觉领域，具体涉及一种基于循环视觉transformer的纵向脑灰质图像分类方法。
技术介绍
1、基于神经网络的方法在灰质图像分类方面显示出巨大的优势。现有研究方法大多集中于利用单时间点的影像数据来建模灰质图像的空间特征来分类灰质图像，然而，仅仅通过单时间点的灰质图像数据，难以建模灰质图像随着被试者时间的动态变化。因此，如何构建纵向脑灰质影像数据的全局时空特征实现对灰质图像的分类，是一个具有挑战性的任务。
2、目前，基于时空特征的动态变化实现纵向脑灰质图像的分类主要包含两种方法。一种方法是使用昂贵的4d卷积来捕捉纵向灰质图像的时空特征，这种方法虽然能很好的利用纵向灰质图像中的时空特征，但是训练过程非常耗时，而且计算资源大。另一种方法是使用相互独立的特征提取和分类模型进行诊断，但提取的特征无法捕获能反应大脑变化的完整时空特征，导致图像分类精度受限。并且这两种方法均只能使用同样多时间点的灰质图像进行分类，如果某些受试者的纵向灰质图像在某些时间点丢失，就会导致无法提取一致的特征以进行纵向分析。因此，需要设计一种可以挖掘纵向灰质图像中的完整时空特征，并且适用于任意时间点灰质图像数据的智能分类方法。
技术实现思路
1、本专利技术所要解决的技术问题是：
2、为了解决现有方法不能基于任意时间点的灰质图像数据建模纵向灰质图像中完整的时空特征，实现对灰质图像分分类。本专利技术提供一种基于循环视觉transformer的纵向脑灰质图像分类方法。
4、一种基于循环视觉transformer的纵向脑灰质图像分类方法，其特征在于，包括：
5、获取不同时间点的结构核磁共振图像，对不同时间点的结构核磁共振图像进行预处理得到纵向灰质图像，将纵向灰质图像分为训练集、验证集和测试集；
6、构建基于rvit的纵向脑灰质图像分类模型，所述基于rvit的纵向脑灰质图像分类模型由resnet-18和rvit模块共同组成，所述resnet-18网络的深度为18层，其主干网络包含4个阶段，每个阶段包含2个残差模块；在resnet-18模型主干网络的第四个阶段的2个残差模块前，通过rvit模块来聚合不同时间点灰质图像的时间特征，使得当前时间点的灰质图像特征融合了其他时间点灰质图像的时间信息；
7、将训练集输入至基于rvit的纵向脑灰质图像分类模型进行监督训练，并利用验证集验证模型训练的好坏并调整模型的超参数，找到模型最优的实验超参数；将得到的最优参数的模型在测试集上进行测试，得到模型分类纵向灰质图像的效果。
8、本专利技术进一步的技术方案：所述预处理包括：
9、通过矢状位图像中前联合与后联合的位置进行图像校正，调整不同时间点的结构磁共振图像的原点坐标；
10、对校正后的图像进行空间归一化、头骨剥离和图像分割；
11、对分割后的灰质图像进行偏执矫正，将灰质图像归一化到mni标准空间，除去灰质图像中的不均匀性和噪声，得到经调制后的标准化灰质图像；
12、对标准化的灰质图像进行重采样。
13、本专利技术进一步的技术方案：所述rvit模块包含卷积模块、多轴注意力模块和lstm单元，所述卷积模块用于结合纵向结构核磁共振图像的知识先验，并赋予模型条件位置嵌入的能力，使得模型不需要进行绝对或者相对位置嵌入；所述多轴注意力模块用于挖掘数据中的空间特征；所述lstm单元用于聚合不同时间点灰质图像数据中的时间信息，提取纵向灰质图像数据中的全局时空特征。
14、本专利技术进一步的技术方案：所述多轴注意力模块包括局部注意力层和网格注意力层，所述局部注意力层用于提取局部特征，所述网格注意力层用于提取全局特征。
15、本专利技术进一步的技术方案：所述残差模块由两个具有相同卷积核个数的3×3卷积层组成，每个卷积层后紧接着bn层和relu激活函数，并且原始输入跳过卷积层连接到卷积层的输出后再经过relu激活函数。
16、一种计算机系统，其特征在于包括：一个或多个处理器，计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。
17、一种计算机可读存储介质，其特征在于存储有计算机可执行指令，所述指令在被执行时用于实现上述的方法。
18、一种计算机程序产品，其特征在于包括计算机可执行指令，所述指令在被执行时用于实现上述的方法。
19、本专利技术的有益效果在于：
20、本专利技术提供的一种基于循环视觉transformer(rvit)的纵向脑灰质图像分类方法，成功地实现了基于rvit的纵向脑灰质图像分类方法，其在脑影像分类领域具有如下优势：
21、首先，相比于现有的灰质图像分类模型，本专利技术提出的基于rvit的纵向脑灰质图像分类方法使用共享的resnet-18最为模型的骨干网络提取不同时间点灰质图像数据中的空间特征，并使用rvit作为时间聚合模块，不仅加快了模型的训练速度，且可以依据捕获到与大脑异常相关的完整时空特征实现对灰质图像的精确诊断。且由于采用了rvit模块作为时间聚合模块，所以可以对任意时间点的灰质图像进行预测，克服了被试者的纵向灰质图像在某些时间点丢失，导致无法提取一致的特征以进行纵向分析的问题。
本文档来自技高网...【技术保护点】
1.一种基于循环视觉Transformer的纵向脑灰质图像分类方法，其特征在于，包括：
2.根据权利要求1所述一种基于循环视觉Transformer的纵向脑灰质图像分类方法，其特征在于，所述预处理包括：
3.根据权利要求1所述一种基于循环视觉Transformer的纵向脑灰质图像分类方法，其特征在于，所述RViT模块包含卷积模块、多轴注意力模块和LSTM单元，所述卷积模块用于结合纵向结构核磁共振图像的知识先验，并赋予模型条件位置嵌入的能力，使得模型不需要进行绝对或者相对位置嵌入；所述多轴注意力模块用于挖掘数据中的空间特征；所述LSTM单元用于聚合不同时间点灰质图像数据中的时间信息，提取纵向灰质图像数据中的全局时空特征。
4.根据权利要求3所述一种基于循环视觉Transformer的纵向脑灰质图像分类方法，其特征在于，所述多轴注意力模块包括局部注意力层和网格注意力层，所述局部注意力层用于提取局部特征，所述网格注意力层用于提取全局特征。
5.根据权利要求1所述一种基于循环视觉Transformer的纵向脑灰质图像分类方法，其特征在于，所
6.一种计算机系统，其特征在于包括：一个或多个处理器，计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1所述的方法。
7.一种计算机可读存储介质，其特征在于存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1所述的方法。
8.一种计算机程序产品，其特征在于包括计算机可执行指令，所述指令在被执行时用于实现权利要求1所述的方法。
...【技术特征摘要】
1.一种基于循环视觉transformer的纵向脑灰质图像分类方法，其特征在于，包括：
2.根据权利要求1所述一种基于循环视觉transformer的纵向脑灰质图像分类方法，其特征在于，所述预处理包括：
3.根据权利要求1所述一种基于循环视觉transformer的纵向脑灰质图像分类方法，其特征在于，所述rvit模块包含卷积模块、多轴注意力模块和lstm单元，所述卷积模块用于结合纵向结构核磁共振图像的知识先验，并赋予模型条件位置嵌入的能力，使得模型不需要进行绝对或者相对位置嵌入；所述多轴注意力模块用于挖掘数据中的空间特征；所述lstm单元用于聚合不同时间点灰质图像数据中的时间信息，提取纵向灰质图像数据中的全局时空特征。
4.根据权利要求3所述一种基于循环视觉transformer的纵向脑灰质图像分类方法，其特征在于，所述多轴注意力模块包括局部注意力层和网格注意力层...
【专利技术属性】
技术研发人员：赵世杰，方龙，韩军伟，杨阳，
申请(专利权)人：西北工业大学深圳研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。