一种基于掩码自编码器CNN-Transformer的心脏磁共振图像配准方法技术

本发明专利技术提供一种基于掩码自编码器CNN

【技术实现步骤摘要】
一种基于掩码自编码器CNN
‑
Transformer的心脏磁共振图像配准方法


[0001]本专利技术属于医学图像处理
，具体涉及一种基于掩码自编码器CNN
‑
Transformer的心脏磁共振图像配准方法。

技术介绍

[0002]医学图像配准在医学图像处理中是一项重要的分析任务，尤其是对于可变形的非刚性器官的配准，能够为医生提供病变的多种互补信息。由于医学图像中组织结构的可变性，心脏图像的配准是一个比较复杂的问题，主要体现在：(1)非刚性复杂运动：在心动周期中，心脏会发生十分复杂的整体刚性运动和局部变形，使得心脏在一个心动周期的连续时间帧内获取的切片形态差异很大，很难精准的跟踪心脏的运动过程；(2)解剖标志稀缺：与其它软组织结构相比，刻画心脏运动所需的精确解剖标志要更少且难以标注，尤其是在心肌壁中缺乏可靠的可识别标志，使得对于配准来说存在一定困难。
[0003]随着深度学习技术的兴起，基于深度神经网络的深度学习方法已经成为了解决医学图像配准性能提升瓶颈的关键所在。但是，目前的主流框架如VoxelMorph，多采用卷积神经网络作为主干结构，而传统的卷积运算是通过具有卷积核大小的窗口滑动提取特征的，感受野局限于固定大小的区域，只在提取局部特征时具有很好的效果，对于获取全局信息存在一定局限性。Transformer的引入在解决深层局部特征信息丢失等问题上起到了很好的效果，目前也有很多的Transformer基线模型以及融合模型被提出来去缓解这些问题，但实际上，相比于信息密度很大的语言文本信息，图像数据形式本身是具有高度信息冗余的，这使得模型对这类数据的预测难度相对较大，有许多对于任务目标无关的一些信息可能也包含在模型学习的范围内，使得模型需要花费大量的参数计算。因此，亟需一种能够有效减少特征冗余、且在减少模型参数计算的同时提升配准的精度的网络模型。

技术实现思路

[0004]本专利技术要解决的技术问题是：
[0005]本专利技术为了解决现有技术中存在的图像冗余特征以及注意力权重区分不够差异化所带来的模型计算量巨大，并且配准后图像的心脏心室的轮廓不够明显，同时无法达到较高配准精度的问题。
[0006]本专利技术为解决上述技术问题所采用的技术方案：
[0007]本专利技术提供了一种基于掩码自编码器CNN
‑
Transformer的心脏磁共振图像配准方法，设计有掩码的自编码器(MaskedAutoEncoder,MAE)，包括如下步骤：
[0008]S1、获取心脏磁共振图像数据集T，对数据集T进行标准预处理，得到数据集T1；获取数据集T中两个时间帧的心脏磁共振影像数据，并随机组合两个时间帧的图像，分别作为固定图像和浮动图像，对图像对进行拼接与标准预处理，得到数据集T2；
[0009]S2、分别构建基于掩码自编码器的Transformer预训练网络和基于CNN
‑
Transformer的配准网络；
[0010]所述基于CNN
‑
Transformer的配准网络包括空间&通道并行挤压与激励模块、Transformer编码器、基于CNN的解码器以及空间变换网络；
[0011]S3、采用数据集T1对基于掩码自编码器的Transformer预训练网络进行训练，得到预训练权重；
[0012]S4、根据得到的预训练权重，对基于CNN
‑
Transformer配准网络的权重进行初始化，将数据集T2中的固定图像和浮动图像输入至配准网络中，经过三个下采样操作的卷积层，得到低分辨率特征图；并通过所述空间&通道并行挤压与激励模块将低分辨率特征图的空间维度和通道维度的注意力特征进行并行融合处理，生成具有不同维度注意力分布加权的特征图；
[0013]S5、通过Transformer编码器对加权的特征图进行特征提取；
[0014]S6、通过基于CNN的解码器进行上采样操作，生成全分辨率的固定图像与浮动图像之间的形变场；
[0015]S7、将浮动图像与得到的形变场输入到所述空间变换网络，得到配准图像；
[0016]S8、计算配准图像与固定图像之间的损失，通过标准的反向传播训练网络，生成最优权重参数的配准网络；
[0017]S9、将待配准图像输入至最优权重参数的配准网络模型，得到配准结果。
[0018]进一步地，S1中所述标准预处理包括归一化、尺寸裁剪，以及随机翻转操作进行数据集扩充。
[0019]进一步地，S3包括如下步骤：
[0020]S31、将数据集T1输入基于掩码自编码器的Transformer预训练网络中，首先，将原始图像切分成小图像块，并随机将大部分像素掩盖掉，将像素信息残缺的部分采用共享的可学习参数进行填充，经过patch嵌入和位置嵌入，将图像块转换为多个高维特征向量；
[0021]S32、通过Transformer编码器对所述高维特征向量进行特征提取，得到全局高维特征序列；
[0022]S33、通过Transformer解码器使全局高维特征序列通过缺失的像素块学习原始的图像特征，以像素为单位对输入的原始图像进行重建，生成原始分辨率大小的重建图像；以重建图像与原始图像在像素空间中的均方误差MSE为损失函数，经反向传播训练网络，得到包含心脏图像全局特征信息的基于掩码自编码器的Transformer预训练网络的预训练权重。
[0023]进一步地，S33中所述均方误差损失MSE，为计算一个图像块中所有像素的均值和标准差，并用它们对该图像块进行归一化，计算公式为：
[0024][0025]其中，m为图像像素个数，y
i
为真实像素值，为预测像素值。
[0026]进一步地，所述Transformer编码器包括多个Transformer块，每个Transformer块包括层归一化正则化层、多头自注意力层、挤压与激励层和多层感知机层，所述挤压与激励层嵌入在多头自注意力层之后，对高维特征向量的自注意力特征进行注意力权重的重新分配，得到带有注意力权重的全局高维特征序列。
[0027]进一步地，所述Transformer解码器为一层轻量级解码器。
[0028]进一步地，所述多头自注意力的计算公式为：
[0029][0030]其中，为缓解梯度消失的注意力放缩因子，Q、K、V分别为查询、键、值，将h次缩放点积Attention的结果进行合并拼接，得到最终的多头注意力的输出特征向量：
[0031]MultiHead(Q，K，V)＝Concat(head1，...，head
h
)W
O
[0032][0033]W
Q
，W
K
，W
V
表示Q、K、V分别对应的权重参数矩阵带掩码的高级特征，Concat表示拼接操作。
[0034]进一步地，所述挤压与激励层的计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于掩码自编码器CNN
‑
Transformer的心脏磁共振图像配准方法，其特征在于包括如下步骤：S1、获取心脏磁共振图像数据集T，对数据集T进行标准预处理，得到数据集T1；获取数据集T中两个时间帧的心脏磁共振影像数据，并随机组合两个时间帧的图像，分别作为固定图像和浮动图像，对图像对进行拼接与标准预处理，得到数据集T2；S2、分别构建基于掩码自编码器的Transformer预训练网络和基于CNN
‑
Transformer的配准网络；所述基于CNN
‑
Transformer的配准网络包括空间&通道并行挤压与激励模块、Transformer编码器、基于CNN的解码器以及空间变换网络；S3、采用数据集T1对基于掩码自编码器的Transformer预训练网络进行训练，得到预训练权重；S4、根据得到的预训练权重，对基于CNN
‑
Transformer配准网络的权重进行初始化，将数据集T2中的固定图像和浮动图像输入至配准网络中，经过三个下采样操作的卷积层，得到低分辨率特征图；并通过所述空间&通道并行挤压与激励模块将低分辨率特征图的空间维度和通道维度的注意力特征进行并行融合处理，生成具有不同维度注意力分布加权的特征图；S5、通过Transformer编码器对加权的特征图进行特征提取；S6、通过基于CNN的解码器进行上采样操作，生成全分辨率的固定图像与浮动图像之间的形变场；S7、将浮动图像与得到的形变场输入到所述空间变换网络，得到配准图像；S8、计算配准图像与固定图像之间的损失，通过标准的反向传播训练网络，生成最优权重参数的配准网络；S9、将待配准图像输入至最优权重参数的配准网络模型，得到配准结果。2.根据权利要求1所述的一种基于掩码自编码器CNN
‑
Transformer的心脏磁共振图像配准方法，其特征在于S1中所述标准预处理包括归一化、尺寸裁剪，以及随机翻转操作进行数据集扩充。3.根据权利要求1所述的一种基于掩码自编码器CNN
‑
Transformer的心脏磁共振图像配准方法，其特征在于S3包括如下步骤：S31、将数据集T1输入基于掩码自编码器的Transformer预训练网络中，首先，将原始图像切分成小图像块，并随机将大部分像素掩盖掉，将像素信息残缺的部分采用共享的可学习参数进行填充，经过patch嵌入和位置嵌入，将图像块转换为多个高维特征向量；S32、通过Transformer编码器对所述高维特征向量进行特征提取，得到全局高维特征序列；S33、通过Transformer解码器使全局高维特征序列通过缺失的像素块学习原始的图像特征，以像素为单位对输入的原始图像进行重建，生成原始分辨率大小的重建图像；以重建图像与原始图像在像素空间中的均方误差MSE为损失函数，经反向传播训练网络，得到包含心脏图像全局特征信息的基于掩码自编码器的Transformer预训练网络的预训练权重。4.根据权利要求3所述的一种基于掩码自编码器CNN
‑
Transformer的心脏磁共振图像配准方法，其特征在于S33中所述均方误差损失MSE，为计算一个图像块中所有像素的均值
和标准差，并用它们对该图像块进行归一化，计算公式为：其中，m为图像像素个数，y
i
为真实像素值，为预测像素值。5.根据权利要求4所述的一种基于掩码自编码器CNN
‑
Transformer的心脏磁共振图像配准方法，其特征在于所述Transformer编码器包括多个Transformer块，每个Transformer块包括层归一化正则化层、多头自注意力层、挤压与激励层和多层感知机层，所述挤压与激励层嵌入在多头自注意力层之后，对高维特征向量的自注意力特征进行注意力权重的重新分配，得到带有注意力权重的全局高维特征序列。6.根据权利要求5所述的一种基于掩码自编码器CNN
‑
Transformer的心脏磁共振图像配准方法，其特征在于所述Transformer解码器为一层轻量级解码器。7.根据权利要求6所述的一种基于掩码自编码器CNN
‑
Transformer的心脏磁共...

【专利技术属性】
技术研发人员：邱兆文，肖辛，杨光远，董素宇，郭子钰，
申请(专利权)人：东北林业大学，
类型：发明
国别省市：