【技术实现步骤摘要】
本专利技术涉及磁共振图像，尤其涉及一种多模态磁共振图像的转换方法。
技术介绍
1、磁共振成像(mri)是目前医疗诊断上常用的手段之一，跟电子计算机断层扫描和正电子发射计算机断层扫描相比，磁共振成像是一种相对安全的成像手段，最大的优点是扫描过程中避免了辐射对受试人群的危害，使得mri在临床应用上大受欢迎。
2、通过设置不同类型的脉冲序列及参数产生不同结构和组织对比度信息，临床上常见的有t1加权(t1)、t2加权(t2)和t2流体衰减反转恢复(flair)。t1模态用于观察扫描到的结构信息，t2主要用于定位肿瘤区域，flari则是通过水抑制方式将病变位置显示出来。目前mri被广泛的用于肿瘤检测和早期诊断，并在临床各种任务中也显示出了极大的优势。
3、然而现有技术中获取多模态mri图像既困难又昂贵，并且存在如下使用局限性：其一、一次完整的诊断过程需进行多次采样扫描；其二、核磁共振扫描过程中存在一定不成功的几率，比如扫描时间过长，采样过程中遭到损坏等；其三、磁共振扫描期间由于患者(尤其是儿科人群和老年人群)难以保持绝对的静止，导致扫描结果出现伪影，使得同一患者采集到的磁共振图像存在空间错位现象；其四、两个不同模态之间的关系是高度非线性的，由于不同的特征差异，故现有方法无法实现中所论述的跨模态生成的满意结果。为此，需要对现有技术作进一步的改进。
技术实现思路
1、本专利技术所要解决的技术问题是针对上述现有技术，而提供一种在硬件受限的条件下能实现磁共振图像转换的多模态磁
2、本专利技术解决上述技术问题所采用的技术方案为：一种多模态磁共振图像的转换方法，其特征在于包括如下步骤：
3、s1、获取一定数量的多模态磁共振图像构成数据集，并对磁共振图像的不同模态进行分类，得到分类结果；
4、s2、将数据集分成训练集和测试集；
5、s3、构建图像转换模型，并分批次使用训练集中的磁共振图像对构建的图像转换模型进行训练，得到训练完成的图像转换模型；
6、其中图像转换模型包括卷积层、transformer模块、卷积神经网络、配准模块和鉴别器；
7、对图像转换模型进行一次训练的具体过程为：
8、s3-1、将当前批次选择的磁共振图像输入到卷积层中，得到第一特征张量x；
9、s3-2、对第一特征张量x进行分裂，得到第一特征组i1和第二特征组i2；
10、s3-3、将第一特征组i1输入到transformer模块中，得到第一输出特征ft；将第二特征组i2输入到卷积神经网络中，得到第二输出特征fc，并将第一输出特征ft和第二输出特征fc进行融合，得到第二特征张量f；
11、s3-4、将第二特征张量f输入到配准模块中，得到转换后的mri图像；
12、s3-5、将s3-4中转换后的mri图像送入到鉴别器中，得到鉴别结果，并根据鉴别结果及该转换后的mri图像所对应的原始磁共振图像的分类结果计算损失函数，最后使用损失函数反向更新图像转换模型的网络参数，得到一次训练后的图像转换模型；
13、s4、任意选取测试集中的其中一幅磁共振图像作为测试样本，将测试样本输入到去除鉴别器后的图像转换模型中，即：按照s3-1～3-4中相同的方式得到测试样本转换后的mri图像。
14、优选地，所述transformer模块的具体结构为：
15、所述transformer模块包括依次相连接的第一归一化层、密集多头注意模块、第二归一化层、第一多层感知器、第三归一化层、稀疏多头注意模块、第四归一化层和第二多层感知器，其中将第一归一化层的输入和密集多头注意模块的输出进行残差连接，将第二归一化层的输入和第一多层感知器的输出进行残差连接，将第三归一化层的输入和稀疏多头注意模块的输出进行残差连接，第四归一化层的输入和第二多层感知器的输出进行残差连接。
16、具体地，所述密集多头注意模块的具体处理过程为：
17、步骤a、将第一特征组i1划分成m×m个不重叠的局部窗口，得到个大小为m2*c的窗口，h、w和c分别为第一特征组i1的长、宽和通道数，c＝1；m为正整数；
18、步骤b、通过下述公式计算得到每个窗口的密集自我注意值msa(x)；
19、
20、其中，x为一个窗口的特征，softmax()为归一化指数函数，q为查询向量，q＝x*pq，pq为能训练的第一参数矩阵；k为键向量，kt为k的转置，k＝x*pk，pk为能训练的第二参数矩阵；d为x的图像大小，v为值向量，v＝x*pv，pv为能训练的第三参数矩阵；b为能学习的相对位置编码；
21、步骤c、将步骤b中得到的个窗口所对应的密集自我注意值按照窗口顺序形成密集多头注意模块的输出结果。
22、具体地，所述稀疏多头注意模块的具体处理过程为：
23、将第三归一化层输出结果记为第三特征组，提取第三特征组上间隔为i的稀疏位置并对其进行分组，得到个局部窗口；i为正整数；
24、并将分组后的窗口按照步骤b和步骤c的方式进行计算，得到稀疏多头注意模块的输出结果。
25、具体地，所述卷积神经网络的具体处理过程为：
26、将第二特征组i2分解成n组特征；n为正整数；
27、使用分解的大核卷积对每组特征进行深度特征提取，得到每组特征的输出结果；其中对每组特征进行深度特征提取的具体过程为：对每组特征依次进行a×a深度方向卷积、b×b深度方向膨胀卷积和和一个1×1卷积；a和b均为正整数；
28、将所有组特征的输出结果进行相加，得到最终输出结果；
29、将最终输出结果输入到依次相连接的激活层和全连接层中，即得到第二输出特征fc。
30、具体地，所述配准模块采用unet网络，其包括具有n个第一特征提取层和n个下采样层的编码器、具有n个第二特征提取层和n个上采样层的解码器以及transformer模块；n为正整数；
31、所述配准模块的具体连接关系为：依次相连接的第1第一特征提取层、第1下采样层、第2第一特征提取层、第2下采样层、...第n第一特征提取层、第n下采样层、transformer模块、第n上采样层、第n第二特征提取层、...第1第二特征提取层、第1上采样层；并且第j第一特征提取层与第j第二特征提取层具有残差连接，j＝1、2...n。
32、与现有技术相比，本专利技术的优点在于：通过将磁共振图像转换成特征张量，将经过特征张量分裂得到的两个特征组分别输入到transformer模块和卷积神经网络中，进而在transformer模块中进行深层次特征提取以及在卷积神经网络中突出关键信息并削减不相关信息，并对经过transformer模块得到的输出特征和卷积神经网络得到的输出特征融合，从而使转换后的图像更接近于地面真实图像，尤其是在病变区域和边缘细节信息方面，融合的结果更加清晰，细本文档来自技高网...
【技术保护点】
1.一种多模态磁共振图像的转换方法，其特征在于包括如下步骤：
2.根据权利要求1所述的转换方法，其特征在于：所述Transformer模块的具体结构为：
3.根据权利要求2所述的转换方法，其特征在于：所述密集多头注意模块的具体处理过程为：
4.根据权利要求3所述的转换方法，其特征在于：所述稀疏多头注意模块的具体处理过程为：
5.根据权利要求1～4任一项所述的转换方法，其特征在于：所述卷积神经网络的具体处理过程为：
6.根据权利要求2～4任一项所述的转换方法，其特征在于：所述配准模块采用Unet网络，其包括具有N个第一特征提取层和N个下采样层的编码器、具有N个第二特征提取层和N个上采样层的解码器以及Transformer模块；N为正整数；
【技术特征摘要】
1.一种多模态磁共振图像的转换方法，其特征在于包括如下步骤：
2.根据权利要求1所述的转换方法，其特征在于：所述transformer模块的具体结构为：
3.根据权利要求2所述的转换方法，其特征在于：所述密集多头注意模块的具体处理过程为：
4.根据权利要求3所述的转换方法，其特征在于：所述稀疏多头注意模块的具体处理...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。