一种基于多借鉴信息的医学影像智能转换方法技术

本发明专利技术公开了一种基于多借鉴信息的医学影像智能转换方法，涉及图像处理技术领域，该方法将待转换MR图像输入医学影像转换模型得到由待转换MR图像转换得到的CT图像，模型中的多借鉴信息提取模块提取待转换MR图像的若干层多借鉴信息，各层多借鉴信息反映待转换MR图像的高维特征并分别输入模型的解码模块的各个解码层中，可以达到可解释性和减少传统对抗生成网络中不可避免的随机性，从而将MR图像高效率、高质量的转换为CT图像。高质量的转换为CT图像。高质量的转换为CT图像。

【技术实现步骤摘要】
一种基于多借鉴信息的医学影像智能转换方法


[0001]本专利技术涉及图像处理
，尤其是一种基于多借鉴信息的医学影像智能转换方法。

技术介绍

[0002]现代医学中，医生主要依靠各种医学影像设备检测出的图像做出诊断和治疗方案。医学影像常见的有计算机断层扫描成像(CT)、核磁共振成像(MR)等。不同模态的医学图像能够提供不同的信息，例如CT图像具有很清晰的骨质信息和光子衰减信息；MR影像可以清晰地分辨出软组织、脂肪、水等组织类型。然而，大部分医学影像设备造价昂贵，体积庞大，结构复杂，一些偏远地区的医院甚至没有专业的医疗影像设备，专业技术人员更是不足。此外，部分影像图像的获取耗时冗长，CT图像甚至可能对人体造成一定的辐射性伤害。

技术实现思路

[0003]本专利技术人针对上述问题及技术需求，提出了一种基于多借鉴信息的医学影像智能转换方法，本专利技术的技术方案如下：
[0004]一种基于多借鉴信息的医学影像智能转换方法，该方法包括：
[0005]获取待转换MR图像；
[0006]将待转换MR图像输入医学影像转换模型，医学影像转换模型包括编码模块、注意力机制模块、解码模块和多借鉴信息提取模块，编码模块对待转换MR图像进行编码后提取第一特征图，注意力机制模块将第一特征图转换为第二特征图，第二特征图输入解码模块依次经过各个级联的解码层，编码模块与解码模块之间还采用跳过连接；多借鉴信息提取模块提取待转换MR图像的若干层多借鉴信息，各层多借鉴信息反映待转换MR图像的高维特征并分别输入各个解码层中；解码模块中的各个解码层分别获取输入的特征图、输入的多借鉴信息以及编码模块输入的信息并进行解码处理；
[0007]根据医学影像转换模型的输出得到由待转换MR图像转换得到的CT图像。
[0008]其进一步的技术方案为，多借鉴信息提取模块包括高维特征预测单元和CT图像解码器，CT图像解码器包括若干个级联的解码层，CT图像解码器是基于VAE网络训练得到的CT图像自编码单元中的解码器；
[0009]高维特征预测单元用于获取待转换MR图像，并生成对应的CT图像的高维特征预测结果；
[0010]CT图像解码器对高维特征预测结果进行解码，由CT图像解码器的各个解码层分别输出各层多借鉴信息。
[0011]其进一步的技术方案为，高维特征预测单元包括MR图像编码器和特征预测器，MR图像编码器是基于VAE网络训练得到的MR图像自编码单元中的编码器，特征预测器基于PixelCNN+网络训练得到；
[0012]MR图像编码器用于提取待转换MR图像的高维特征，特征预测器用于基于待转换MR
图像的高维特征生成对应的CT图像的高维特征预测结果。
[0013]其进一步的技术方案为，该方法还包括：
[0014]分别获取同一个人体组织区域在相同状态下的样本MR图像和样本CT图像作为一对样本组；
[0015]对于每一个样本组，获取当前的样本组中的样本MR图像经过预先训练得到的MR图像自编码单元中的编码器后提取得到的MR高维特征，获取当前的样本组中的样本CT图像经过预先训练得到的CT图像自编码单元中的编码器后提取得到的CT高维特征；
[0016]将每个样本组提取得到的MR高维特征作为输入、CT高维特征作为输出，利用各个样本组基于PixelCNN+网络训练得到特征预测器；
[0017]基于训练得到的特征预测器、MR图像自编码单元和CT图像自编码单元，将每个样本组中的样本MR图像作为输入、样本CT图像作为输出，训练得到医学影像转换模型。
[0018]其进一步的技术方案为，该方法还包括：
[0019]利用所有样本MR图像基于VAE网络训练得到MR图像自编码单元，MR图像自编码单元中包括编码器和解码器；
[0020]利用所有样本CT图像基于VAE网络训练得到CT图像自编码单元，CT图像自编码单元中包括编码器和解码器。
[0021]其进一步的技术方案为，该方法还包括：
[0022]采用基于特征的刚性配准方法Morphons对样本MR图像和样本CT图像进行变形配准；
[0023]利用完成图像配准操作的样本组进行模型训练。
[0024]其进一步的技术方案为，利用完成图像配准操作的样本组进行模型训练，包括：
[0025]采用随机裁剪和位置变换的方法对完成图像配准操作的样本组构成的原始数据集进行数据集扩充，得到不改变原始数据集的医学信息的扩充数据集；
[0026]利用扩充数据集进行模型训练。
[0027]其进一步的技术方案为，在训练医学影像转换模型的过程中，基于总体损失L
total
使用网格寻优法进行模型训练，总体损失：
[0028]L
total
＝λ
l1
L1+λ
sty
L
style
+λ
per
L
perceptual
+λ
adv
L
adversarial
；
[0029]其中，L1表示L1损失，L
adversarial
表示对抗损失且基于判别器生成，L
perceptual
表示感知损失，L
style
表示样式损失，感知损失和样式损失基于VGG特征提取器生成，λ
l1
、λ
sty
、λ
per
、λ
adv
分别为各个损失的权重。
[0030]其进一步的技术方案为，在训练医学影像转换模型的过程中，分别利用样本组进行若干次平行训练，并将评价指标最优的模型作为最终的医学影像转换模型；评价指标包括峰值噪声比、结构相似度和均方误差中的至少一种。
[0031]其进一步的技术方案为，该方法还包括：
[0032]将待转换MR图像的图像预处理操作和医学影像转换模型进行集成封装，并采用Django框架提供调用接口实现转换平台的便捷使用；
[0033]图像预处理操作包括对待转换MR图像进行切片操作生成二维图像，并进行配准操作。
[0034]本专利技术的有益技术效果是：
[0035]本申请公开了一种基于多借鉴信息的医学影像智能转换方法，多借鉴信息提取模块提取待转换MR图像的多借鉴信息并输入到解码模块的各层中，可以达到可解释性和减少传统对抗生成网络中不可避免的随机性，从而将MR图像高效率、高质量的转换为CT图像。
附图说明
[0036]图1是本申请的医学影像转换模型的模型结构图以及信息流传递示意图。
[0037]图2是本申请训练多借鉴信息提取模块的示意图。
具体实施方式
[0038]下面结合附图对本专利技术的具体实施方式做进一步说明。
[0039]本申请公开了一种基于多借鉴信息的医学影像智能转换方法，该方法包括如下步骤：
[0040]步骤100，获取待转换MR图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多借鉴信息的医学影像智能转换方法，其特征在于，所述方法包括：获取待转换MR图像；将所述待转换MR图像输入医学影像转换模型，所述医学影像转换模型包括编码模块、注意力机制模块、解码模块和多借鉴信息提取模块，所述编码模块对所述待转换MR图像进行编码后提取第一特征图，所述注意力机制模块将所述第一特征图转换为第二特征图，所述第二特征图输入所述解码模块依次经过各个级联的解码层，所述编码模块与所述解码模块之间还采用跳过连接；所述多借鉴信息提取模块提取所述待转换MR图像的若干层多借鉴信息，各层多借鉴信息反映所述待转换MR图像的高维特征并分别输入各个解码层中；所述解码模块中的各个解码层分别获取输入的特征图、输入的多借鉴信息以及编码模块输入的信息并进行解码处理；根据所述医学影像转换模型的输出得到由所述待转换MR图像转换得到的CT图像。2.根据权利要求1所述的方法，其特征在于，所述多借鉴信息提取模块包括高维特征预测单元和CT图像解码器，所述CT图像解码器包括若干个级联的解码层，所述CT图像解码器是基于VAE网络训练得到的CT图像自编码单元中的解码器；所述高维特征预测单元用于获取所述待转换MR图像，并生成对应的CT图像的高维特征预测结果；所述CT图像解码器对所述高维特征预测结果进行解码，由CT图像解码器的各个解码层分别输出各层多借鉴信息。3.根据权利要求2所述的方法，其特征在于，所述高维特征预测单元包括MR图像编码器和特征预测器，所述MR图像编码器是基于VAE网络训练得到的MR图像自编码单元中的编码器，所述特征预测器基于PixelCNN+网络训练得到；所述MR图像编码器用于提取所述待转换MR图像的高维特征，所述特征预测器用于基于所述待转换MR图像的高维特征生成对应的CT图像的高维特征预测结果。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：分别获取同一个人体组织区域在相同状态下的样本MR图像和样本CT图像作为一对样本组；对于每一个样本组，获取当前的样本组中的样本MR图像经过预先训练得到的MR图像自编码单元中的编码器后提取得到的MR高维特征，获取当前的样本组中的样本CT图像经过预先训练得到的CT图像自编码单元中的编码器后提取得到的CT高维特征；将每个样本组提取得到的MR高维特征作为输入、CT高维特征作为输出，利用各个样本组基于PixelCNN+网络训练得到所述特征预测器；基于训练得到的特征预测器、MR图像自编码单元和CT图像自编码单元，将每个样本组中的样本MR图像作为输入、样本CT图像作为输出，训练得到所述医学影像转换模型。5.根据权利要求3...

【专利技术属性】
技术研发人员：钱鹏江，蒋亦樟，王士同，姚健，汪小川，陈爱国，顾逸，张欣，
申请(专利权)人：江南大学，
类型：发明
国别省市：