【技术实现步骤摘要】
本专利技术属于医学图像分析领域，具体而言，涉及一种基于循环生成对抗网络的ute-ct跨模态图像风格迁移方法及装置。
技术介绍
1、ct即电子计算机断层扫描，是一种使用高度准直的x线束环绕人体一定厚度的横断层面扫描，能够提供高清晰度、高空间分辨率的图像，是呼吸系统成像的金标准之一。ct可准确显示肺部内部结构和病变，包括血管、气道、肿块、结节等微小的结构变化，对肺结节筛查、肺癌诊断与分期、肺部感染的敏感性和特异性极高。但ct扫描产生的电离辐射限制了其临床应用环境，备孕人群及孕妇需避免ct扫描。此外大量研究表明，电离辐射的累计也会增加偶发性肺结节恶变、恶性肺癌术后转移的概率，甚至诱发或加重放射性肺炎。对于上述既需要定期接受ct随访复查却又需尽量避免接触电离辐射的疾病患者，频繁ct扫描给他们带来巨大的健康隐患和沉重的心理负担。
2、mri即磁共振成像，是一种利用磁场和射频脉冲进行成像的影像检查。mri虽然无电离辐射，但由于肺组织质子密度低且存在大量的气体-组织界面会导致成像效果不佳，所以既往研究中mri较少应用于呼吸系统扫描。磁共振前沿技术—超短回波成像技术(ute)填补了mri呼吸系统成像盲区。磁共振超短回波成像技术ute采用硬脉冲激发并直接检测自由感应衰减，可使肺部、骨皮质等短t2组织成像，已被尝试性运用于呼吸系统扫描。但相较于ct，ute的图像分辨率仍然偏低，不利于细微病灶的鉴别，目前仅用于对已诊断明确的较大病灶的复查对比。此外，ute的图像特质(风格)与ct差异大，不契合影像科医师多年养成的诊断阅片习惯，综上所述，如
技术实现思路
1、本申请实施例提供了一种基于循环生成对抗网络的ute-ct跨模态图像风格迁移方法及装置，迁移后得到的类ct化图像将更符合影像医师的阅片习惯，可为医生提供多角度、多模态的病灶信息，进而提高诊断的准确性。
2、第一方面，本申请实施例提供了一种基于循环生成对抗网络的ute-ct跨模态图像风格迁移方法，包括：
3、s101，对ute和ct图像进行切割；
4、s103，对ute和ct图像进行配准；
5、s105，采用循环生成对抗网络对ute和ct图像进行跨模态风格迁移。
6、其中，步骤s101中，采用增添了空间通道双注意力机制模块scse-block的u-net网络作为分割网络对ute和ct图像进行切割，包括：
7、在提取特征阶段，每次都会使用2个3×3×3卷积层提取不同层次的图像特征，并使用leakyrelu激活层进行激活，随后使用步长为2的卷积层进行下采样；
8、在解码阶段，每次上采样后的特征图，首先通过跳跃连接和相同层级编码阶段的浅层特征融合，然后经过2个3×3×3的卷积层来进一步解耦特征，每一个卷积层后面依然接一个leakyrelu激活层；随后经过一个空间通道双注意力机制模块scse-block，对特征进行重标定；最后使用步长为2的上卷积增加特征图的尺寸，恢复图像的细节信息和空间分辨率。
9、其中，空间通道双注意力机制模块scse-block工作流程包括：
10、将每个通道的空间维度信息压缩成一个单一的数值，形成一个通道描述符；
11、利用两个连续的1x1卷积层和sigmoid激活函数，学习每个通道的重要性权重；
12、通过一个1x1的卷积层和sigmoid激活函数，计算空间维度的注意力权重；
13、将学习到的通道注意力权重和空间注意力权重分别应用于原始特征图的通道和空间维度，进行特征重标定；
14、将经过注意力重标定的特征图进行融合，得到最终的特征表示，这些特征可以传递到网络的下一层。
15、其中，步骤s101中，使用dice损失系数作为目标函数，对每个训练样本进行优化：
16、
17、其中，一组是真实的分割区域，另一组是预测的分割区域；∣ps∩gt∣计算两组分割区域中重叠的部分，即两组分割区域共有的体素数，∣ps∣表示预测分割区域的体素数，∣gt∣表示真实分割区域的体素数。
18、其中，步骤s101中，使用dice系数，recall召回率和precision精确度作为评估指标，dice系数用于评估真实标签与预测标签之间的重叠程度；recall则反映了真实标签中有多少体素被正确预测；precision反映了预测的分割结果中有多少属于真实标签，具体公式如下：
19、
20、式中，ttp表示被正确分类到目标区域中的体素数量，ffp表示被错误分类到目标区域中的体素数量，ffn表示被错误分类到背景区域中的体素数量。
21、其中，步骤s103中，采用联合transformer与convnet的transmorph网络对ute和ct图像进行配准，包括：
22、在进行图像配准之前，先通过仿射变换网络将两组图像进行对齐，作为图像配准的预处理阶段，该仿射网络架构是一个改进的swin transformer，其以2个三维图像作为输入，生成12个仿射参数：三个旋转角度、三个平移参数、三个缩放参数和三个剪切参数；
23、将2x2x2的相邻token组的通道特征相加，以实现patch merging层将相邻的图像块合并，在合并图像块的同时，patch merging层将特征的通道数翻倍，通过连续的patchmerging操作，swin transformer能够创建一系列不同分辨率的特征映射；
24、在网络的编码阶段，首先将输入的两组图像分割为不重叠的3d块，每个patch的大小为2×p×p×p，其中p的大小为预设值；然后将每个patch展平并作为一个token，并经过一次线性映射将每个token投影到任意维度的特征空间中；随后经过几次连续的patchmerging和swin transformer对图像进行编码，而编码器最后一级的输出维数为：
25、
26、解码器由连续的上采样层和卷积层组成，其中卷积核大小为3×3；解码阶段的每个上采样特征图都通过跳跃连接与编码路径中相应的特征图连接，然后依次经过两个连续的卷积层；在输入图像时直接对图像进行下采样和特征提取，使用原始和下采样图像对作为输入来捕获局部信息生成高分辨率特征图；
27、网络训练的整体损失函数包括两部分：一部分计算配准后的浮动图像与固定图像之间的相似性，另一部分则保持形变场的平滑性：
28、l(if,im,φ)＝lsim(if,im,φ)+λr(φ)
29、式中if是指固定图像，im是指浮动图像，φ是产生的形变场，lsim则为图像相似度度量，r(φ)为形变场正则化；
30、lsim使用了两个相似性度量评估两个图像区域之间的相似性；
31、评估配准图像质量本文档来自技高网...
【技术保护点】
1.一种基于循环生成对抗网络的UTE-CT跨模态图像风格迁移方法，其特征在于，包括：
2.根据权利要求1所述基于循环生成对抗网络的UTE-CT跨模态图像风格迁移方法，其特征在于，步骤S101中，采用增添了空间通道双注意力机制模块scSE-block的U-Net网络作为分割网络对UTE和CT图像进行切割，包括：
3.根据权利要求2所述基于循环生成对抗网络的UTE-CT跨模态图像风格迁移方法，其特征在于，空间通道双注意力机制模块scSE-block工作流程包括：
4.根据权利要求2或3所述基于循环生成对抗网络的UTE-CT跨模态图像风格迁移方法，其特征在于，步骤S101中，使用Dice损失系数作为目标函数，对每个训练样本进行优化：
5.根据权利要求2或3所述基于循环生成对抗网络的UTE-CT跨模态图像风格迁移方法，其特征在于，步骤S101中，使用Dice系数，Recall召回率和Precision精确度作为评估指标，Dice系数用于评估真实标签与预测标签之间的重叠程度；Recall则反映了真实标签中有多少体素被正确预测；Precisio
6.根据权利要求1-3中任一项所述基于循环生成对抗网络的UTE-CT跨模态图像风格迁移方法，其特征在于，步骤S103中，采用联合Transformer与ConvNet的TransMorph网络对UTE和CT图像进行配准，包括：
7.根据权利要求1-3中任一项所述基于循环生成对抗网络的UTE-CT跨模态图像风格迁移方法，其特征在于，步骤S105中，采用循环生成对抗网络作为风格迁移的主干网络，采用三个损失函数，分别为对抗损失Ladv，循环一致损失Lcycle和相似性约束损失项Lsc；
8.一种基于循环生成对抗网络的UTE-CT跨模态图像风格迁移装置，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述权利要求1-7中任一项所述方法的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述权利要求1-7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于循环生成对抗网络的ute-ct跨模态图像风格迁移方法，其特征在于，包括：
2.根据权利要求1所述基于循环生成对抗网络的ute-ct跨模态图像风格迁移方法，其特征在于，步骤s101中，采用增添了空间通道双注意力机制模块scse-block的u-net网络作为分割网络对ute和ct图像进行切割，包括：
3.根据权利要求2所述基于循环生成对抗网络的ute-ct跨模态图像风格迁移方法，其特征在于，空间通道双注意力机制模块scse-block工作流程包括：
4.根据权利要求2或3所述基于循环生成对抗网络的ute-ct跨模态图像风格迁移方法，其特征在于，步骤s101中，使用dice损失系数作为目标函数，对每个训练样本进行优化：
5.根据权利要求2或3所述基于循环生成对抗网络的ute-ct跨模态图像风格迁移方法，其特征在于，步骤s101中，使用dice系数，recall召回率和precision精确度作为评估指标，dice系数用于评估真实标签与预测标签之间的重叠程度；recall则反映了真实标签中有多少体素被正确预测；precisio...
【专利技术属性】
技术研发人员：朱熹，崔廷斌，唐超颖，陈春晓，叶靖，黄文诺，夏巍，
申请(专利权)人：江苏省苏北人民医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。