CT图像金属伪影校正和消融可视化方法及系统技术方案

本申请涉及医学图像处理、人工智能和三维可视化的技术领域，公开了一种CT图像金属伪影校正和消融可视化方法及系统，该系统包含：图像与处理模块，用于对术前CT图像和术中CT图像进行预处理；金属伪影校正模型搭建模块，用于搭建两阶段生成对抗网络，以去除术中CT图像的金属及伪影；术中肿瘤定位模块，用于对术前图像和去除金属伪影后的术中CT图像配准，输出术前图像的肿瘤融合在术中影像的术中联动影像；消融针重建模块，用于在去除金属伪影后的术中CT图像重建消融针。本申请不仅能够实现术中治疗时更加直观、有效地显示消融针和肿瘤的相对位置，提高术中定位的精确性，而且能够显著减少计算量，保证计算的实时性。保证计算的实时性。保证计算的实时性。

【技术实现步骤摘要】
CT图像金属伪影校正和消融可视化方法及系统


[0001]本专利技术涉及医学图像处理、人工智能和三维可视化的
，尤其涉及用于CT引导肝癌消融治疗的CT图像金属伪影校正和消融可视化


技术介绍

[0002]消融治疗是指通过CT、超声等医学影像的引导对肿瘤进行靶向定位，将消融针插入肿瘤所在位置，再利用射频电波、微波等凝固和灭活软组织和肿瘤。消融治疗由于其微创性、定位精准、安全性高，对正常组织伤害小，成为治疗肝癌的重要方式。
[0003]消融治疗中，图像引导对肿瘤的定位起到尤为重要的作用，CT图像因具有清晰、无盲区、操作简单、无气体和骨骼影响等优点，在消融治疗中得到广泛应用。
[0004]然而，CT图像用于消融治疗的技术仍然存在一些问题，例如：在术中较难通过图像观察肿瘤的位置和形状；通过术前术中图像配准来定位肿瘤的配准精度低；当基于二维图像或者三维图像块进行金属伪影校准时易造成图像模糊、结构不一致等问题；在去除强信息完成配准后，肿瘤和消融针的相对位置仍无法获得，等等。

技术实现思路

[0005]本申请的目的在于提供一种CT图像金属伪影校正和消融可视化方法及系统，不仅能够实现术中治疗时更加直观、有效地显示消融针和肿瘤的相对位置，提高术中定位的精确性，而且能够显著减少计算量，保证计算的实时性。
[0006]本申请公开了一种CT图像金属伪影校正和消融可视化方法，包括：
[0007]对术前CT图像和术中CT图像进行预处理；
[0008]搭建两阶段生成对抗网络，用于去除所述术中CT图像的金属及伪影；
[0009]对所述术前CT图像和去除金属伪影后的术中CT图像配准，输出术前CT图像的肿瘤融合在术中CT图像的术中联动影像；
[0010]在去除金属伪影后的术中CT图像重建消融针，对肿瘤和所述消融针进行三维显示。
[0011]在一个优选例中，所述方法用于CT引导肝癌消融治疗的金属伪影校正和消融治疗可视化，所述肿瘤为肝脏肿瘤，所述对术前CT图像和术中CT图像进行预处理的步骤包括以下子步骤：
[0012]将术前CT图像和术中CT图像重采样为相同的物理大小；
[0013]将重采样后的术前CT图像和术中CT图像进行刚性配准，使两者物理位置相同；
[0014]将配准后的术前CT图像和术中CT图像剪裁为相同尺寸，同时包含肝脏肿瘤和消融针所在区域；
[0015]将剪裁后的术前CT图像和术中CT图像的CT值进行调整以显示肝脏及其余组织，并归一化为[
‑
1,1]。
[0016]在一个优选例中，所述搭建两阶段生成对抗网络的步骤包括以下子步骤：
[0017]搭建用于金属伪影校正的两阶段生成对抗网络；
[0018]定义损失函数；
[0019]通过迭代最小化损失函数优化模型。
[0020]在一个优选例中，所述搭建用于金属伪影校正的两阶段生成对抗网络的步骤包含以下子步骤：
[0021]搭建两阶段的生成器子网络，包括第一阶段的解码器
‑
编码器，通过空洞空间卷积池化金字塔模块连接解码器和编码器；包括第二阶段的图像增强网络，由特征提取层、残差模块、图像重建模块构成；
[0022]搭建判别器子网络，输入为有伪影的术中图像和术前图像的拼接图像，或者输入为有伪影的术中图像和校正后的术中图像的拼接图像，输出为矩阵；其中，判别器子网络由5个下采样卷积块组成。
[0023]在一个优选例中，所述定义损失函数的步骤包含以下子步骤：
[0024]定义对抗损失，对抗损失用于提高生成器的去金属伪影能力和判别器的分类能力；
[0025]定义重建损失，为了在去伪影的同时保留术中的结构，使输出图像在金属及伪影所在区域与术前图像一致，非金属及伪影所在区域与术中图像一致，计算相应区域的L1距离，并按一定权重进行相加，得到重建损失；
[0026]定义感知损失，为了最小化输出图像与无伪影图像在纹理、均匀度等特征相似，计算校正后术中CT图像和无伪影术前CT图像的特征图的L1距离；
[0027]定义总体损失，将对抗损失、重建损失和感知损失按一定权重相加，得到总体损失。
[0028]在一个优选例中，所述通过迭代最小化损失函数优化模型的步骤包含以下子步骤：
[0029]将术前CT图像和术中CT图像组成图像对；
[0030]将图像对输入到两阶段生成对抗网络中，计算损失函数；
[0031]选取优化器，迭代一定次数，最小化损失函数，得到优化后的金属伪影校正模型。
[0032]在一个优选例中，对所述术前CT图像和去除金属伪影后的术中CT图像配准，输出术前CT图像的肿瘤融合在术中CT图像的术中联动影像的步骤包含以下子步骤：
[0033]将有伪影的术中CT图像输入到优化后的金属伪影校正模型的生成器子网络，输出校正后的没有伪影的术中CT图像；
[0034]对术前CT图像与校正后的术中CT图像进行非刚性配准，使术前CT图像的肿瘤融合显示在术中CT图像上。
[0035]在一个优选例中，所述在去除金属伪影后的术中CT图像重建消融针的步骤包含以下子步骤：
[0036]用有金属伪影的术中图像减去校正金属伪影后的术中图像，得到差分图像；
[0037]对差分图像进行二值化，分割出消融针；
[0038]将分割出的消融针构造为三维点云，并对点云进行骨架提取；
[0039]利用三维霍夫直线检测计算点云所在的直线，定位消融针的轴；
[0040]记录差分图像上所有经过轴的体素，得到体素值沿着轴的变化曲线；
[0041]寻找变化曲线急速下降的位置，定位消融针的端点；
[0042]利用得到的消融针的轴和端点，在校正后的术中图像对消融针进行重建；
[0043]在术前对肿瘤进行勾画，在术中三维显示肿瘤和重建后电极针的相对位置。
[0044]本申请还公开了一种CT图像金属伪影校正和消融可视化系统包括：
[0045]图像与处理模块，用于对术前CT图像和术中CT图像进行预处理；
[0046]金属伪影校正模型搭建模块，用于搭建两阶段生成对抗网络，以去除术中CT图像的金属及伪影；
[0047]术中肿瘤定位模块，用于对术前图像和去除金属伪影后的术中CT图像配准，输出术前图像的肿瘤融合在术中影像的术中联动影像；
[0048]消融针重建模块，用于在去除金属伪影后的术中CT图像重建消融针，对肿瘤和消融针进行三维显示。
[0049]在一个优选例中，所述系统用于CT引导肝癌消融治疗的金属伪影校正和消融治疗可视化，所述肿瘤为肝脏肿瘤，所述图像预处理模块进一步用于：
[0050]将术前CT图像和术中CT图像重采样为相同的物理大小；
[0051]将重采样后的术前CT图像和术中CT图像进行刚性配准，使两者物理位置相同；
[0052]将配准后的术前CT图像和术中CT图像剪裁为相同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种CT图像金属伪影校正和消融可视化方法，其特征在于，包括：对术前CT图像和术中CT图像进行预处理；搭建两阶段生成对抗网络，用于去除所述术中CT图像的金属及伪影；对所述术前CT图像和去除金属伪影后的术中CT图像配准，输出术前CT图像的肿瘤融合在术中CT图像的术中联动影像；在去除金属伪影后的术中CT图像重建消融针，对肿瘤和所述消融针进行三维显示。2.如权利要求1所述的方法，其特征在于，所述方法用于CT引导肝癌消融治疗的金属伪影校正和消融治疗可视化，所述肿瘤为肝脏肿瘤，所述对术前CT图像和术中CT图像进行预处理的步骤包括以下子步骤：将术前CT图像和术中CT图像重采样为相同的物理大小；将重采样后的术前CT图像和术中CT图像进行刚性配准，使两者物理位置相同；将配准后的术前CT图像和术中CT图像剪裁为相同尺寸，同时包含肿瘤和消融针所在区域；将剪裁后的术前CT图像和术中CT图像的CT值进行调整以显示肿瘤及其余组织，并归一化为[
‑
1,1]。3.如权利要求1所述的方法，其特征在于，所述搭建两阶段生成对抗网络的步骤包括以下子步骤：搭建用于金属伪影校正的两阶段生成对抗网络；定义损失函数；通过迭代最小化损失函数优化模型。4.如权利要求3所述的方法，其特征在于，所述搭建用于金属伪影校正的两阶段生成对抗网络的步骤包含以下子步骤：搭建两阶段的生成器子网络，包括第一阶段的解码器
‑
编码器，通过空洞空间卷积池化金字塔模块连接解码器和编码器；包括第二阶段的图像增强网络，由特征提取层、残差模块、图像重建模块构成；搭建判别器子网络，输入为有伪影的术中图像和术前图像的拼接图像，或者输入为有伪影的术中图像和校正后的术中图像的拼接图像，输出为矩阵；其中，判别器子网络由5个下采样卷积块组成。5.如权利要求3所述的方法，其特征在于，所述定义损失函数的步骤包含以下子步骤：定义对抗损失，对抗损失用于提高生成器的去金属伪影能力和判别器的分类能力；定义重建损失，为了在去伪影的同时保留术中图像的解剖结构，使输出图像在金属及伪影所在区域与术前图像一致，非金属及伪影所在区域与术中图像一致，计算相应区域的L1距离，并按一定权重进行相加，得到重建损失；定义感知损失，为了最小化输出图像与无伪影图像在纹理、均匀度等特征相似，计算校正后术中CT图像和无伪影术前CT图像的特征图的L1距离；定义总体损失，将对抗损失、重建损失和感知损失按一定权重相加，得到总体损失。6.如权利要求3所述的方法，其特征在于，所述通过迭代最小化损失函数优化模型的步骤包含以下子步骤：将术前CT图像和术中CT图像组成图像对；
将图像对输入到两阶段生成对抗网络中，计算损失函数；选取优化器，迭代一定次数，最小化损失函数，得到优化后的金属伪影校正模型。7.如权利要求1所述的方法，其特征在于，对所述术前CT图像和去除金属伪影后的术中CT图像配准，输出术前CT图像的肿瘤融合在术中CT图像的术中联动影像的步骤包含以下子步骤：将有伪影的术中CT图像输入到优化后的金属伪影校正模型的生成器子网络，输出校正后的没有伪影的术中CT图像；对包含清晰肿瘤的术前CT图像与校正后的术中CT图像进行非刚性配准，使术前CT图像的肿瘤融合显示在术中CT图像上。8.如权利要求1所述的方法，其特征在于，所述在去除金属伪影后的术中CT图像重建消融针的步骤包含以下子步骤：用有金属伪影的术中图像减去校正金属伪影后的术中图像，得到差分图像；对差分图像进行二值化，分割出消融针；将分割出的消融针构造为三维点云，并对点云进行骨架提取；利用三维霍夫直线检测计算点云所在的直线，定位消融针的轴；记录差分图像上所有经过轴的体素，得到体素值沿着轴的变化曲线；寻找变化曲线急速下降的位置，定位消融针的端点；利用得到的消融针的轴和端点，在校正后的术中图像对消融针进行重建；在术前对肿瘤进行勾画，在术中三维显示肿瘤和重建后电极针的相对位置。9.一种CT图像金属伪影校正和消融可视化系统，其特征在于，包括：图像与处理模块，用于对术前CT图像和术中CT...

【专利技术属性】
技术研发人员：孙建奇，梁端，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：