基于三维影像的关键结构重建方法、装置和计算机设备制造方法及图纸

本申请涉及一种基于三维影像的关键结构重建方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：对目标部位的原始三维医学影像进行前置采样处理，得到指定尺寸的三维医学影像；对所述指定尺寸的三维医学影像进行语义分割处理，得到对应的三维标记图像；基于所述三维标记图像进行后置采样处理，得到满足高分辨率条件的目标标记图像；基于所述三维标记图像中每个体素分别对应的概率值，对所述目标标记图像进行分割，得到至少一张三维结构图像；对每张三维结构图像分别进行重建处理，得到与各关键结构分别对应的目标三维结构模型。本方法通过融合计算机视觉技术和机器学习技术，显著提高了重建关键结构的精确度。显著提高了重建关键结构的精确度。显著提高了重建关键结构的精确度。

【技术实现步骤摘要】
基于三维影像的关键结构重建方法、装置和计算机设备


[0001]本申请涉及图像
，特别是涉及一种基于三维影像的关键结构重建方法、装置、计算机设备、存储介质和计算机程序产品，以及图像处理模型的训练方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着计算机技术的发展，出现了各种医学扫描仪器，比如CT(Computed Tomography，电子计算机断层扫描)设备、核磁共振设备、以及超声设备等，通过这些医学扫描仪器可以对不同对象的不同部位进行扫描以获得相应的医学影像。随着技术的发展，已出现一些对医学影像进行相关应用的场景，比如对这些医学影像进行分割，以辅助进行医疗教学或者医学识别等。
[0003]传统的对医学影像进行分割的方式，常常采用图值分割的方式，但由于医学设备的扫描分辨率过低，医学影像的轴向分辨率低并往往呈现明显的断层，通过传统的图值分割的方式对医学影像直接进行分割时，所得到的图像也会具有断层的现象，存在分割影像的质量不够好，难以满足可视化的需求。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种基于三维影像的关键结构重建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品、以及图像处理模型的训练方法、装置、计算机设备、存储介质和计算机程序产品。
[0005]一方面，本申请提供了一种基于三维影像的关键结构重建方法。所述方法包括：
[0006]对目标部位的原始三维医学影像进行前置采样处理，得到指定尺寸的三维医学影像，所述目标部位包括有至少一个关键结构；
[0007]对所述指定尺寸的三维医学影像进行语义分割处理，得到对应的三维标记图像，所述三维标记图像中的每个体素都对应有属于各个关键结构的概率值；
[0008]基于所述三维标记图像进行后置采样处理，得到满足高分辨率条件的目标标记图像；
[0009]基于所述三维标记图像中每个体素分别对应的概率值，对所述目标标记图像进行分割，得到至少一张三维结构图像，每张三维结构图像对应一个关键结构；
[0010]对每张三维结构图像分别进行重建处理，得到与各关键结构分别对应的目标三维结构模型，所述目标三维结构模型用于进行可视化展示。
[0011]另一方面，本申请还提供了一种基于三维影像的关键结构重建装置。所述装置包括：
[0012]前置采样模块，用于对目标部位的原始三维医学影像进行前置采样处理，得到指定尺寸的三维医学影像，所述目标部位包括有至少一个关键结构；
[0013]语义分割模块，用于对所述指定尺寸的三维医学影像进行语义分割处理，得到对
应的三维标记图像，所述三维标记图像中的每个体素都对应有属于各个关键结构的概率值；
[0014]后置采样模块，用于基于所述三维标记图像进行后置采样处理，得到满足高分辨率条件的目标标记图像；
[0015]结构分割模块，用于基于所述三维标记图像中每个体素分别对应的概率值，对所述目标标记图像进行分割，得到至少一张三维结构图像，每张三维结构图像对应一个关键结构；
[0016]三维重建模块，用于对每张三维结构图像分别进行重建处理，得到与各关键结构分别对应的目标三维结构模型，所述目标三维结构模型用于进行可视化展示。
[0017]另一方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于三维影像的关键结构重建方法的步骤。
[0018]另一方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于三维影像的关键结构重建方法的步骤。
[0019]另一方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述基于三维影像的关键结构重建方法的步骤。
[0020]上述基于三维影像的关键结构重建方法、装置、计算机设备、存储介质和计算机程序产品，通过对目标部位的原始三维医学影像进行前置采样处理，以将各种不同厚度、尺寸的多模态的原始三维医学影像，调整至指定尺寸的三维医学影像，从而通过语义分割处理，得到对应的三维标记图像，并且该三维标记图像中的每个体素都对应有属于各个关键结构的概率值，每个概率值可作为后续分割出至少一个关键结构的依据。基于三维标记图像进行后置采样处理，得到满足高分辨率条件的目标标记图像，从而提高后续分割的精准度，这样基于三维标记图像中每个体素分别对应的概率值，对目标标记图像进行分割，可以将每个关键结构都从三维医学影像中准确的分割出来。最后对每张三维结构图像分别进行重建处理，所得到的目标三维结构模型能够精准地表示相应的关键结构，并具有高分辨率，消除了断层的现象，满足可视化的需求。
[0021]另一方面，本申请还提供了一种图像处理模型的训练方法。所述方法包括：
[0022]获取目标部位的原始三维医学影像样本，以及与各原始三维医学影像样本分别对应的结构标签；
[0023]对所述原始三维医学影像样本进行前置采样处理，得到指定尺寸的三维医学影像样本；
[0024]通过待训练的图像处理模型对所述指定尺寸的三维医学影像样本进行语义分割处理，得到预测三维标记图像，所述预测三维标记图像中的每个体素都对应有属于各个关键结构的预测概率值；
[0025]基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数；
[0026]基于所述目标损失函数调整所述图像处理模型的模型参数，并基于调整模型参数
后的图像处理模型继续进行模型训练，直至达到训练停止条件时停止，得到训练完成的图像处理模型。
[0027]另一方面，本申请还提供了一种图像处理模型的训练装置。所述装置包括：
[0028]获取模块，用于获取目标部位的原始三维医学影像样本，以及与各原始三维医学影像样本分别对应的结构标签；
[0029]前置采样模块，用于对所述原始三维医学影像样本进行前置采样处理，得到指定尺寸的三维医学影像样本；
[0030]预测模块，用于通过待训练的图像处理模型对所述指定尺寸的三维医学影像样本进行语义分割处理，得到预测三维标记图像，所述预测三维标记图像中的每个体素都对应有属于各个关键结构的预测概率值；
[0031]构建模块，用于基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数；
[0032]调参模块，用于基于所述目标损失函数调整所述图像处理模型的模型参数，并基于调整模型参数后的图像处理模型继续进行模型训练，直至达到训练停止条件时停止，得到训练完成的图像处理模型。
[0033]另一方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像处理模型的训练方法的步骤。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维影像的关键结构重建方法，其特征在于，所述方法包括：对目标部位的原始三维医学影像进行前置采样处理，得到指定尺寸的三维医学影像，所述目标部位包括有至少一个关键结构；对所述指定尺寸的三维医学影像进行语义分割处理，得到对应的三维标记图像，所述三维标记图像中的每个体素都对应有属于各个关键结构的概率值；基于所述三维标记图像进行后置采样处理，得到满足高分辨率条件的目标标记图像；基于所述三维标记图像中每个体素分别对应的概率值，对所述目标标记图像进行分割，得到至少一张三维结构图像，每张三维结构图像对应一个关键结构；对每张三维结构图像分别进行重建处理，得到与各关键结构分别对应的目标三维结构模型，所述目标三维结构模型用于进行可视化展示。2.根据权利要求1所述的方法，其特征在于，所述对目标部位的原始三维医学影像进行前置采样处理，得到指定尺寸的三维医学影像，包括：获取对目标对象的目标部位进行医学影像采集得到的原始三维医学影像；通过前置采样层对所述原始三维医学影像进行插值处理，得到指定尺寸的三维医学影像。3.根据权利要求1所述的方法，其特征在于，所述对所述指定尺寸的三维医学影像进行语义分割处理，得到对应的三维标记图像，包括：通过编码网络提取所述指定尺寸的三维医学影像中的多个连续特征向量；通过解码网络将所述多个连续特征向量进行融合，得到对应于所述指定尺寸的三维医学影像的特征图；对所述特征图进行归一化处理，并通过激活层将归一化处理后的特征图进行转换，输出三维标记图像。4.根据权利要求1所述的方法，其特征在于，所述基于所述三维标记图像中每个体素分别对应的概率值，对所述目标标记图像进行分割，得到至少一张三维结构图像，包括：确定与各个关键结构分别对应的概率阈值；对于每个关键结构，均将所述三维标记图像中各体素属于相应关键结构的概率值，与相应关键结构对应的概率阈值进行比较，并基于比较结果，从所述目标标记图像中确定出与相应关键结构匹配的目标体素；基于每个关键结构分别对应的目标体素进行分割，得到至少一张三维结构图像。5.根据权利要求1所述的方法，其特征在于，所述对每张三维结构图像分别进行重建处理，得到与各关键结构分别对应的目标三维结构模型，包括：对于每张三维结构图像，建立与所述三维结构图像中包含的关键结构相匹配的初始三维结构模型，所述初始三维结构模型中关键结构的表面由多个预设形状的面片构成；对各所述初始三维结构模型中关键结构的表面进行平滑处理，得到与各关键结构分别对应的目标三维结构模型。6.根据权利要求1所述的方法，其特征在于，所述目标部位的关键结构包括表层结构和内部结构，所述方法还包括：获取在现实场景中对所述目标部位进行图像采集得到的现实场景影像，并确定与所述现实场景影像对应的真实表层点云数据；
将表层结构所对应的目标三维结构模型转换为重建表层点云数据，并将所述重建表层点云数据与所述真实表层点云数据进行配准。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：在所述重建表层点云数据与所述真实表层点云数据配准完成后，基于配准结果，确定所述目标部位的各内部结构所对应的目标三维结构模型，在所述现实场景影像中的相对位置；根据各内部结构所对应的目标三维结构模型分别在所述现实场景影像中的相对位置，将各内部结构所对应的目标三维结构模型叠加展示在所述现实场景影像中。8.根据权利要求1至7中任一项所述的方法，其特征在于，所述指定尺寸的三维医学影像的语义分割处理是通过图像处理模型实现，所述图像处理模型的训练步骤包括：获取目标部位的原始三维医学影像样本，以及与各原始三维医学影像样本分别对应的结构标签；对所述原始三维医学影像样本进行前置采样处理，得到指定尺寸的三维医学影像样本；通过待训练的图像处理模型对所述指定尺寸的三维医学影像样本进行语义分割处理，得到预测三维标记图像，所述预测三维标记图像中的每个体素都对应有属于各个关键结构的预测概率值；基于所述预测三维标记图像与相应原始三维医学影像样本所对应的结构标签间的差异，构建目标损失函数；基于所述目标损失函数调整所述图像处理模型的模型参数，并基于调整模型参数后的图像处理模型继续进行模型训练，直至达到训练停止条件时停止，得到训练完成的图像处理模型。9.根据权利要求8所述的方法，其特征在于，与任一关键结构所对应的原始三维医学影像样本的结构标签的获取步骤，包括：对未标注的原始三维医学影像样本进行切片处理，得到多个切片样本；获取与所述任一关键结构相匹配的预设阈值，并基于所述预设阈值对各切片样本分别进行阈值分割，得到二值化切片样本；对所述二值化切片样本进行空腔填充处理，得到待标注切片样本；基于所述任一关键结构所对应的结构标签，对所述待标注切片样本中表征关键结构的体素进行标注，得到携带有结构标签的标注切片样本；根据各个切片样本对应的结构标签，确定所述各个切片样本所属的原始三维医学影像样本对应的结构标签。10.根据权利要求9所述的方法，其特征在于，所述对所述二值化切片样本进行空腔填充处理，得到待标注切片样本，包括：在所述二值化切片样本中确定至少一个体素作为种子体素，确定与所述种子体素对应的连通域；在与所述种子体素对应的连...

【专利技术属性】
技术研发人员：秦陈陈，常健博，姚建华，冯铭，刘翌勋，王任直，陈亦豪，
申请(专利权)人：中国医学科学院北京协和医院，
类型：发明
国别省市：