上颌骨缺失图像自动补全方法技术

本发明专利技术公布了一种上颌骨缺失图像自动补全方法，首先通过裂隙仿真算法从完整上颌骨图像生成合成缺损图像

【技术实现步骤摘要】
上颌骨缺失图像自动补全方法


[0001]本专利技术属于医学图像处理和计算机视觉
，涉及骨缺失图像自动补全技术，具体涉及一种基于三维医学图像的上颌骨缺失自动补全方法。

技术介绍

[0002]上颌骨结构性缺损，可根据结构缺损的锥束计算机断层扫描图像(锥束CT图像)进行上颌骨缺失虚拟补全，能够模拟并预先确定结构缺损所需要的填充材料体积并预测实际填补效果。
[0003]目前已有的传统手动和半自动化对上颌骨结构性缺损的虚拟补全方法均需要具有专业医学知识的相关人员投入大量的时间精力，在局部图像区域上进行繁杂的手动标注过程，且补全结果易受个人经验和主观判断的影响。在当前的计算机视觉图像修复任务中，需要预先指定目标修复区域，而在上颌骨缺失自动补全任务中待填补区域的边界未知。现有的三维形状补全工作利用合成的人造三维形状缺失数据训练补全模型，但该方法仅适用于缺失形状噪声分布已知的二值体素数据，难以应用到体素取值连续且缺失结构复杂的三维医学图像上。
[0004]综上，现有的上颌骨结构性缺损图像自动补全技术存在的问题包括两方面：一方面，现有的传统手动和半自动补全方法需要消耗大量的人力，且补全结果依赖于使用者的主观经验；另一方面，计算机视觉领域相关的图像修复和三维形状补全技术无法直接适用于医学图像补全场景应用；因此，对于没有缺失
‑
完整图像的成对数据和专业医疗人员专门提供的缺失区域标注的情况，目前尚缺乏有效的上颌骨缺失医学图像自动补全方法，难以生成三维上颌骨虚拟补全图像。

技术实现思路

[0005]为能够有效地克服上述现有技术存在的问题，本专利技术提供了一种上颌骨缺失图像自动补全方法，基于三维医学图像进行上颌骨缺失自动补全，是一种基于弱监督学习的端到端上颌骨缺失医学图像自动补全方法，在无需缺失
‑
完整图像的成对数据和专业医疗人员专门提供的缺失区域标注的条件下能够生成三维上颌骨虚拟补全图像，从而为上颌骨虚拟补全过程节省大量的人力。
[0006]本专利技术的核心为：本专利技术提出了一种基于弱监督学习的上颌骨缺失医学图像自动补全方法。本专利技术首先通过裂隙仿真算法从完整上颌骨图像生成合成缺损图像
‑
完整图像成对数据集，随后采用三维卷积神经网络编解码器作为上颌骨缺失医学图像补全模型架构，依次在合成缺损图像
‑
完整图像成对数据集上和真实缺损图像数据集上训练，将模型从合成缺损图像
‑
完整图像成对数据集上学到的结构先验知识迁移至真实缺损数据，并结合颌面结构对称性的对称约束损失，得到适用于真实上颌骨缺失图像的自动补全模型。不同于需要大量专业人力的传统手动和半自动上颌骨虚拟补全方法，本专利技术仅需要上颌骨缺损图像在缺损区域的包围盒以及非成对的完整上颌骨数据和缺损上颌骨数据，即可以弱监督
的方式训练得到补全模型。在线测试阶段，给定待补全的上颌骨缺损医学图像和包含待补全区域的包围盒，本专利技术训练的卷积神经网络补全模型即能够有效生成虚拟补全结果。
[0007]本专利技术提供的上颌骨缺失医学图像自动补全方法包括如下步骤：
[0008]1)通过裂隙仿真算法，从上颌骨图像构造生成合成缺损图像
‑
完整图像成对数据集；
[0009]对于完整上颌骨图像数据集中的任意完整上颌骨图像V
c
，随机在其上颌骨区域生成长方体包围盒二值掩码M
cb
，计算得到被遮挡的上颌骨图像V
cm
＝V
c
·
(1
‑
M
cb
)，以及标识包围盒内部骨组织的二值指示掩码M
ci
＝M
cb
∩I(V
c
>η)，其中I为指示函数，在满足条件表达式的体素位置取值为1，其余位置取值为0，η为预先指定的阈值。通过裂隙仿真算法构造合成缺损图像步骤如下：
[0010]11)构造骨缝随机区域，随机选择起始点和目标点；进行迭代步进，随机生成骨缝半径；每次迭代步进时，在水平切片图像中以当前点为中心，骨缝半径r为半径圆范围内的体素加入到裂隙掩码中，得到初始裂隙；包括
[0011]111)在第二三侧切牙区域随机选择起始点，在鼻腔内上颌骨上缘随机选择目标点，从起始点开始以指向目标点方向作为初始方向，进行迭代步进。
[0012]112)每次迭代时随机生成方向扰动向量，将方向扰动向量和当前方向矢量叠加后归一化即得到当前新的步进方向，并前进一个体素。
[0013]113)每次迭代步进时，根据当前点到起始点之间的高度差随机生成骨缝半径r。每次迭代步进时，在水平切片图像中以当前点为中心，骨缝半径r为半径圆范围内的体素加入到裂隙掩码图像中，得到初始裂隙。
[0014]具体实施时，裂隙掩码图像与输入CBCT图像大小相同，将裂隙掩码图像初始化为0，在步进过程中，将骨缝半径r为半径圆范围内的体素在裂隙掩码图像中的值设置为1。
[0015]12)膨胀裂隙。通过对裂隙迭代地进行卷积操作，对初始裂隙进行膨胀。
[0016]每次迭代时，首先随机生成中心体素值为1而其余体素随机取值为0或1的3x3x3三维卷积核，对当前裂隙掩码图像进行卷积操作，卷积输出结果中所有取值非零的体素即为一次迭代膨胀后的裂隙。迭代膨胀到第n轮终止，得到的掩码与M
ci
的交集构成合成裂隙掩码。此时被遮挡的上颌骨图像V
cm
、包围盒二值掩码M
cb
以及合成裂隙掩码M
cs
一起组成了合成缺损图像数据，而完整上颌骨图像和由其通过裂隙仿真算法构造的合成缺损图像数据即构成了包含成对的合成缺损图像
‑
完整图像的数据集。
[0017]2)采用三维卷积神经网络编解码器构建上颌骨缺失图像补全模型；
[0018]具体实施时，采用三维卷积神经网络编解码器构建上颌骨缺失图像补全模型,其中利用三维卷积层并加入空洞卷积，以使得模型能够有效地提取并编码三维图像特征信息。该模型的输入为待补全区域被遮挡的图像、包围盒掩码图像以及包围盒内骨组织指示掩码图像三张图像的拼接，模型的输出为估计的虚拟补全图像。
[0019]3)再通过生成对抗式学习训练上颌骨缺失图像补全模型，并用于真实上颌骨缺失图像补全；
[0020]为应对真实上颌骨缺损数据缺少成对完整上颌骨真值数据的问题，依次在步骤1)得到的合成缺损图像
‑
完整图像成对数据集上和真实唇腭裂缺损锥束CT图像数据集上训练步骤2)构建的模型，将在合成数据上学习到的结构知识迁移到真实缺损数据上，并结合生
成对抗式学习输出与完整上颌骨图像分布相一致的补全图像。
[0021]在整个模型训练过程中，上颌骨缺失图像补全模型的损失函数L定义如下：
[0022]L＝L
rec
+λ
adv
L
adv
+λ
sym
L本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种上颌骨缺失图像自动补全方法，基于弱监督学习进行端到端上颌骨缺失三维医学图像自动补全，无需缺失
‑
完整图像成对数据和缺失区域标注，仅需上颌骨缺损图像在缺损区域的包围盒以及非成对的完整上颌骨数据和缺损上颌骨数据，即可生成三维上颌骨虚拟补全图像；包括：1)首先通过裂隙仿真算法从完整上颌骨图像生成合成缺损图像
‑
完整图像成对数据集，2)随后采用三维卷积神经网络编解码器，构建上颌骨缺失医学图像补全模型；3)依次在合成缺损图像
‑
完整图像成对数据集上和真实缺损图像数据集上训练该模型，利用上颌骨缺损图像在缺损区域的包围盒以及非成对的完整上颌骨数据和缺损上颌骨数据，将模型从合成缺损图像
‑
完整图像成对数据集上学到的结构先验知识迁移至真实缺损数据，并考虑颌面结构对称性的对称约束损失，即可采用弱监督的方式训练适用于真实上颌骨缺失图像的自动补全模型；4)在线测试阶段，给定待补全的上颌骨缺损医学图像和包含待补全区域的包围盒，利用上颌骨缺失医学图像补全模型即可有效生成虚拟补全结果。2.如权利要求1所述的上颌骨缺失图像自动补全方法，其特征是，通过裂隙仿真算法，从完整上颌骨图像构造生成合成缺损图像
‑
完整图像成对数据集；具体是对于完整上颌骨图像数据集中的任意完整上颌骨图像V
c
，随机在其上颌骨区域生成长方体包围盒二值掩码M
cb
，计算得到被遮挡的上颌骨图像V
cm
＝V
c
·
(1
‑
M
cb
)，以及标识包围盒内部骨组织的二值指示掩码M
ci
＝M
cb
∩I(V
c
>η)，其中I为指示函数，η为预先指定的阈值；通过裂隙仿真算法构造合成缺损图像包括如下步骤：11)构造骨缝随机区域，随机选择起始点和目标点；进行迭代步进；每次迭代步进，在水平切片图像中，将以当前点为中心，随机生成的骨缝半径r为半径的圆范围内的体素加入到裂隙掩码图像中，得到初始裂隙；12)通过对裂隙迭代地进行卷积操作，对初始裂隙进行裂隙膨胀；每次迭代进行卷积操作时，随机生成三维卷积核，卷积输出结果中所有取值非零的体素即为一次迭代膨胀后的裂隙；裂隙膨胀迭代停止时得到的掩码与M
ci
的交集构成合成裂隙掩码；此时被遮挡的上颌骨图像V
cm
、包围盒二值掩码M
cb
以及合成裂隙掩码一起组成了合成缺损图像数据；完整上颌骨图像和由其通过裂隙仿真算法构造的合成缺损图像数据即构成了包含成对的合成缺损图像
‑
完整图像的数据集。3.如权利要求2所述的上颌骨缺失图像自动补全方法，其特征是，步骤11)构造骨缝随机区域，获取初始裂隙，包括如下步骤：111)在第二三侧切牙区域随机选择起始点，在鼻腔内上颌骨上缘随机选择目标点，从起始点开始以指向目标点方向作为初始方向，进行迭代步进；112)每次迭代时随机生成方向扰动向量，将方向扰动向量和当前游走方向矢量叠加后归一化即得到当前新的方向，每次前进一个体素；113)每次迭代步进时，随机生成骨缝半径r；在水平切片图像中将以当前点为中心，随机生成的骨缝半径r为半径的圆范围内的体素加入到裂隙掩码图像中，得到初始裂隙。4.如权利要求2所述的上颌骨缺失图像自动补全方法，其特征是，所述裂隙掩码图像与输入图像大小相同，并将裂隙掩码图像初始化为0，在步进过程中，将骨缝半径r为半径圆范
围内的体素在裂隙掩码图像中的值设置为1。5.如权利要求2所述的上颌骨缺失图像自动补全方法，其特征是，步骤12)每次迭代进行卷积操作时，随机生成三维卷积核，具体是随机生成中心体素值为1而其余体素随机取值为0或1的3x3x3三维卷积核。6...

【专利技术属性】
技术研发人员：郭一潇，裴玉茹，陈斯，许天民，查红彬，
申请(专利权)人：北京大学，
类型：发明
国别省市：