极端环境下脑结构的三维重建方法、装置及可读存储介质制造方法及图纸

本申请提供了一种极端环境下脑结构的三维重建方法、装置及可读存储介质，涉及图像处理领域，能够基于残缺图像重建出的完整的三维结构。其方法包括：获取目标对象的二维图像，二维图像呈现目标对象的部分区域；将二维图像转换第一点云，第一点云用于描述部分区域的三维结构；通过已训练的点云补全模型对第一点云进行处理，得到第二点云，第二点云用于描述目标对象整体的三维结构；其中，点云补全模型包括N个层级的点云压缩模块和N个层级的点云扩张模块，N个层级的点云压缩模块用于对第一点云进行压缩处理，得到N个不同分辨率的压缩信息，N个层级的点云扩张模块用于对N个不同分辨率的压缩信息进行重建，得到第二点云，N≥2，N为整数。数。数。

【技术实现步骤摘要】
极端环境下脑结构的三维重建方法、装置及可读存储介质


[0001]本申请属于图像处理领域，尤其涉及一种极端环境下脑结构的三维重建方法、装置及可读存储介质。

技术介绍

[0002]随着医学技术手段的不断发展，微创手术和机器人引导的介入技术已逐渐用于脑外科手术，因其更小手术伤口，更短恢复时间的特点给患者带来了更好的治疗体验。但是，由于在手术期间无法直接观察病变部位，使得医生无法直接操作手术目标。
[0003]目前，可以通过光学传感设备采集脑部的图像，并对该图像进行重建来获取脑部的三维结构，以辅助医生观察病变部位，完成手术。但光学传感设备的光环境和手术中可能出现的视觉污染状况(例如，局部出血)，会导致光学传感设备采集到的图像可能是残缺图像(即呈现脑部部分区域而不是完整脑部的二维图像)，这就导致重建得到三维结构也不完整，从而影响医生的观察和判断。

技术实现思路

[0004]本申请实施例提供的一种极端环境下脑结构的三维重建方法、装置、设备及可读存储介质，可以解决如何基于残缺图像重建出完整的三维结构的问题。
[0005]第一方面，本申请实施例提供一种三维重建方法，包括：获取目标对象的二维图像，二维图像呈现目标对象的部分区域；将二维图像转换第一点云，第一点云用于描述该部分区域的三维结构；通过已训练的点云补全模型对第一点云进行处理，得到第二点云，第二点云用于描述目标对象整体的三维结构；其中，点云补全模型包括N个层级的点云压缩模块和N个层级的点云扩张模块，N个层级的点云压缩模块用于对第一点云进行压缩处理，得到N个不同分辨率的压缩信息，N个层级的点云扩张模块用于对N个不同分辨率的压缩信息进行重建，得到第二点云，N≥2，N为整数。
[0006]基于本申请提供的三维重建方法，在将残缺的二维图像转换为第一点云后，通过利用点云补全模型将第一点云进行补全，得到第二点云。由于该点云补全模型可以提取第一点云中不同分辨率的压缩信息，并基于不同分辨率的压缩信息进行点云扩张，重建得到能够描述目标对象整体的三维结构的第二点云。因此，采用本申请提供的方法能够基于目标对象的残缺图像重建出该目标对象完整的三维结构。
[0007]在一个可能的实现方式中，第1层点云压缩模块的输入信息为第一点云，相邻两层点云压缩模块中前一层的输出信息为后一次的输入信息，第1层点云扩张模块的输入信息为第N
‑
1层和第N层点云压缩模块的输出信息，第m层点云扩张模块的输入信息为第N
‑
m层点云压缩模块的输出信息和第m
‑
1层点云扩张模块的输出信息，第N层点云扩张模块的输入信息为第N
‑
1层点云扩张模块的输出信息，第N层点云扩张模块的输出信息为第二点云，2≤m＜N，m为整数。
[0008]在一个可能的实现方式中，点云扩张模块包括多个动态信息门模块，多个动态信
息门模块之间设置有多层全连接层，动态信息门模块用于对动态信息门的输入信息进行注意力机制计算。
[0009]在一个可能的实现方式中，点云压缩模块为PointNet++网络结构。
[0010]在一个可能的实现方式中，将二维图像转换第一点云包括：利用已训练的点云重建模型将二维图像转换为第一点云。
[0011]在一个可能的实现方式中，点云重建模型包括依次连接的ResNet编码器和图卷积神经网络，所述图卷积神经网络包括多组交替设置的图卷积模块和分支模块，所述图卷积模块用于调整点云的位置坐标，所述分支模块用于扩充点云的个数。
[0012]在一个可能的实现方式中，点云补全模型和点云重建模型的训练方式为：构建补全一体化初始模型，该补全一体化初始模型包括点云重建初始模型、判别器和点云补全初始模型；根据预设的损失函数和训练集对补全一体化初始模型进行对抗训练，以将点云重建初始模型训练为点云重建模型，将点云补全初始模型训练为点云补全模型；其中，训练集包括多个呈现对象样本部分区域的二维图像样本，和每个二维图像样本所对应的部分区域点云样本和整体点云样本；损失函数包括基于相对熵、倒角距离和推土机距离的损失计算。
[0013]第二方面，本申请实施例提供一种三维重建装置，包括：
[0014]获取单元，用于获取目标对象的二维图像，二维图像呈现目标对象的部分区域；
[0015]转换单元，用于将二维图像转换第一点云，第一点云用于描述该部分区域的三维结构；
[0016]补全单元，用于通过已训练的点云补全模型对第一点云进行处理，得到第二点云，第二点云用于描述目标对象整体的三维结构；其中，点云补全模型包括N个层级的点云压缩模块和N个层级的点云扩张模块，N个层级的点云压缩模块用于对第一点云进行压缩处理，得到N个不同分辨率的压缩信息，N个层级的点云扩张模块用于对N个不同分辨率的压缩信息进行重建，得到第二点云，N≥2，N为整数。
[0017]第三方面，本申请实施例提供一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面或者第一方面的任意可选方式所述的方法。
[0018]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面或者第一方面的任意可选方式所述的方法。
[0019]第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面或者第一方面的任意可选方式所述的方法。
[0020]可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
[0021]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附
图获得其他的附图。
[0022]图1是本申请一实施例提供的一种三维重建方法的一个实施例的流程示意图；
[0023]图2是本申请提供的一种补全一体化模型的网络结构示意图；
[0024]图3是为本申请提供的一种点云扩张模块的网络结构示意图；
[0025]图4是本申请提供的一种补全一体化初始模型的网络结构示意图；
[0026]图5是本申请提供的一种三维重建装置的结构示意图；
[0027]图6是本申请提供的一种终端设备的结构示意图。
具体实施方式
[0028]点云是一种描述三维空间中特定对象形状结构的一种数据结构，表示为一个由若干散点组成的集合。例如，给定一个脑部的三维结构，它的点云可以被写作一个矩阵Y_(y
×
3)，其中y表示点的个数，3表示该点的三维坐标。特别的，当任意交换矩阵两行，即视作交换了点云中的两个点的储存位置，根据集合的无序性，该点云的一切性质保持不变。点云具有空间复本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维重建方法，其特征在于，包括：获取目标对象的二维图像，所述二维图像呈现所述目标对象的部分区域；将所述二维图像转换第一点云，所述第一点云用于描述所述部分区域的三维结构；通过已训练的点云补全模型对第一点云进行处理，得到第二点云，所述第二点云用于描述所述目标对象整体的三维结构；其中，所述点云补全模型包括N个层级的点云压缩模块和N个层级的点云扩张模块，N个层级的所述点云压缩模块用于对第一点云进行压缩处理，得到N个不同分辨率的压缩信息，N个层级的所述点云扩张模块用于对N个不同分辨率的所述压缩信息进行重建，得到所述第二点云，N≥2，N为整数。2.根据权利要求1所述的方法，其特征在于，第1层所述点云压缩模块的输入信息为所述第一点云，相邻两层所述点云压缩模块中前一层的输出信息为后一次的输入信息，第1层所述点云扩张模块的输入信息为第N
‑
1层和第N层所述点云压缩模块的输出信息，第m层所述点云扩张模块的输入信息为第N
‑
m层所述点云压缩模块的输出信息和第m
‑
1层所述点云扩张模块的输出信息，第N层所述点云扩张模块的输入信息为第N
‑
1层所述点云扩张模块的输出信息，第N层所述点云扩张模块的输出信息为所述第二点云，2≤m＜N，m为整数。3.根据权利要求2所述的方法，其特征在于，所述点云扩张模块包括多个动态信息门模块，所述多个动态信息门模块之间设置有多层全连接层，所述动态信息门模块用于对所述动态信息门的输入信息进行注意力机制计算。4.根据权利要求1所述的方法，其特征在于，所述点云压缩模块为PointNet++网络结构。5.根据权利要求1所述的方法，其特征在于，所述将所述二维图像转换第一点云包括：利用已训练的点云重建模型将所述二维图像转换为所述第一点云。6.根据权利要求5所述的方法，其特征在于，所述点云重建模型包括依次...

【专利技术属性】
技术研发人员：王书强，胡博闻，申妍燕，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：