【技术实现步骤摘要】
本专利技术涉及三维建模，尤其涉及一种基于多源异构数据的三维建模方法与装置。
技术介绍
1、当前医学成像技术在医疗医学等领域获得了广泛应用，其中以ct（computedtomography，计算机断层扫描）、mri（magnetic resonance imaging，磁共振成像）等为代表的成像技术可以提供无创或微创的方式来观察患者体内的情况，广泛应用于疾病筛查、手术导航、治疗规划等方面。其中，不同成像技术各有优劣，例如ct影像具有高空间分辨率，适合查看骨骼和硬组织结构，但对软组织的对比度较差，mri影像适合展示高对比度的软组织细节，但空间分辨率相对ct较低。因此，将来自不同成像设备且成像方式不同的医学影像数据整合到同一三维模型中，可以帮助医学人员获得更加全面的解剖和病理学信息。
2、目前在整合来自不同成像设备的医学影像时，通常利用诸如刚性配准的配准技术将多个医学影像进行配准，进而将配准后的医学影像进行叠加和三维重建形成三维模型。然而，由于不同医学影像的成像原理不同，二者在分辨率、噪声、扭曲变形等方面可能存在差异，配准技术通常难以确保所有解剖细节的一致性，因此叠加后的图像反而会出现特征信息缺失或模糊的问题，导致三维建模的效果欠佳。
技术实现思路
1、本专利技术提供一种基于多源异构数据的三维建模方法与装置，用以解决现有技术由于不同医学影像的成像原理不同造成融合后图像特征信息缺失或模糊的现象，从而导致三维建模的效果欠佳的问题。
2、一方面，本专利技术提供一种基于多
3、获取目标部位的多个解剖平面对应的图像组合；其中，任一解剖平面对应的图像组合至少包括所述任一解剖平面对应的已配准的二维ct图像和二维mri图像；
4、针对任一解剖平面，基于多源异构融合模型对所述任一解剖平面对应的图像组合进行融合，得到所述任一解剖平面的融合图像；
5、将多个解剖平面的融合图像进行三维重建，得到所述目标部位的三维模型；
6、其中，所述多源异构融合模型是基于生成对抗网络构建的；所述多源异构融合模型的判别器是基于所述判别器针对样本解剖平面对应的样本图像组合的输出概率以及针对生成器基于所述样本解剖平面对应的样本图像组合输出的融合图像的输出概率训练得到的；所述多源异构融合模型的生成器是基于所述判别器针对所述生成器基于所述样本解剖平面对应的样本图像组合输出的融合图像的输出概率、所述生成器基于所述样本解剖平面对应的样本图像组合输出的融合图像分别与所述样本图像组合中二维ct图像和二维mri图像之间的差异训练得到的。
7、在本申请的一种可选实施例中，所述多源异构融合模型的生成器是基于如下方式训练的：
8、将样本解剖平面对应的样本图像组合输入至所述生成器中，得到所述生成器输出的所述样本解剖平面的融合图像；
9、将所述样本解剖平面的融合图像输入至所述判别器中，得到所述判别器输出的所述样本解剖平面的融合图像对应的输出概率；
10、将所述样本解剖平面的融合图像以及所述样本解剖平面对应的样本图像组合分别输入至图像分割模型中，得到所述图像分割模型输出的相应图像的轮廓；
11、基于数值1与所述样本解剖平面的融合图像对应的输出概率之间的差异，确定生成损失；
12、基于所述样本解剖平面的融合图像的轮廓分别与所述样本解剖平面对应的样本图像组合中的二维ct图像的轮廓和二维mri图像的轮廓之间的差异，确定轮廓损失；
13、基于所述样本解剖平面的融合图像与所述样本解剖平面对应的样本图像组合中的二维mri图像之间的结构相似性，确定结构损失；
14、基于所述样本解剖平面的融合图像与所述样本解剖平面对应的样本图像组合中的二维ct图像之间的图像特征差异，确定感知损失；
15、基于所述生成损失、所述轮廓损失、所述结构损失和所述感知损失，调整所述生成器的参数。
16、在本申请的一种可选实施例中，所述生成器的训练过程还包括：
17、基于相邻样本解剖平面对应的样本图像组合中二维mri图像与所述样本解剖平面对应的样本图像组合中二维mri图像之间的结构相似性，确定mri结构差异；
18、基于相邻样本解剖平面对应的样本图像组合中二维ct图像与所述样本解剖平面对应的样本图像组合中二维ct图像之间的结构相似性，确定ct结构差异；
19、基于相邻样本解剖平面的融合图像与所述样本解剖平面的融合图像之间的结构相似性，确定融合结构差异；
20、基于所述mri结构差异与所述ct结构差异的平均值和所述融合结构差异之间的差值，确定重构损失；
21、基于所述生成损失、所述轮廓损失、所述结构损失、所述感知损失和所述重构损失，调整所述生成器的参数。
22、在本申请的一种可选实施例中，基于所述样本解剖平面的融合图像的轮廓分别与所述样本解剖平面对应的样本图像组合中的二维ct图像的轮廓和二维mri图像的轮廓之间的差异，确定轮廓损失，包括：
23、确定相邻样本解剖平面的融合图像的轮廓；
24、确定所述相邻样本解剖平面的融合图像的轮廓与所述样本解剖平面的融合图像的轮廓之间的第一差异；
25、确定所述样本解剖平面的融合图像的轮廓分别与所述样本解剖平面对应的样本图像组合中的二维ct图像的轮廓和二维mri图像的轮廓之间的第二差异和第三差异；
26、基于所述第一差异、所述第二差异和所述第三差异，确定所述轮廓损失。
27、在本申请的一种可选实施例中，基于所述样本解剖平面的融合图像与所述样本解剖平面对应的样本图像组合中的二维mri图像之间的结构相似性，确定结构损失，包括：
28、基于ssim指标计算所述样本解剖平面的融合图像与所述样本解剖平面对应的样本图像组合中的二维mri图像之间的结构相似性；
29、确定数值1与所述结构相似性的差值，作为所述结构损失。
30、在本申请的一种可选实施例中，基于所述样本解剖平面的融合图像与所述样本解剖平面对应的样本图像组合中的二维ct图像之间的图像特征差异，确定感知损失，包括：
31、基于图像特征提取模型分别提取所述样本解剖平面的融合图像的图像特征以及所述样本解剖平面对应的样本图像组合中二维ct图像的图像特征；
32、基于所述样本解剖平面的融合图像的图像特征与所述样本解剖平面对应的样本图像组合中二维ct图像的图像特征之间的图像特征差异，确定所述感知损失。
33、在本申请的一种可选实施例中，所述样本解剖平面的融合图像的图像特征与所述样本解剖平面对应的样本图像组合中二维ct图像的图像特征之间的图像特征差异是基于所述样本解剖平面的融合图像的图像特征与所述样本解剖平面对应的样本图像组合中二维ct图像的图像特征之间的欧氏距离确定的。
34、在本申请的一种可选实施例中，所述多源异构融合模型的判别器是基于如下本文档来自技高网...
【技术保护点】
1.一种基于多源异构数据的三维建模方法，其特征在于，包括：
2.根据权利要求1所述的一种基于多源异构数据的三维建模方法，其特征在于，所述多源异构融合模型的生成器是基于如下方式训练的：
3.根据权利要求2所述的一种基于多源异构数据的三维建模方法，其特征在于，所述生成器的训练过程还包括：
4.根据权利要求2或3所述的一种基于多源异构数据的三维建模方法，其特征在于，基于所述样本解剖平面的融合图像的轮廓分别与所述样本解剖平面对应的样本图像组合中的二维CT图像的轮廓和二维MRI图像的轮廓之间的差异，确定轮廓损失，包括：
5.根据权利要求2或3所述的一种基于多源异构数据的三维建模方法，其特征在于，基于所述样本解剖平面的融合图像与所述样本解剖平面对应的样本图像组合中的二维MRI图像之间的结构相似性，确定结构损失，包括：
6.根据权利要求2或3所述的一种基于多源异构数据的三维建模方法，其特征在于，基于所述样本解剖平面的融合图像与所述样本解剖平面对应的样本图像组合中的二维CT图像之间的图像特征差异，确定感知损失，包括：
7.根
8.根据权利要求1至3任一项所述的一种基于多源异构数据的三维建模方法，其特征在于，所述多源异构融合模型的判别器是基于如下方式训练的：
9.根据权利要求1至3任一项所述的一种基于多源异构数据的三维建模方法，其特征在于，基于多源异构融合模型对所述任一解剖平面对应的图像组合进行融合，得到所述任一解剖平面的融合图像，包括：
10.一种基于多源异构数据的三维建模装置，其特征在于，包括：
...【技术特征摘要】
1.一种基于多源异构数据的三维建模方法，其特征在于，包括：
2.根据权利要求1所述的一种基于多源异构数据的三维建模方法，其特征在于，所述多源异构融合模型的生成器是基于如下方式训练的：
3.根据权利要求2所述的一种基于多源异构数据的三维建模方法，其特征在于，所述生成器的训练过程还包括：
4.根据权利要求2或3所述的一种基于多源异构数据的三维建模方法，其特征在于，基于所述样本解剖平面的融合图像的轮廓分别与所述样本解剖平面对应的样本图像组合中的二维ct图像的轮廓和二维mri图像的轮廓之间的差异，确定轮廓损失，包括：
5.根据权利要求2或3所述的一种基于多源异构数据的三维建模方法，其特征在于，基于所述样本解剖平面的融合图像与所述样本解剖平面对应的样本图像组合中的二维mri图像之间的结构相似性，确定结构损失，包括：
6.根据权利要求2或3所述的一种基于多源异构数据的三维建模方法，其特征在于，基于所...
【专利技术属性】
技术研发人员：冯聪，黄赛，
申请(专利权)人：中国人民解放军总医院第一医学中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。