基于深度神经网络和模型先验的3D心脏形状重建方法技术

本发明专利技术提供了一种基于深度神经网络和模型先验的3D心脏形状重建方法，包括：构建心脏的三维模型集，执行主成分分析从而产生低维的参数隐空间；数据增强，从得到的参数空间采样，生成参数回归网络的训练集；构建参数回归网络，使用生成的训练集训练参数回归网络；生成分割网络的训练集，构建分割网络，使用生成的数据集训练分割网络；将经过训练的分割网络与经过训练的参数网络连接构成联合网络，使用真实数据构成的训练集对联合网络进行训练，用训练好的联合网络执行三维重建任务。本发明专利技术使得推理过程高效快速；结果更为合理；分割和重建效果都有提升；提出了一种数据增强方法，从大量合成数据的训练中提升参数估计网络的泛化性能。性能。性能。

【技术实现步骤摘要】
隐空间采样，对参数回归网络的训练集增强；
[0013]步骤S3、构建参数回归网络，使用步骤S2中生成的参数回归网络的训练集训练参 数回归网络；
[0014]步骤S4、从三维模型集生成分割网络的训练集，构建分割网络，使用分割网络的训 练集训练分割网络；
[0015]步骤S5、将步骤S4中经过训练的分割网络与步骤S3中经过训练的参数回归网络 连接构成联合网络，对联合网络进行训练；
[0016]步骤S6、用训练好的联合网络执行三维重建任务。
[0017]进一步地，步骤S1的具体步骤为：
[0018]1‑
1、对每个原始CT三维体积沿横断面法线方向进行切片，得到一系列二维图像， 并对每张二维图像中的左心室进行分割，获得二维图像的掩膜；
[0019]1‑
2、将一系列二维图像的掩膜堆叠构成掩膜体积，使用Marching Cubes算法生成分 割区域的表面网格，并进行平滑操作，得到心脏三维模型；
[0020]1‑
3、对所获得的所有三维模型依次执行刚性配准，非刚性配准，使得所有的三维模 型的空间分布相近、拓扑结构一致；
[0021]1‑
4、对所有的三维模型使用主成分分析，获得各个三维模型的参数，进而产生低维 的参数隐空间；
[0022]其中，三维模型集由原始CT三维体积、掩膜体积、三维模型和三维模型的参数构成。
[0023]进一步地，步骤S2的具体步骤为：
[0024]2‑
1、在均值模型上手工确定5个关键点用于决定切平面位置，从而获得对应的5个 顶点索引，因为由参数获得的三维模型之间顶点是一一对应的，任意三维模型的关键点 就能根据顶点索引直接确定；
[0025]2‑
2、参数回归网络的训练集的数据为由步骤2
‑
1获得的关键点对三维模型集中的三 维模型切片，所获得的三维模型的一组切片掩膜，对应的标签为三维模型的参数；
[0026]2‑
3、对三维模型集的参数分布进行分析，并以每个样本的参数为中心进行高斯采样， 从而获得与样本不同的参数；从获得的参数生成三维模型，由步骤2
‑
1获得的关键点对 三维模型切片，获得三维模型的一组切片掩膜；将切片掩膜和三维模型的参数加入到由 步骤2
‑
2获得的参数回归网络的训练集中，从而对参数回归网络的训练集增强。
[0027]进一步地，其具体步骤为：
[0028]3‑
1、对于已知三维模型，将获得的5个关键点分别标记为A、B、C、D、E；
[0029]3‑
2、心脏的短轴视图平面序列，由以A、B连线为法线，经过AB连线上具有间隔 的点的10张平面构成，使用这10张平面对三维模型截面生成10张切片掩膜；
[0030]3‑
3、心脏的长轴二腔心视图平面，定义为经过A、B、C三点构成的平面，使用该 平面对三维模型截面生成1张切片掩膜；
[0031]3‑
4、心脏的长轴三腔心视图平面，定义为经过A、B、D三点构成的平面，使用该 平面对三维模型截面生成1张切片掩膜；
[0032]3‑
5、心脏的长轴四腔心视图平面，定义为经过A、B、E三点构成的平面，使用该平 面对三维模型截面生成1张切片掩膜；
[0033]通过上述方式，每个三维模型可以获得一组共13张切片掩膜。
[0034]进一步地，步骤S3中所述参数回归网络由4个下采样模块与3个全连接层构成，每 个下采样模块由两个3
×
3卷积层、两个ReLU激活函数和一个2
×
2池化层组成；网络 的输入是一组13张尺寸为192
×
192的切片掩膜，输出是K维的参数向量。
[0035]进一步地，步骤S3中所述参数回归网络的损失函数：
[0036][0037]权重w
i
与特征向量的方差比正相关，α
i
是模型参数在第i维的真实值，是模型 参数在第i维的预测值。
[0038]进一步地，步骤S4中所述生成分割网络的训练集的具体方法是，对于三维模型集中 每个原始CT三维体积和其对应的掩膜体积，对原始CT三维体积切片，获得视图图像 及其对应的切片掩膜；所生成的分割网络的训练集，数据为由一个原始CT三维体积获 得的13张视图图像，对应的标签为13张切片掩膜。
[0039]进一步地，所述获得视图图像及其对应的切片掩膜，具体步骤为：
[0040]4‑
1、在原始CT三维体积的横断面视图上定位左心室心尖与二尖瓣的中点，然后沿 着这条线扫描，获得长轴二腔心视图图像，再对掩膜体积进行同样的操作获得切片掩膜；
[0041]4‑
2、在长轴二腔心视图平面上，扫描连接二尖瓣中点和左心室心尖的线，获得长轴 四腔心视图图像和其切片掩膜，再对掩膜体积进行同样的操作获得切片掩膜；
[0042]4‑
3、以长轴四腔心视图平面为参考平面，沿左心室长轴方向连续垂直扫描，得到一 系列图像组成视图序列图像，再对掩膜体积进行同样的操作获得切片掩膜；
[0043]4‑
4、在基底短轴视图平面上，扫描连接主动脉瓣中点和左心室中点的线，获得长轴 三腔心视图图像和其切片掩膜，再对掩膜体积进行同样的操作获得切片掩膜；
[0044]通过上述方式，每个原始CT三维体积可以获得一组共13张视图图像和对应的切片 掩膜。
[0045]进一步地，步骤S5中所述联合网络的总损失为：
[0046]L
joint
＝λ
·
L
seg
+μ
·
L
seg
[0047]其中L
seg
是分割损失，L
seg
是参数回归损失,λ和μ是它们各自的权重。
[0048]联合网络的训练集，数据为由三维模型集中一个原始CT三维体积获得的13张视图 图像，对应的标签为13张切片掩膜和三维模型的参数。
[0049]根据权利要求1所述的一种基于端到端深度神经网络和模型先验的3D心脏形状重 建方法，其特征在于，在所述步骤S6中，从任意一个原始CT三维体积获得的13张视 图图像，将它们送入分割网络，获得13张切片掩膜，再将它们输入到参数回归网络， 预测三维模型的参数，最后由参数生成三维模型。
[0050]与最接近的现有技术相比，本方面提供的技术方案具有的有益效果是：
[0051]本专利技术提出了一种新颖的基于端到端的深度学习网络，利用深度学习的端到端方法 的优势，使得推理过程高效快速；
[0052]本专利技术通过构建参数模型，加入了模型先验，使得结果符合真实，更加合理；
[0053]本专利技术提出了一种联合优化架构，由分割网络和参数回归网络构成，通过分割任
务 的辅助，来获得个性化的模型参数，而参数回归损失的加入，相当于在分割中加入了模 型的解剖先验信息，从而使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络和模型先验的3D心脏形状重建方法，其特征在于，包括如下步骤：步骤S1、从原始CT构建心脏的三维模型集，执行主成分分析从而产生低维的参数隐空间；步骤S2、从三维模型集生成参数回归网络的训练集，对基于步骤S1中得到的参数隐空间采样，对参数回归网络的训练集增强；步骤S3、构建参数回归网络，使用步骤S2中生成的参数回归网络的训练集训练参数回归网络；步骤S4、从三维模型集生成分割网络的训练集，构建分割网络，使用分割网络的训练集训练分割网络；步骤S5、将步骤S4中经过训练的分割网络与步骤S3中经过训练的参数回归网络连接构成联合网络，对联合网络进行训练；步骤S6、用训练好的联合网络执行三维重建任务。2.根据权利要求1所述的基于深度神经网络和模型先验的3D心脏形状重建方法，其特征在于，步骤S1的具体步骤为：1
‑
1、对每个原始CT三维体积沿横断面法线方向进行切片，得到一系列二维图像，并对每张二维图像中的左心室进行分割，获得二维图像的掩膜；1
‑
2、将一系列二维图像的掩膜堆叠构成掩膜体积，使用Marching Cubes算法生成分割区域的表面网格，并进行平滑操作，得到心脏三维模型；1
‑
3、对所获得的所有三维模型依次执行刚性配准，非刚性配准，使得所有的三维模型的空间分布相近、拓扑结构一致；1
‑
4、对所有的三维模型使用主成分分析，获得各个三维模型的参数，进而产生低维的参数隐空间；其中，三维模型集由原始CT三维体积、掩膜体积、三维模型和三维模型的参数构成。3.根据权利要求1所述的基于深度神经网络和模型先验的3D心脏形状重建方法，其特征在于，步骤S2的具体步骤为：2
‑
1、在均值模型上手工确定5个关键点用于决定切平面位置，从而获得对应的5个顶点索引，因为由参数获得的三维模型之间顶点是一一对应的，任意三维模型的关键点就能根据顶点索引直接确定；2
‑
2、参数回归网络的训练集的数据为由步骤2
‑
1获得的关键点对三维模型集中的三维模型切片，所获得的三维模型的一组切片掩膜，对应的标签为三维模型的参数；2
‑
3、对三维模型集的参数分布进行分析，并以每个样本的参数为中心进行高斯采样，从而获得与样本不同的参数；从获得的参数生成三维模型，由步骤2
‑
1获得的关键点对三维模型切片，获得三维模型的一组切片掩膜；将切片掩膜和三维模型的参数加入到由步骤2
‑
2获得的参数回归网络的训练集中，从而对参数回归网络的训练集增强。4.根据权利要求3所述的基于深度神经网络和模型先验的3D心脏形状重建方法，其特征在于，所述获得三维模型的一组切片掩膜的方法，其具体步骤为：3
‑
1、对于已知三维模型，将获得的5个关键点分别标记为A、B、C、D、E；3
‑
2、心脏的短轴视图平面序列，由以A、B连线为法线，经过AB连线上具有间隔的点的10
张平面构成，使用这10张平面对三维模型截面生成10张切片掩膜；3
‑
3、心脏的长轴二腔心视图平面，定义为经过A、B、C三点构成的平面，使用该平面对三维模型截面生成1张切片掩膜；3
‑
4、心脏的长轴三腔心视图平面，定义为经过A、B、D三点构成的平面，使用该平面对三...

【专利技术属性】
技术研发人员：王雁刚，袁小涵，刘聪，
申请(专利权)人：东南大学，
类型：发明
国别省市：