一种多模态三维图像的配准及融合显示方法技术

本申请提供一种多模态三维图像的配准及融合显示方法，涉及数字化医疗技术领域。该方法首先获取待进行手术的患者的多模态三维图像，使用边缘检测方法提取所述多模态三维图像的边缘特征图像；然后对边缘特征图像进行下采样，得到患者多模态三维图像的边缘特征点云；将待配准点云构造为高斯混合模型，计算待优化的点云概率密度函数；使用EM方法优化概率密度函数，得到多模态三维图像间配准参数；最后使用小波变换方法将多模态三维图像进行融合显示。本发明专利技术操作简便，成本低廉，配准结果准确，有较高的实用价值。

【技术实现步骤摘要】
一种多模态三维图像的配准及融合显示方法
本专利技术涉及数字化医疗
，具体涉及一种多模态三维图像的配准及融合显示方法。
技术介绍
在数字化医疗诊断过程中，医生通常需要在手术前利用已采集的多模态三维图像对患者病变部位进行分析，从而制定手术计划。而术前采集的患者多模态三维图像在扫描角度、采集器材等方面存在差异，因而能突出显示的图像特征也不同。多模态三维图像是多种类型的三维图像，比如电子计算机断层扫描(CT)图像及磁共振成像(MRI)图像。为了综合术前采集的各种模态三维图像的优点，需要将不同模态的三维图像配准至同一角度并将每种图像能提供的患者病变部位特征融合至一张图像上显示，便于医生观察并制定手术计划。在多模态图像配准领域，目前有使用迭代最近点方法以计算图像间变换矩阵，通过求解待配准图像间距离函数最优化问题以求得使待配准图像经变形后距离函数最小等方法。其中，使用迭代最近点方法计算图像间变换矩阵的方法对图像初始对齐状况要求较高，在求解过程中容易陷入局部最优解，通常需要在求解前进行粗配准过程，而且其只能用于求解刚性配准问题，在医生采集的患者多模态图像由于拍摄时间不同导致患者姿态不同的情况下会存在较大误差。求解待配准图像间距离函数最优化问题的方法由于需要定义图像间的距离函数，因此其对待配准图像间的相似性要求较高，当其应用于多模态图像配准时，由于不同模态图像间差异较大，因此配准精度较低。在解决非刚性配准问题时，由于求解参数过多，该方法复杂度也较高，导致时间成本过高。
技术实现思路
本专利技术的目的是为克服已有技术的不足之处，提出一种多模态三维图像的配准及融合显示方法。本专利技术克服现有技术中多模态三维图像配准精度低、时间成本高，无法应用于非刚性配准的问题，操作简便，成本低廉，配准结果准确，有较高的实用价值。本专利技术提出一种多模态三维图像的配准及融合显示方法，包括以下步骤：步骤1：获取患者的CT三维图像和MRI三维图像，获取CT三维图像和MRI三维图像的边缘特征图像；步骤2：取所述CT三维图像和所述MRI三维图像中精度较高的图像为基准图像，精度较低的图像为待配准图像；对由所述基准图像和待配准图像生成的边缘特征图像进行下采样，得到基准点云和待配准点云；步骤3：将基准点云构造为高斯混合模型；步骤4：计算获取使待配准点云在高斯混合模型中的概率密度函数取得最大值时的配准参数，获得待配准图像和基准图像间配准参数；以及步骤5：获取待配准图像的配准图像，将基准图像和配准图像通过小波变换方法融合并显示。进一步的，步骤1中获取CT三维图像和MRI三维图像的边缘特征图像的步骤为：步骤11：分别对CT三维图像和MRI三维图像进行高斯滤波；步骤12：在xyz三个方向上分别计算每个体素位置的图像梯度；步骤13：对每个体素进行非极大值抑制，从而获得边缘体素；步骤14：根据每个体素是否属于边缘特征进行二值化生成CT三维图像和MRI三维图像的边缘特征图像。优选的，在体素周围3*3*3体素邻域内进行极大值抑制。进一步的，在步骤13中还包括使用双阈值检测方法获得边缘体素。进一步的，步骤2包括以下步骤：步骤21：按照体素栅格化的方式对CT三维图像和MRI三维图像的边缘特征图像进行下采样；步骤22：在栅格化后的每个体素中使用该体素包含的所有点的重心近似表示该体素内的点，将所有重心构成的集合作为边缘特征点云，从而获得基准点云和待配准点云。进一步的，采样的间距为多模态三维图像的层间距。进一步的，步骤4包括以下步骤：步骤41：统计基准点云和经变换T后待配准点云中每个点的邻域内其他点相对于该点的距离和方向，并使用直方图表示作为该点处的局部特征向量；计算基准点云和经变换T后待配准点云中任意两点的特征向量距离，获取对应点并计算对应点的先验概率；步骤42：计算待配准点云的概率密度函数，包括以下步骤：计算待配准点云中点ym的概率密度函数，计算公式为：其中θ为需要求解的配准参数，γ为待配准点云所有点中为噪声点的频率，Pγ为噪声点对概率密度函数的贡献，σ2为正态分布的方差，πmn为每个单独正态分布对概率密度函数贡献的权重，T为基准点云到待配准点云的变换，p(ym|θ)为每个点ym的概率密度函数；待配准点云的概率密度函数为待配准点云中每个点ym概率密度函数的乘积；步骤43：根据先验知识计算隐变量zm的后验概率，计算公式如下：其中πmn为点ym和点xn间的先验概率，P(ym|θ)为点ym的概率密度函数，P(ym|zm＝n，θ)为点xn附近正态分布对点ym的概率密度函数的贡献，pmn为隐变量zm的后验概率；步骤44：计算概率密度函数似然函数，概率密度函数似然函数的计算公式如下：其中，pmn＝P(zm＝n|ym，θ)为隐变量zm的后验概率，πmn为先验概率，p(ym|θ)为概率密度函数，H(θ)为待优化的概率密度函数似然函数。步骤45：将似然函数对其参数变换T、噪声点频率γ以及正态分布方差σ2分别求偏导并令偏导等于0，求得似然函数最大时的配准参数；步骤46：重复步骤41至步骤45直至步骤44得到的似然函数收敛，此时的变换参数T为待配准图像至基准图像的变换。进一步的，对应点的先验概率的计算公式为：其中，xn为基准点云中一点，ym为待配准点云中一点，I为所有与点xn对应的点构成的集合，N为待配准点云中包含点的数量，τ为常数，πmn为点ym和点xn间对应的先验概率。进一步的，步骤42中，变换矩阵T在第一次迭代时为单位矩阵I，σ在第一次迭代时为基准点云平均点间距的一半，Y在第一次迭代为0.1。进一步的，步骤5包括以下步骤：步骤51：待配准图像通过变换矩阵T配准得到配准图像；步骤52：对配准图像和基准图像分别进行滤波和降频处理，得到配准图像和基准图像的低频部分和高频部分；步骤54：对低频部分采用平均融合，对高频部分采用局部方差加权平均融合，从而得到融合信号；步骤55：对融合信号进行小波变换逆变换，获得融合后的图像，并显示。进一步的，进行滤波为在x，y，z方向分别作三层迭代的小波变换。优选的，高频部分采用局部方差加权平均融合为：首先对两个高频部分用canny算子进行边缘提取得到两个边缘图像，再对边缘图像的每一像素计算局部方差，根据归一化方差计算该像素的权重，然后通过加权平均方法计算两个边缘图像中共同像素的值。本专利技术使用多模态三维图像的边缘特征作为配准依据，该特征在不同模态的图像中相似程度较高，解决了不同模态图像相似程度难以度量的问题。本专利技术使用高斯混合模型概率密度函数优化问题代替原有点云配准问题，使用高斯混合模型表示点云可以模拟非刚性配准中点与点之间对应关系的不确定性，且使用点云局部特征作为先验知识指导最优化问题求解可以充分利用图像特征信息，提高配准精度。本专利技术使用EM方法求解概率密度函数的最优化问题，提高了方法效率。本专利技术使用小波变换融合不同的图像，保证图像信号在分解过程中在没有信息损失和冗余信息的情况下提取出图像的结构信息和细节信息，并将其进行融合，增强了融合效果。附图说明图1是本专利技术实施例的一种多模态三维图像的配准及融合显示方法整体流程图；图2是根据本专利技术一个实施例的CT图像边缘特征提取结果；图3是根据本专利技术一个实施例的MRI图像边缘特征提取结果；图4是根据本专利技术一个实施例的CT和MRI配本文档来自技高网...

【技术保护点】
1.一种多模态三维图像的配准及融合显示方法，其特征在于，包括以下步骤：步骤1：获取患者的CT三维图像和MRI三维图像，获取所述CT三维图像和MRI三维图像的边缘特征图像；步骤2：取所述CT三维图像和所述MRI三维图像中精度较高的图像为基准图像，精度较低的图像为待配准图像；对由所述基准图像和待配准图像生成的边缘特征图像进行下采样，得到基准点云和待配准点云；步骤3：将所述基准点云构造为高斯混合模型；步骤4：计算获取使待配准点云在高斯混合模型中的概率密度函数取得最大值时的配准参数，获得所述待配准图像和基准图像间配准参数；以及步骤5：获取所述待配准图像的配准图像，将所述基准图像和所述配准图像通过小波变换方法融合并显示。

【技术特征摘要】
1.一种多模态三维图像的配准及融合显示方法，其特征在于，包括以下步骤：步骤1：获取患者的CT三维图像和MRI三维图像，获取所述CT三维图像和MRI三维图像的边缘特征图像；步骤2：取所述CT三维图像和所述MRI三维图像中精度较高的图像为基准图像，精度较低的图像为待配准图像；对由所述基准图像和待配准图像生成的边缘特征图像进行下采样，得到基准点云和待配准点云；步骤3：将所述基准点云构造为高斯混合模型；步骤4：计算获取使待配准点云在高斯混合模型中的概率密度函数取得最大值时的配准参数，获得所述待配准图像和基准图像间配准参数；以及步骤5：获取所述待配准图像的配准图像，将所述基准图像和所述配准图像通过小波变换方法融合并显示。2.根据权利要求1所述的方法，其特征在于，所述步骤1中获取边缘特征图像的步骤为：步骤11：分别对所述CT三维图像和所述MRI三维图像进行高斯滤波；步骤12：在xyz三个方向上分别计算每个体素位置的图像梯度；步骤13：对每个体素进行非极大值抑制，从而获得边缘体素；优选在周围3*3*3体素邻域内进行非极大值抑制；步骤14：根据每个体素是否属于所述边缘特征为所述CT三维图像和所述MRI三维图像生成边缘特征图像。3.根据权利要求2所述的方法，其特征在于，在所述步骤13中还包括使用双阈值检测方法获得边缘体素。4.根据权利要求1所述的方法，其特征在于，所述步骤2包括以下步骤：步骤21：按照体素栅格化的方式对所述CT三维图像和MRI三维图像的边缘特征图像进行下采样；步骤22：使用栅格化后的所有体素的重心构成边缘特征点云，从而获得所述基准点云和待配准点云。5.根据权利要求4所述的方法，其特征在于，所述采样的间距为多模态三维图像的层间距。6.根据权利要求1所述的方法，其特征在于，所述步骤4包括以下步骤：步骤41：统计所述基准点云和所述待配准点云经变换T后每个点的邻域内其他点相对于该点的距离和方向，并使用直方图表示作为该点处的局部特征向量；计算所述基准点云和所述待配准点云经变换T后任意两点的特征向量距离，获取对应点并计算对应点的先验概率；步骤42：计算所述待配准点云的概率密度函数，包括以下步骤：计算所述待配准点云中点ym的概率密度函数，计算公式为：其中θ为需要求解的配准参数，γ为所述待配准点云所有点中为噪声点的频率，Pγ为噪声点对概率密度函数的贡献，σ2为正态分布的方差，πmn为每个单独正态分布对概率密度函数贡献的权重，T...

【专利技术属性】
技术研发人员：夏有辰，张龙，马建勋，
申请(专利权)人：北京大学第三医院北京大学第三临床医学院，
类型：发明
国别省市：北京,11