基于深度学习网络的2D/3D脊椎CT层级配准方法技术

本发明专利技术公开了一种基于深度学习网络的2D/3D脊椎CT层级配准方法，主要分为粗配准和精配准两步；先将3D CT序列产生形变，通过X射线成像计算模型投影生成DRR图像，再随机选取DRR图像训练深度学习网络；然后将术前待配准的3D图像形变后通过X射线成像模型投影生成DRR，再与术中2D参考图像输入深度学习网络，得到粗配准参数；最后基于粗配准参数，通过Adam参数优化算法完成术前待配准的3D图像中多块椎骨的精配准，实现脊椎CT层级配准。

【技术实现步骤摘要】
基于深度学习网络的2D/3D脊椎CT层级配准方法
本专利技术属于图像处理
，更为具体地讲，涉及一种基于深度学习网络的2D/3D脊椎CT层级配准方法。
技术介绍
2D/3D图像配准技术作为影像导航手术中的关键技术，是将来自不同成像设备、成像时间以及成像目标的多幅图像经过一定的空间变换后，处于同一参考系下达到同一解剖结构的图像像素对应匹配的目的，实现精确跟踪与校正手术器械与病人病灶间的相对位置关系完成影像导航手术，手术的关键就在于准确的建立术前待配准3D图像和术中真实2DX射线影像之间的空间位置关系，即把术中2D作为参考图像，用于配准术前3D图像。如今主要采用的医学图像配准技术大致有四类：基于灰度的方法、基于特征的方法和基于深度学习的方法。基于特征的配准算法由于只需要少量的特征信息完成图像配准任务，对图像灰度信息具有较小的依赖性，在获得特征信息的情况下配准过程相对简单、易于操作且耗时少，但是特征信息的提取通常需要人工干预而难以实现自动化导致特征提取较为耗时。基于特征的配准忽略了图像中大量宝贵的其他信息(如图像灰度和梯度信息)，导致配准精度低，稳定性差且配准成功率不高。基于灰度的图像配准算法由于使用远多余特征信息点的像素灰度信息完成配准任务，因而配准误差小、精度高、以及较高的稳定性和鲁棒性，但是配准中更多图像信息的使用意味着更多的处理数据，更久的配准时间。基于深度学习的配准方法使用深度回归网络直接预测2D/3D配准变换参数，但预处理步骤复杂，网络结构冗长，需要大量数据，并且端到端直接预测变换参数不利于保证配准精度。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于深度学习网络的2D/3D脊椎CT层级配准方法，先通过深度学习网络来进行图像的粗配准，再通过参数优化实现多块椎骨的精配准，从而快速、准确实现脊椎CT层级配准。为实现上述专利技术目的，本专利技术一种基于深度学习网络的2D/3D脊椎CT层级配准方法，其特征在于，包括以下步骤：(1)、获取X射线图像作为训练及配准过程的术中2D参考图像，获取医学CT序列作为训练过程的术前3D图像；(2)、构建训练图像集；(2.1)、将术前3D图像输入至刚体变换模型，通过随机变换六维的刚体变换参数T＝(tx,ty,tz,rx,ry,rz)，生成一组三维的图像序列，然后再输入至X射线成像计算模型进行投影，从而生成DRR图像序列；其中，tx表示在X轴上的平移参数，ty表示在Y轴上的平移参数，tz表示在Z轴上的平移参数，rx表示沿X轴的旋转参数，ry表示沿Y轴的旋转参数，rz表示沿Z轴的旋转参数；(2.2)、对DRR图像序列进行两两组合，一张作为参考图像，另一张作为浮动图像，两张图像构成一个训练样本，从而组成训练图像集；(3)、搭建深度学习网络模型并训练；搭建8层CNN模型作为深度学习网络模型，然后将训练图像集中的参考图像与浮动图像依次输入，用于模型训练，当模型收敛时能够准确输出浮动图像对应的形变参数；(4)、利用深度学习网络模型进行粗配准；按照步骤(2.1)所述方法，利用术前待配准3D图像生成一幅DRR图像，并作为浮动图像，再将浮动图像与术中2D参考图像一起输入至训练完成的深度学习网络模型，从而输出术前待配准3D图像的粗配准变换参数；(5)、通过Adam参数优化算法进行单块椎骨的精配准；(5.1)、利用GrowCut区域生长算法对术前待配准3D图像进行椎骨分割，使分割的每幅子图中仅包含一块椎骨，从而得到多幅单块椎骨图；(5.2)、将粗配准变换参数作为每幅单块椎骨图的初始配准参数，然后将单块椎骨经初始配准参数的刚体变换后，再通过X射线成像计算模型进行投影，生成单块椎骨图的DRR图像，作为浮动图像；(5.3)、计算单块椎骨的浮动图像与术中2D参考图像之间的DiceLoss值；其中，|X|表示浮动图像的像素矩阵X中所有元素之和，|Y|表示参考图像的像素矩阵Y中所有元素之和，|X∩Y|表示像素矩阵X与像素矩阵Y对应元素点乘后再求所有元素之和；(5.4)、判断步骤(5.3)中计算得到的DiceLoss值是否小于预设阈值，如果小于，则迭代停止，完成单块椎骨图的精配准；否则，设置Adam参数优化算法的目标函数为DiceLoss，参数向量设置为当前精配准参数，然后重复步骤(5.2)～(5.4)，通过Adam参数优化算法搜寻DiceLoss值最小时的最优精配准参数，从而完成该单块椎骨图的精配准；(5.5)、判断所有单块椎骨图是否都完成了精配准，如果未完成，则重复步骤(5.2)～(5.4)，直到完成所有单块椎骨图的精配准；否则，进入步骤(5.6)；(5.6)、将所有的单块椎骨图根据对应优化后的精配准参数进行空间变换，再按照分割前的位置进行组合，从而实现脊椎CT层级配准。本专利技术的专利技术目的是这样实现的：本专利技术基于深度学习网络的2D/3D脊椎CT层级配准方法，主要分为粗配准和精配准两步；先将3DCT序列产生形变，通过X射线成像计算模型投影生成DRR图像，再随机选取DRR图像训练深度学习网络；然后将术前待配准的3D图像形变后通过X射线成像模型投影生成DRR，再与术中2D参考图像输入深度学习网络，得到粗配准参数；最后基于粗配准参数，通过Adam参数优化算法完成术前待配准的3D图像中多块椎骨的精配准，实现脊椎CT层级配准。同时，本专利技术基于深度学习网络的2D/3D脊椎CT层级配准方法还具有以下有益效果：(1)、本专利技术采用层级配准的方式，既融入了深度学习网络，也搭配了经典的参数优化方式，通过两种配准方法的组合使得配准精度更加优良，且既对脊椎骨进行刚体配准，也考虑到了椎骨之间的形变。(2)、本专利技术采用循环精配准多块椎骨的方式，与传统的将脊椎骨当做一个整块刚体相比，单块的逐步配准精度更高，因为考虑到术中2D图像和术前3D，患者在成像设备下的位姿变化导致椎骨之间产生细微的形变，若将椎骨作为一个刚体，难免配准结果会粗糙，而多块椎骨的精配准解决了此问题。(3)、本专利技术在精配准之前对椎骨进行分割，分割成多块椎骨，是在传统的配准方法中未曾提及的，分割的目的是为了精配准中的多块配准，即把每块3D椎骨分割成单块，提高配准的效率。附图说明图1是本专利技术基于深度学习网络的2D/3D脊椎CT层级配准方法流程图；图2是X射线成像计算模型；图3是深度学习卷积网络结构图。具体实施方式下面结合附图对本专利技术的具体实施方式进行描述，以便本领域的技术人员更好地理解本专利技术。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本专利技术的主要内容时，这些描述在这里将被忽略。实施例为了方便描述，先对具体实施方式中出现的相关专业术语进行说明：GPU(GraphicsProcessingUnit)：图形处理器；DRR(Digitallyreco本文档来自技高网...

【技术保护点】
1.一种基于深度学习网络的2D/3D脊椎CT层级配准方法，其特征在于，包括以下步骤：/n(1)、获取X射线图像作为训练及配准过程的术中2D参考图像，获取医学CT序列作为训练过程的术前3D图像；/n(2)、构建训练图像集；/n(2.1)、将术前3D图像输入至刚体变换模型，通过随机变换六维的刚体变换参数T＝(t

【技术特征摘要】
1.一种基于深度学习网络的2D/3D脊椎CT层级配准方法，其特征在于，包括以下步骤：
(1)、获取X射线图像作为训练及配准过程的术中2D参考图像，获取医学CT序列作为训练过程的术前3D图像；
(2)、构建训练图像集；
(2.1)、将术前3D图像输入至刚体变换模型，通过随机变换六维的刚体变换参数T＝(tx,ty,tz,rx,ry,rz)，生成一组三维的图像序列，然后再输入至X射线成像计算模型进行投影，从而生成DRR图像序列；其中，tx表示在X轴上的平移参数，ty表示在Y轴上的平移参数，tz表示在Z轴上的平移参数，rx表示沿X轴的旋转参数，ry表示沿Y轴的旋转参数，rz表示沿Z轴的旋转参数；
(2.2)、对DRR图像序列进行两两组合，一张作为参考图像，另一张作为浮动图像，两张图像构成一个训练样本，从而组成训练图像集；
(3)、搭建深度学习网络模型并训练；
搭建8层CNN模型作为深度学习网络模型，然后将训练图像集中的参考图像与浮动图像依次输入，用于模型训练，当模型收敛时能够准确输出浮动图像对应的形变参数；
(4)、利用深度学习网络模型进行粗配准；
按照步骤(2.1)所述方法，利用术前待配准3D图像生成一幅DRR图像，并作为浮动图像，再将浮动图像与术中2D参考图像一起输入至训练完成的深度学习网络模型，从而输出术前待配准3D图像的粗配准变换参数；
(5)、通过Adam参数优化算法进行单块椎骨的精配准；
(5.1)、利用用GrowCut区域生长算法对术前待配准3D图像进行椎骨分割，使分割的每幅子图中仅包含一块椎骨，从而得到多幅单块椎骨图；
(5.2)、将粗配准变换参数作为每幅单块椎骨图的初始配准参数，然后将单块椎骨经初始配准参数的刚体变换后，再通过X射线成像计算模型进行投影，生成单块椎骨图的DRR图像，作为浮动图像；
(5.3)、计算单块椎骨的浮动图像与术中2D参考图像之间的DiceLoss值；

【专利技术属性】
技术研发人员：杨波，颜立祥，郑文锋，刘珊，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51