【技术实现步骤摘要】
本专利技术涉及医疗器械，尤其涉及一种用于骨科手术配准的2d(二维)/3d(三维)检测分割方法、装置及终端设备。
技术介绍
1、2d/3d图像配准在骨科手术导航中起着关键的作用，其是通过将术前的3d体数据与术中的2d图像数据进行配准，使得可以获得一个实时的手术器械相对患者病灶的三维空间位置关系，从而实现精确、安全的手术操作。在2d/3d图像配准过程中，首先需要将待配准的术前ct数据进行三维标志点检测以及三维骨组织分割以及对术中二维透视x线图像进行二维标志点检测以及二维骨组织分割。针对于图像配准过程中2d/3d标志点检测与骨组织分割，现有技术中通常是作为两个独立的任务执行，即将骨组织分割与标志点检测识别作为两项任务分别单独进行，不仅实现复杂，且会影响检测分割效率，致使配准实时性较低。
2、同时，为实现不同场景下的2d/3d标志点检测与骨组织分割，现有技术中通常是利用深度学习方式通过单独训练每个场景，缺乏对整个手术过程的持续学习，因而忽略了手术过程中细粒度交互细节，仅能实现粗粒度级别上的检测分割。且通常需要依赖强监督和昂贵人工标记，实现成本较高，当需要添加新的增量检测类或者新的训练数据集时，需要重新进行模型训练，因而实际的检测分割效率较低，无法实时完成2d/3d标志点检测以及骨组织分割。
技术实现思路
1、本专利技术要解决的技术问题就在于：针对现有技术存在的技术问题，本专利技术提供一种实现方法简单、成本低、实时性与交互性强、检测分割精度以及效率高的用于骨科手术配准的2d/3d
2、为解决上述技术问题，本专利技术提出的技术方案为：
3、一种用于骨科手术配准的2d/3d检测分割方法，步骤包括：
4、步骤s01.获取待配准骨组织在术前得到的ct(computed tomography，计算机断层成像)数据以及在术中得到的透视x线图像；
5、步骤s02.将所述术前ct数据输入至3d检测网络中进行三维标志点检测以及三维骨组织分割，其中先通过所述3d检测网络中3d图像编码器检测出输入ct数据的3d图像编码特征，并通过边缘感知模块提取边缘信息，然后通过所述3d检测网络中3d掩膜译码器对所述3d图像编码特征进行解码得到初步的三维标志点检测与骨组织分割结果，由异常感知和置信学习模块根据所述初步的骨组织分割结果进行置信图计算，得到中间的分割结果，将所述中间的分割结果以及初步的三维标志点检测结果输入至3d检测网络的3d提示编码器中生成提示信息，将生成的提示信息反馈给3d掩膜译码器和边缘感知模块，经过多次迭代后得到最终的三维标志点检测结果以及分割结果输出；
6、步骤s03.将所述术中透视x线图像输入至构建的transunet网络中以进行二维标志点检测以及二维骨组织分割，所述transunet网络包括编码器以及解码器，且在所述编码器与所述解码器之间设置用于进行二维骨组织分割的分割路径以及用于进行二维标志点检测的标志点热图网络路径，所述transunet网络预先使用由分割损失、标志点检测损失函数综合得到的损失进行训练，所述分割损失为所述分割路径对应的损失函数，所述标志点检测损失为所述标志点热图网络路径对应的损失函数；
7、步骤s04.输出术前ct数据的三维标志点检测与三维骨组织分割结果以及术中透视x线图像的二维标志点检测与二维骨组织分割结果以进行配准。
8、进一步的，步骤s02中，进行三维标志点检测时采用的能量函数为elandmark＝α1·eregion+β1·eedge+γ1∑w2，进行三维骨组织分割时采用的能量函数为：
9、esegmentation＝α2·eregion+β2·eedge+γ2·eoutlier+λ1∑w2
10、其中，eregion表示所述3d检测网络的输出结果，eedge表示所述边缘感知模块的输出结果，eoutlier表示所述异常感知和置信学习模块的输出结果，∑w2是正则化项，α1、β1、γ1以及α2、β2、γ2、λ1分别为预设系数。
11、进一步的，所述3d检测网络依次设置有3d图像编码器、3d掩膜译码器和3d提示编码器以形成持续学习框架，所述持续学习框架按照下式得到预测结果
12、
13、其中，n为相同场景下的数据集数量，m表示体素位置总数，t为包含相同/不同场景的序列数据集总数量，表示数据集dt中体素位置j的预测图，j表示体素位置，xt和yt分别表示数据集dt中的输入图像和对应的骨组织标签，fe、fd分别表示编码器、译码器中的cnn/transformer函数，ct表示输出类别，we、wd分别为编码、译码路径的参数，ht(j)为数据集dt中体素位置j的置信图，为第t个数据集；
14、在所述3d图像编码器、3d提示编码器的末端还设置有双位置transformer模块以分别用于提取学习位置编码以及像素空间位置编码，由所述边缘感知模块将从输入图像数据x3d中提取出的所述学习位置编码特征发送到多头注意力模块，以及从输入图像数据中感兴趣区域的特征中提取出的所述像素空间位置作为关键位置编码特征xspacial添加到感兴趣的目标特征中，最后将输入图像数据x3d、多头注意力模块的输出xattention以及所述关键位置编码特征xspacial通过多层感知机mlp得到边缘感知模块的输出结果eedge，即eedge＝mlp(relu(x3d+xattention+w*xspacial))，其中w为边缘权重，relu表示激活函数。
15、进一步的，所述异常感知和置信学习模块根据3d掩膜译码器输出的ct初步分割结果切片间的关系获取ct骨组织部位图，将所有骨组织真实标签的边界框重叠到所述骨组织部位图上，并计算边界框与骨组织部位图之间的体积重叠比，生成骨组织部位分布图并取均值活得平均骨组织分布图pt，按照式计算出第t个数据集dt中体素位置j的加权图，其中，pt(j)表示数据集dt中体素位置j的平均骨组织分布图，表示体素位置j的不同骨组织异常预测，j表示元素为1的矩阵；通过熵函数计算数据集dt中体素位置j的置信图以合并来自不同译码器的重叠器官预测，得到最终预测结果其中，表示数据集dt中体素位置j的预测图，表示元素的乘法。
16、进一步的，步骤s03中，在transunet网络的解码器末端设置所述分割路径、标志点热图网络路径，所述分割路径通过下式计算分割损失lseg(w)：
17、
18、
19、其中，ldice(i,c,w)为dice损失，lcross-entropy(i,k,w)为交叉熵损失，w为网络权值，i为模型训练batch_size值，c为分割类别数量，k为引导标志点检测的特定分割类别数量，α为权重系数，ytrue为真实的分割类别标签，ypredicted为预测的分割类别标签。
20、进一步的，步骤s03中，所述transunet网络中标志点热图网络路径的标志点检测损失函数llan本文档来自技高网...
【技术保护点】
1.一种用于骨科手术配准的2D/3D检测分割方法，其特征在于，步骤包括：
2.根据权利要求1所述的用于骨科手术配准的2D/3D检测分割方法，其特征在于，步骤S02中，进行三维标志点检测时采用的能量函数为ELandmark＝α1·ERegion+β1·EEdge+γ1∑w2，进行三维骨组织分割时采用的能量函数为：
3.根据权利要求2所述的用于骨科手术配准的2D/3D检测分割方法，其特征在于，所述3D检测网络依次设置有3D图像编码器、3D掩膜译码器和3D提示编码器以形成持续学习框架，所述持续学习框架按照下式得到预测结果
4.根据权利要求2所述的用于骨科手术配准的2D/3D检测分割方法，其特征在于，所述异常感知和置信学习模块根据3D掩膜译码器输出的CT初步分割结果切片间的关系获取CT骨组织部位图，将所有骨组织真实标签的边界框重叠到所述骨组织部位图上，并计算边界框与骨组织部位图之间的体积重叠比，生成骨组织部位分布图并取均值活得平均骨组织分布图Pt，按照式计算出第t个数据集Dt中体素位置j的加权图，其中，Pt(j)表示数据集Dt中体素位置j的平均骨组织分
5.根据权利要求1所述的用于骨科手术配准的2D/3D检测分割方法，其特征在于，步骤S03中，在TransUNet网络的解码器末端设置所述分割路径、标志点热图网络路径，所述分割路径通过下式计算分割损失Lseg(w)：
6.根据权利要求5所述的用于骨科手术配准的2D/3D检测分割方法，其特征在于，步骤S03中，所述TransUNet网络中标志点热图网络路径的标志点检测损失函数Llandmark(w)采用标志点热图损失Lheat(w)和空间位置约束Lposition(w)计算得到：
7.根据权利要求6所述的用于骨科手术配准的2D/3D检测分割方法，其特征在于，所述空间位置约束Lposition(w)的获取步骤包括：根据骨组织空间位置限定预测标志点的定位范围，并根据图像分割结果以及标志点热图结果共同评估标志点位置，其中先通过标志点热图计算出股骨头中心的候选位置，并将候选位置限定于骨组织分割结果中标记为对应股骨的像素，然后将剩余标志点标记为对应骨组织部分；
8.根据权利要求1～5中任意一项所述的用于骨科手术配准的2D/3D检测分割方法，其特征在于，步骤S03中，对TransUNet网络进行训练时，按照下式寻求一个训练过程中的Loverall(w)最小值以使分割损失函数和标志点检测损失函数的权重相等：
9.一种用于骨科手术配准的2D/3D检测分割装置，其特征在于，包括：
10.一种终端设备，包括处理器以及存储器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于执行所述计算机程序以执行如权利要求1～8中任意一项所述方法。
...【技术特征摘要】
1.一种用于骨科手术配准的2d/3d检测分割方法，其特征在于，步骤包括：
2.根据权利要求1所述的用于骨科手术配准的2d/3d检测分割方法，其特征在于，步骤s02中，进行三维标志点检测时采用的能量函数为elandmark＝α1·eregion+β1·eedge+γ1∑w2，进行三维骨组织分割时采用的能量函数为：
3.根据权利要求2所述的用于骨科手术配准的2d/3d检测分割方法，其特征在于，所述3d检测网络依次设置有3d图像编码器、3d掩膜译码器和3d提示编码器以形成持续学习框架，所述持续学习框架按照下式得到预测结果
4.根据权利要求2所述的用于骨科手术配准的2d/3d检测分割方法，其特征在于，所述异常感知和置信学习模块根据3d掩膜译码器输出的ct初步分割结果切片间的关系获取ct骨组织部位图，将所有骨组织真实标签的边界框重叠到所述骨组织部位图上，并计算边界框与骨组织部位图之间的体积重叠比，生成骨组织部位分布图并取均值活得平均骨组织分布图pt，按照式计算出第t个数据集dt中体素位置j的加权图，其中，pt(j)表示数据集dt中体素位置j的平均骨组织分布图，表示体素位置j的不同骨组织异常预测，j表示元素为1的矩阵；通过熵函数计算数据集dt中体素位置j的置信图以合并来自不同译码器的重叠器官预测，得到最终预测结果其中，表示数据集dt中体素位置j的预测图，表示元素的乘法。
5.根据权利要求1所述的用于骨科手术配准的2d/3d检测分割方法，其特征在于，步骤s0...
【专利技术属性】
技术研发人员：韩付昌，袁依格，梁伟，刘星宝，刘浏，刘晓亮，曾阳艳，
申请(专利权)人：湖南工商大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。