髋关节图像中骨骼解剖关键点定位方法、电子设备及介质技术

本发明专利技术涉及图像处理领域，公开了一种髋关节图像中骨骼解剖关键点定位方法、电子设备及介质，该方法包括：获取待定位髋关节图像；将待定位髋关节图像输入预先训练的识别模型，以输出待定位髋关节图像的识别结果；通过预先训练得到识别模型包括：创建识别初始模型；获取多张人工标注关键点的髋关节样本图像；将髋关节样本图像输入残差卷积神经网络初始模型，以得到关键点特征图；将关键点特征图经过全局池化后，输入图卷积神经网络初始模型，通过关键点连接图对关键点特征图进行图卷积，得到融合特征图；将融合特征和关键点特征图进行点积操作，预测各个关键点的位置。本发明专利技术能有效地建模髋关节各解剖关键点之间的空间相关性，达到先进的结果。先进的结果。先进的结果。

【技术实现步骤摘要】
髋关节图像中骨骼解剖关键点定位方法、电子设备及介质


[0001]本专利技术涉及图像处理
，具体涉及一种髋关节图像中骨骼解剖关键点定位方法、电子设备及介质。

技术介绍

[0002]髋关节X
‑
ray图像骨骼关键点的定位与识别一直是医疗影像研究的热点之一。精准可靠的定位结果能够辅助骨科临床医生根据患者X片进行疾病诊断、术前测量和手术规划。传统的关键点定位技术大多基于回归森林方法，通过提取局部的哈尔特征并利用决策树来推断当前像素与目标关键点的联系。然而，人体髋关节结构形状变化大，易受病变的影响，传统的方法泛化性能较差。近年来，深度卷积神经网络在医疗影像分析上表现出了强大潜能。利用反向传播，卷积网络能够端到端地从标注数据中学习并提取对目标任务有用的特征。多项工作已经展示了卷积神经网络在髋关节X光正位片骨骼解剖关键点识别任务上的良好性能。
[0003]但是，经典的卷积神经网络依赖于局部的卷积算子，无法高效地建模全局关系，而骨骼的解剖关键点往往在形状和位置上都有很强的相关性。忽略这种医学上的关联性会使得模型只考虑局部的图像特征，导致泛化性和鲁棒性有限。因此，传统的卷积神经网络在识别骨骼解剖关键点的性能上仍有很大的提升空间。

技术实现思路

[0004]针对所述缺陷，本专利技术实施例公开了一种髋关节图像中骨骼解剖关键点定位方法、电子设备及介质，其能够有效地建模解剖关键点之间的位置关系，提高解剖关键点的准确性和鲁棒性。
[0005]本专利技术实施例第一方面公开了一种髋关节图像中骨骼解剖关键点定位方法，包括：
[0006]获取待定位髋关节图像；
[0007]将所述待定位髋关节图像输入预先训练的识别模型，以输出所述待定位髋关节图像的识别结果；
[0008]其中，通过预先训练得到识别模型的方法，包括：
[0009]创建识别初始模型，所述识别初始模型包括级联的残差卷积神经网络初始模型和图卷积神经网络初始模型；
[0010]获取多张人工标注关键点的髋关节样本图像；
[0011]将所述髋关节样本图像输入所述残差卷积神经网络初始模型，以得到关键点特征图；
[0012]将所述关键点特征图经过全局池化后，输入所述图卷积神经网络初始模型，以使预先制定的关键点连接图对所述关键点特征图进行图卷积，得到融合特征图；
[0013]将所述融合特征和所述关键点特征图进行点积操作，得到预测的各个关键点位
置；
[0014]对预测的各个关键点位置利用所述髋关节样本图像中的人工标注关键点进行监督学习，确定损失函数，将所述损失函数回传至所述识别初始模型，以得到最终的识别模型。
[0015]作为一种可选的实施方式，在本专利技术实施例第一方面中，所述获取多张人工标注关键点的髋关节样本图像，包括：
[0016]获取多张髋关节样本图像，并对所述髋关节样本图像进行脱敏处理；
[0017]由一名或多名骨科临床医生对所述脱敏后的髋关节样本图像进行解剖关键点标注，得到带有人工标注关键点的髋关节样本图像；
[0018]当多名骨科临床医生对同一髋关节样本图像进行解剖关键点标注时，所述同一髋关节样本图像的人工标注关键点为所述多名骨科临床医生标注的解剖关键点的均值。
[0019]作为一种可选的实施方式，在本专利技术实施例第一方面中，将所述髋关节样本图像输入所述残差卷积神经网络初始模型，以得到关键点特征图，包括：
[0020]将所述髋关节样本图像输入所述残差卷积神经网络初始模型用于提取关键点特征，在目标关键点个数为n个时，所述残差卷积神经网络初始模型对应输出n个关键点特征图。
[0021]作为一种可选的实施方式，在本专利技术实施例第一方面中，将所述关键点特征图经过全局池化后，输入所述图卷积神经网络初始模型，以使预先制定的关键点连接图对所述关键点特征图进行图卷积，得到融合特征，包括：
[0022]将所述关键点特征图经过全局池化，得到池化后的关键点特征图；
[0023]将所述池化后的关键点特征图输入图卷积神经网络初始模型，图卷积神经网络初始模型将所述池化后的关键点特征图和预先制定的关键点连接图进行图卷积，得到融合特征。
[0024]作为一种可选的实施方式，在本专利技术实施例第一方面中，将所述融合特征和所述关键点特征图进行点积操作，得到预测的各个关键点位置，包括：
[0025]将所述关键点特征图和融合特征进行点积操作，得到加权特征图；
[0026]将所述加权特征图进行卷积操作，得到预测的各个关键点位置。
[0027]作为一种可选的实施方式，在本专利技术实施例第一方面中，将所述待定位髋关节图像输入预先训练的识别模型之前，还包括：
[0028]对所述待定位髋关节图像进行预处理；
[0029]或/和；
[0030]将所述髋关节样本图像输入所述残差卷积神经网络初始模型之前，还包括：
[0031]对所述髋关节样本图像进行预处理。
[0032]作为一种可选的实施方式，在本专利技术实施例第一方面中，所述预处理包括降噪处理、对比度增强处理、边缘处理以及数据增强处理中的一种或多种；
[0033]当所述预处理包括数据增强处理时，所述数据增强处理包括水平翻转、随机平移和旋转、色彩抖动以及随机擦除中的一种或多种；在对髋关节样本图像进行数据增强处理时，髋关节样本图像上的人工标注关键点随之变换。
[0034]作为一种可选的实施方式，在本专利技术实施例第一方面中，将所述待定位髋关节图
像输入预先训练的识别模型，以输出所述待定位髋关节图像的识别结果，包括：
[0035]将所述待定位髋关节图像输入所述识别模型的残差卷积神经网络模型，以得到关键点提取特征图；
[0036]将所述关键点提取特征图经过全局池化后，输入所述图卷积神经网络模型，以使图卷积神经网络模型将所述池化后的关键点提取特征图和预先制定的关键点连接图进行图卷积，得到融合交互特征图；
[0037]将所述融合交互特征图和所述关键点提取特征图进行点积后进行卷积操作，得到所述待定位髋关节图像预测的各个关键点位置。
[0038]本专利技术实施例第二方面公开了一种髋关节图像中骨骼解剖关键点定位装置，包括：
[0039]获取单元，用于获取待定位髋关节图像；
[0040]识别单元，用于将所述待定位髋关节图像输入预先训练的识别模型，以输出所述待定位髋关节图像的识别结果；
[0041]训练单元，所述训练单元包括：
[0042]创建子单元，用于创建识别初始模型，所述识别初始模型包括级联的残差卷积神经网络初始模型和图卷积神经网络初始模型；
[0043]标注子单元，用于获取多张人工标注关键点的髋关节样本图像；
[0044]第一输入子单元，用于将所述髋关节样本图像输入所述残差卷积神经网络初始模型，以得到关键点特征图；
[0045]第二输入子单元，用于将所述关键点特征图经过全局池化后，输入所述图卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种髋关节图像中骨骼解剖关键点定位方法，其特征在于，包括：获取待定位髋关节图像；将所述待定位髋关节图像输入预先训练的识别模型，以输出所述待定位髋关节图像的识别结果；其中，通过预先训练得到识别模型的方法，包括：创建识别初始模型，所述识别初始模型包括级联的残差卷积神经网络初始模型和图卷积神经网络初始模型；获取多张人工标注关键点的髋关节样本图像；将所述髋关节样本图像输入所述残差卷积神经网络初始模型，以得到关键点特征图；将所述关键点特征图经过全局池化后，输入所述图卷积神经网络初始模型，以使预先制定的关键点连接图对所述关键点特征图进行图卷积，得到融合特征图；将所述融合特征和所述关键点特征图进行点积操作，得到预测的各个关键点位置；对预测的各个关键点位置利用所述髋关节样本图像中的人工标注关键点进行监督学习，确定损失函数，将所述损失函数回传至所述识别初始模型，以得到最终的识别模型。2.如权利要求1所述的髋关节图像中骨骼解剖关键点定位方法，其特征在于，所述获取多张人工标注关键点的髋关节样本图像，包括：获取多张髋关节样本图像，并对所述髋关节样本图像进行脱敏处理；由一名或多名骨科临床医生对所述脱敏后的髋关节样本图像进行解剖关键点标注，得到带有人工标注关键点的髋关节样本图像；当多名骨科临床医生对同一髋关节样本图像进行解剖关键点标注时，所述同一髋关节样本图像的人工标注关键点为所述多名骨科临床医生标注的解剖关键点的均值。3.如权利要求1所述的髋关节图像中骨骼解剖关键点定位方法，其特征在于，将所述髋关节样本图像输入所述残差卷积神经网络初始模型，以得到关键点特征图，包括：将所述髋关节样本图像输入所述残差卷积神经网络初始模型用于提取关键点特征，在目标关键点个数为n个时，所述残差卷积神经网络初始模型对应输出n个关键点特征图。4.如权利要求1所述的髋关节图像中骨骼解剖关键点定位方法，其特征在于，将所述关键点特征图经过全局池化后，输入所述图卷积神经网络初始模型，以使预先制定的关键点连接图对所述关键点特征图进行图卷积，得到融合特征，包括：将所述关键点特征图经过全局池化，得到池化后的关键点特征图；将所述池化后的关键点特征图输入图卷积神经网络初始模型，图卷积神经网络初始模型将所述池化后的关键点特征图和预先制定...

【专利技术属性】
技术研发人员：刘慧烨，张云东，吴碧波，徐淮锟，王渭君，何川，
申请(专利权)人：睿焃苏州医疗科技有限公司，
类型：发明
国别省市：