一种基于X线平片的膝关节骨科测量方法及装置制造方法及图纸

本发明专利技术公开了一种基于X线平片的膝关节骨科测量方法及装置，提高了膝关节X线平片骨科测量的效率和精度，实现了全自动的膝关节X线平片的骨科测量。其中发明专利技术内容的主要步骤包括：获取膝关节X线平片图像数据；对X线平片图像数据进行关键点标注，并且对图像和关键点坐标数据进行预处理；利用标注完成的数据训练膝关节关键点检测模型；对膝关节X线平片图像进行膝关节关键点检测；通过检测得到的所述膝关节关键点坐标计算膝关节相关的骨科参数。由于采用了卷神经网络，实现了端到端的膝关节关键点的训练和检测，并且实现了膝关节骨科参数的自动测量，无需人工干预且测量速度快，提高了测量的效率。

An orthopedic measurement method and device of knee joint based on X-ray plain film

【技术实现步骤摘要】
一种基于X线平片的膝关节骨科测量方法及装置
本专利技术涉及医学影像处理领域，特别涉及一种基于X线平片的膝关节骨科测量方法及装置。
技术介绍
骨关节测量是一个值得我们关注的领域。骨关节的影像测量参数是外科医生急迫需要的，反映了许多重要临床特征，包括了关节排列和骨骼发育等诊断、术前评估和预后发展。以Insall-Salvati指数为例，它已被证明是髌骨高度变化的重要指标，尤其是在全膝关节置换术中。然而，在放射科医生的眼中，这项工作被认为乏味而耗时，并且受到相当大的观察者之间和观察者内部的限制。异常的髌骨高度与膝关节病理密切相关。髌骨高位是髌骨不稳、髌骨软化及髌股关节炎的重要危险因素。髌骨低位通常继发于膝关节的自然变异、机械外伤、手术并发或炎症改变，导致膝关节活动范围受限，胫骨结节骨软骨炎和髌股关节炎等。客观且可靠的髌骨高度指标是临床诊断和治疗决策的重要依据。然而，髌骨高度指标的测量冗长而耗时，并且受到观察者之间以及观察者内部差异的限制。随着卷积神经网络在二维图像上应用越来越多，尤其是医学影像，髌骨高位或低位患者影像指标的自动测量是一个很有前景的研究方向。受到人类姿势的自动评估，人脸关键点的自动检测，头颅侧位片的关键点检测，脊柱疾病和畸形的全自动影像分析，以及心脏图像的关键点自动定位的启发，我们尝试创建一个新的关键点检测神经网络来实现髌骨高度的自动影像测量及评估。关键点检测神经网络不受与经验缺乏、注意力分散和疲劳相关的限制，这些限制可导致人类对医学图像的解释存在差异。且对关键点的检测非常高效，这将使其成为一种非常有用的髌骨高度快速评估方法。
技术实现思路
本专利技术实施例提供一种基于X线平片的膝关节骨科测量方法及装置，用以提高膝关节X线平片的测量精度及效率。本专利技术实施例提供一种基于X线平片的膝关节骨科测量方法，包括：获取样本集，所述样本集包括膝关节X线平片图像数据和对应的关键点标注信息；对所述图像和所述关键点坐标数据进行预处理，然后构建训练模型所需的训练集数据和验证集数据；构建级联式全卷积神经网络的关键点检测模型，并根据标注信息和关键点目标的难易程度确定加权的损失函数。利用所述训练集数据训练级联式全卷积神经网络的关键点检测模型，得到膝关节关键点检测模型；利用所述膝关节关键点检测模型对需要测量的膝关节X线平片图像进行关键点检测，得到膝关节关键点坐标；通过检测得到的所述膝关节关键点坐标计算膝关节相关的骨科参数。可选的，所述关键点标注是医生通过关键点标注软件实现，具体方式是，医生通过移动鼠标在需要标注的膝关节关键点部位进行点击，获取关键点坐标，然后输入当前关键点的类别，最终将图像和关键点坐标保存到数据库。所有标注数据都是先经过一位医生标注，然后在再通过另外两名医生进行校对，减少标注错误。可选的，所述数据预处理主要包括X线平片图像处理和关键点坐标处理，包括：需要对所述X线平片图像缩放到指定大小并进行图像像素值归一化；将关键点坐标转换成关键点检测模型训练所需的多通道二维高斯响应图，用于监督神经网络的训练，其中，多通道二维高斯响应图为K张二维图像堆叠而成的三维矩阵，每一张二维图像中都有一个响应热点，响应热点的像素值为二维高斯分布，且每个通道二维高斯响应图的最大值和最大值的位置即为置信度和关键点位置坐标；其中，二维高斯响应图满足公式：其中，公式中u1，u2为高斯分布的均值，即关键点的x轴和y轴坐标，σ1，σ2为x轴和y轴方向上的标准差。其中将关键点坐标转换成多通道二维高斯响应图的步骤如下：首先，新建一个384×256大小的零矩阵；然后令关键点坐标位置的像素值为1；接着使用高斯核大小为5×5，均值为0，方差为0~1之间的二维高斯核对该矩阵进行滤波；最后将矩阵使用最大-最小值归一化方法归一化到0~1之间。一共有10个关键点，则构建10张二维高斯响应图，每张二维高斯响应图为一个关键点坐标生成。将数据集按一定比例分成训练集和验证集。可选的，所述膝关节关键点检测模型由级联式全卷积神经网络构成，级联式全卷积神经网络的关键点检测模型由N个子网络串联组成构成，N大于1，且前一个子网络的特征传给后一个子网络。每个子网络由编码模块和解码模块组成，且编码模块和解码模块通过堆叠连接。如图五所示，下采样为stride为2×2的最大池化，上采样为双线性插值。子网络之间不同尺度层之间还通过跨跃连接。中间监督层和最后的预测层都融合了不同大小的特征图的结果，输出时特征图小于最后输出二维高斯响应图大小则进行上采样。用于监督的二维高斯响应图越往后高斯核大小越小，例如这里的两级全卷积神经网络，第一个子网络的高斯响应图的高斯核为9×9，第二个子网络的高斯响应图的高斯核为5×5。可选的，根据标注信息和关键点目标的难易程度确定加权的损失函数，包括：首先，通过三位医生对相同的200张图像进行关键点标注；然后通过计算三个医生对每个点标注的平均差异确定关键点标注的难易程度，医生的对同一个点的标注差异越大，说明这个点的识别越难；最后对计算出的差异性指标进行最大最小值归一化，然后关键点的损失函数加权。其中平均差异如下计算，对于一张图像的其中一个关键点，首先计算出三个医生标注的点的中心坐标，然后计算三个点到中心坐标的平均距离作为标注差异，然后计算200张图像的标注差异平均值，即为该关键点的平均差异。可选的，所述膝关节关键点检测模型的训练方式是利用反向传播进行训练，其中，网络输入图像为预处理后的图像，输出为多通道二维高斯响应图，通过计算全卷积神经网络输出的多通道二维高斯响应图和真实多通道二维高斯响应图监督标签的误差，对所述全卷积神经网络参数进行优化。可选的，所述利用膝关节关键点检测模型对X线平片图像进行关键点检测，包括：对X线平片图像进行预处理，将图像缩放到指定大小，然后进行像素值归一化；将预处理后的图像输入到所述全卷积网络计算得到多通道二维高斯响应图；对多通道二维高斯响应图进行解析得到关键点坐标和置信度，其中，每个通道的像素最大值所在的坐标即为当前通道预测的关键点的坐标，最大值对应的即为当前像素点是关键点的置信度；最后将关键点坐标映射到原始X线平片图像尺寸大小的坐标系中。可选的，所述训练全卷积神经网络过程中可以对数据进行增强（DataAugmentation)，数据增强可以增加模型的鲁棒性，包括：对图像和多通道二维高斯响应图进行相同角度的旋转，对图像增加高斯噪声，对图像和多通道二维高斯响应图进行相同大小的缩放，对图像和对通道二维高斯响应图进行相同上下或左右的翻转。可选的，计算的膝关节相关的骨科参数，例如：Insall-Salvati指数，Caton-Deschamps指数等。但不仅限于这几种参数，还可以是自己想要测量的其它参数，如骨骼角度、距离、比例等。进一步的，根据图4（右图）进行说明：Insall-Salvati指数，Insall-Salvati指数本文档来自技高网...

【技术保护点】
1.一种基于X线平片的膝关节骨科测量方法及装置，其特征在于，包括以下步骤：/nS1) 获取样本集，所述样本集包括膝关节X线平片图像数据和对应的关键点标注信息；/nS2) 对所述图像和所述关键点坐标数据进行预处理，然后构建训练模型所需的训练集数据和验证集数据；/nS3) 构建级联式全卷积神经网络的关键点检测模型，并根据标注信息和关键点目标的难易程度确定加权的损失函数；/nS4) 利用所述训练集数据训练级联式全卷积神经网络的关键点检测模型，得到膝关节关键点检测模型；/nS5) 利用所述膝关节关键点检测模型对需要测量的膝关节X线平片图像进行关键点检测，得到膝关节关键点坐标；/nS6) 通过检测得到的所述膝关节关键点坐标计算膝关节相关的骨科参数。/n

【技术特征摘要】
1.一种基于X线平片的膝关节骨科测量方法及装置，其特征在于，包括以下步骤：
S1)获取样本集，所述样本集包括膝关节X线平片图像数据和对应的关键点标注信息；
S2)对所述图像和所述关键点坐标数据进行预处理，然后构建训练模型所需的训练集数据和验证集数据；
S3)构建级联式全卷积神经网络的关键点检测模型，并根据标注信息和关键点目标的难易程度确定加权的损失函数；
S4)利用所述训练集数据训练级联式全卷积神经网络的关键点检测模型，得到膝关节关键点检测模型；
S5)利用所述膝关节关键点检测模型对需要测量的膝关节X线平片图像进行关键点检测，得到膝关节关键点坐标；
S6)通过检测得到的所述膝关节关键点坐标计算膝关节相关的骨科参数。


2.如权利要求1所述的方法，其特征在于，所述步骤S1）中，所述关键点标注是医生通过关键点标注软件实现，具体方式是，医生通过移动鼠标在需要标注的膝关节关键点部位进行点击，然后输入当前关键点的类别，最终将图像和关键点坐标保存到数据库；所有标注数据都是先经过一位医生标注，然后在再通过另外两名医生进行校对，减少标注错误。


3.如权利要求1所述的方法，其特征在于，所述步骤S2）中，所述数据预处理主要包括图像处理和关键点坐标处理；
需要对所述X线平片图像缩放到指定大小并进行图像像素值归一化；
将所述关键点坐标转换成所述关键点检测模型训练所需的多通道二维高斯响应图，其中，每个通道包含一种类别的关键点的二维高斯响应图，且每个通道二维高斯响应图的最大值和最大值的位置即为置信度和关键点位置坐标；
其中，二维高斯响应图满足公式：



其中，公式中u1，u2为高斯分布的均值，即关键点的x轴和y轴坐标，σ1，σ2为x轴和y轴方向上的标准差。


4.如权利要求1所述的方法，其特征在于，所述步骤S3）中，所述级联式全卷积神经网络的关键点检测模型由N个子网络串联组成构成，N大于1，且前一个子网络的特征传给后一个子网络；每个子网络由编码模块和解码模块组成，且编码模块和解码模块通过堆叠连接。并且，每个子网络都有中间监督层。


5.如权利要求1所述的方法，其特征在于，所述步骤S3）中，所述膝关节关键点检测模型的训练方式是利用反向传播进行训练，其中，网络输入图像为预处理后的图像，输出为多通道二维高斯响应图，通过计算所述全卷积神经网络输出的多通道二维高斯响应图和权利要求3中的所述标注得到的多通道二维高斯响应图的误差，对所述全卷积神经网络参数进行优化。


6.如权利要求1所述的方法，其特征在于，所述S3）中，所诉根据标注信息和关键点目标的难易程度确定加权的损失函数，包括：
首先，通过三位医生对相同的N张图像进行关键点标注；然后通过计算三个医生对每个点标注的平均差异确定关键点标注的难易程度，医生的对同一个点的标注差异越大，说明这个点的识别越难；最后对计算出的差异性指标进行最大最小值归一化，然后关键点的损失函数加权。


7.如权利要求1所述的方法，其特征在于，所述步骤S4）中，所述利用膝关节关键点检测模型对膝关节X线平片图像进行关键点检测，包括：
对X线平片图像进行权利要求3中的预处理，将图像缩放到指定大小，然后进行像素值归一化；
将预处理后的图像输入所述全卷积网络计算得到多通道二维高斯响应图；
对多通道二维高斯响应图进行解析得到关键点坐标和置信度，其中，每个通道的像素最大值所在的坐标即为当前...

【专利技术属性】
技术研发人员：程国华，姜志强，何林阳，季红丽，
申请(专利权)人：杭州健培科技有限公司，
类型：发明
国别省市：浙江;33