一种基于深度神经网络的X光片手骨兴趣区域自动提取方法技术

一种基于深度神经网络的X光片手骨兴趣区域自动提取方法，对原始手骨X光片影像，去除影像两边黑色背景嵌入文字的部分；统一对原始手骨X光片影像进行提亮、去噪操作；采样并训练模型M1，得到没有文字的手骨X光片影像Output2；对于Output2归一化尺寸得到Output3；采样并训练模型M2，对Output3中的手骨、背景、手骨背景相交的部分进行判断；基于模型M2对Output3中的影像滑窗判断，依据判断值得到手骨标记映射图Output4；基于Output3和Output4，得到仅有手骨的影像Output5；对Output5进行优化得到最终的手骨兴趣区域。本发明专利技术可以自动获取X光片中的手骨兴趣区域。

A method based on deep neural network for automatic extraction of bone of interest in X light slices

【技术实现步骤摘要】
一种基于深度神经网络的X光片手骨兴趣区域自动提取方法
本专利技术涉及医学图像分析领域及机器学习领域，特别涉及一种应用于人体手骨X光片影像兴趣区域提取的方法，属于基于深度学习的医学影像分析领域。
技术介绍
骨骼年龄，简称骨龄，是由儿童的骨骼钙化程度所决定的。骨龄能较精确地反映人从出生到完全成熟的过程中各年龄阶段的发育水平，不仅如此，在内分泌疾病、发育障碍、营养障碍、遗传性疾病及代谢性疾病的分析与诊断方面，骨龄具有重要的作用。放射科医生通过对比儿童手部的X光片和他们对应年龄的标准状态，来测量儿童的骨龄。这项技术很稳定，已经持续了大约好几十年。随着家长们健康意识的提高，做骨龄检测的儿童数量与日俱增，但医疗机构的现状却并没有发生改变：儿科影像科的执业医生不多，并且读片效率不高。随着GPU加速的深度学习技术，通过人工智能来完成对于骨龄的自动检测已经成为了可能。深度学习需要大量手骨X光图片来进行训练，以达到良好的检测效果。但原始的手骨X光图片中具有不少无用的信息，例如，文字，噪声等；而且原始的手骨X光图片中由于每一个人手的摆放不统一，机器的光照不统一，导致X光图片中手的位置以及亮度并不是固定的，这些因素会导致检测模型的学习效果不佳，从而引起较大的判断误差。所以对于基于深度学习的骨龄预测来说，准确地获取X光片中手骨区域而且将这些手骨区域处理为检测模型可以进行学习的良好样本是至关重要的。但是人为进行手部位的标注，不仅效率底下，而且不同的标注者的标注结果会有差异。
技术实现思路
为了克服现有X光片手骨兴趣区域提取方式的效率低下、误差较大、精度较低的不足，本专利技术提出了一种效率较高、误差较小、精度较高的基于深度神经网络的X光片手骨兴趣区域自动提取方法，不仅可以自动获取X光片中的手骨区域，而且还可以自动去除噪声，调整亮度。为了解决上述技术问题本专利技术所采用的技术方案是：一种基于深度神经网络的X光片手骨兴趣区域自动提取方法，包括以下步骤：步骤一，对原始手骨X光片灰度影像，去除影像两边的黑色背景嵌入文字的部分，从而使得原图像去除掉大部分的文字；步骤二，对原始手骨X光片灰度影像进行提亮操作，该步骤，先对影像进行整体亮度评估，对于亮度不足的影像才进行提亮操作，提亮之后进行去噪操作，得到的影像集称为Output1；步骤三，采样并训练模型M1，该模型用于去除Output1中的X光片中手骨附近以及手骨上的文字，得到没有文字的手骨X光片灰度影像Output2；步骤四，将Output2中所有影像归一化尺寸，为保持高宽大小一致，先进行两侧黑底填充操作，当图片是宽比高的数值大时，采取两侧向内切割的操作；然后再对影像缩小至(512,512)，称新的影像集为Output3；步骤五，采样并训练模型M2，该模型用于对Output3中的手骨，背景，手骨背景(大小为16*16)相交的三部分进行判断；步骤六，有了模型M2，对Output3中的影像滑窗判断，将判断的值加到每个像素点中，接着每个像素点根据自己得到的不同判断类型的值的大小，将手骨部分的像素值设为255，背景部分的像素值设为0，从而得到手骨二值标记图，称之为Output4；步骤七，对照Output4的手骨二值标记图，在Output3的基础上得到仅有手骨区域的影像，但是同时该影像中依然会存在背景杂质，于是在这里需要进行一次最大联通区域的计算，去除杂质，得到Output5；步骤八，由于Output5中存在影像周围光圈被判断为手骨组织的现象，并且它与最大联通区域是相连接的；由于光圈的长远远大于手骨的宽，于是，对Output5中每张影像的底部部分做差异比较，从而去除影像中的光圈，得到最终的手骨兴趣区域。至此，操作流程叙述完毕。进一步，所述步骤一中，去除黑色背景中嵌文入字部分的方法为：先将影像转化为数值数组，最左右两列开始向中间检测，由于纯白文字与纯黑背景的特殊性，如果存在的非纯黑的个数超过整一列的10％，则可以判断这里开始非黑色背景嵌文字部分了，那么之前的部分将被全部切割掉。再进一步，所述步骤二中，整体亮度评估过程为：设一张原影像O的分辨率为M×N，每一个像素点的值为tij，通过公式计算该影像的整体亮度。这里考虑像素值大于120的像素点。对于不同的Aug值，用不同的参数进行提亮。更进一步，所述步骤三中，对于模型M1的训练，样本采集过程为：截取原灰度影像中含字母的100*100的样本，作为正样本；再截取完全不包含字母的同样尺寸样本，作为负样本；构建二维卷积神经网络的过程为：步骤3.1输入图像经过Conv2D卷积层提取局部特征，输入size为100*100*1，接着是relu激活函数层，Maxpooling池化层。步骤3.2提取size不同的三层Conv2D卷积层，其中的激活函数层和池化层结构与3.1一致。步骤3.3经过一个Flatten层来连接上述4层卷积层与接下来的全连接层。步骤3.4上述特征通过第一个全连接层，内部顺序包括Dense层，relu激活层，Dropout层防止过拟合。接下来是第二个全连接层，内部顺序包括Dense，以及sigmoid激活层，得到输出结果。其中，通过SelectiveSearch(选择性搜索)方法在影像中找寻字母并判断，因为字母的特殊性，L字母均能通过该方法找到，并且精确地定位成100*100的尺寸。由于其他字母主要集中于影像右上角，并且右上角文字不会影像手骨区域的判断，于是在找到L并去除之后，对右上角区域根据背景周边值的平均值进行填充。所述步骤五中，模型M2的训练过程为：在通过步骤四去除了文字干扰之后，这一模型用来分辨背景，骨骼，骨骼背景共存区域。采用滑窗对这三类分别采样，定义为0，1，2三类，分别对应背景，骨骼背景共存区域，骨骼，构建二维卷积神经网络模型的过程为：步骤5.1输入图像经过二维卷积层提取局部特征，输入尺寸为16*16*1，接着是relu激活函数层，Maxpooling池化层；步骤5.2提取尺寸不同的一层Conv2D二维卷积层，其中的激活函数层和Maxpooling层结构与5.1一致；步骤5.3经过一个Flatten层来连接上述卷积层与接下来的全连接层；步骤5.4上述特征通过第一个全连接层，内部顺序包括Dense层，relu激活层，Dropout层防止过拟合，接下来是第二个全连接层，内部顺序包括Dense，以及softmax激活层(输出为三类)，得到输出结果。所述步骤六中，滑窗判断的过程如下：步骤6.1对输入图像进行滑窗，16*16，步长为1；步骤6.2对于16*16的patch，用模型M2进行判断，得到的值x对于patch中16*16个像素的x值都加1，可以看到这里每个像素都有个统计不同x值数量的过程，定义val[512][512][3]来统计每个像素不同x值的数量；步骤6.3定义一个输出数组result，对于result中的每一个点，对应val数组中，只比较0类和2类的数量，如果2类数量较多，result对应点就填充为255，即为白色，反之就是0，黑色；由于滑窗加对应到像素的统计，复杂度为O(n×n×m×m)，由于我们只需要单点查询，这里通过树状数组来进行复杂度的降低，统计复杂度降为O(n×n×log2(n)),单点查询复杂度为log2(n)。所述步骤八中，差本文档来自技高网...

【技术保护点】
一种基于深度神经网络的X光片手骨兴趣区域自动提取方法，其特征在于：所述方法包括以下步骤：步骤一，对原始手骨X光片灰度影像，去除影像两边的黑色背景嵌入文字的部分，从而使得原图像去除掉大部分的文字；步骤二，对原始手骨X光片灰度影像进行提亮操作，该步骤，先对影像进行整体亮度评估，对于亮度不足的影像才进行提亮操作，提亮之后进行去噪操作，得到的影像集称为Output1；步骤三，采样并训练模型M1，该模型用于去除Output1中的X光片中手骨附近以及手骨上的文字，得到没有文字的手骨X光片灰度影像Output2；步骤四，将Output2中所有影像归一化尺寸，为保持高宽大小一致，先进行两侧黑底填充操作，当图片是宽比高的数值大时，采取两侧向内切割的操作。然后再对影像缩小至(512,512)，称新的影像集为Output3；步骤五，采样并训练模型M2，该模型用于对Output3中的手骨，背景，手骨背景(大小为16*16)相交的三部分进行判断；步骤六，有了模型M2，对Output3中的影像滑窗判断，将判断的值加到每个像素点中，接着每个像素点根据自己得到的不同判断类型的值的大小，将手骨部分的像素值设为255，背景部分的像素值设为0。从而得到手骨二值标记图，称之为Output4；步骤七，对照Output4的手骨二值标记图，在Output3的基础上得到仅有手骨区域的影像，但是同时该影像中依然会存在背景杂质，于是在这里需要进行一次最大联通区域的计算，去除杂质，得到Output5；步骤八，由于Output5中存在影像周围光圈被判断为手骨组织的现象，并且它与最大联通区域是相连接的，由于光圈的长远远大于手骨的宽，于是对Output5中每张影像的底部部分做差异比较，从而去除影像中的光圈，得到最终的手骨兴趣区域。...

【技术特征摘要】
1.一种基于深度神经网络的X光片手骨兴趣区域自动提取方法，其特征在于：所述方法包括以下步骤：步骤一，对原始手骨X光片灰度影像，去除影像两边的黑色背景嵌入文字的部分，从而使得原图像去除掉大部分的文字；步骤二，对原始手骨X光片灰度影像进行提亮操作，该步骤，先对影像进行整体亮度评估，对于亮度不足的影像才进行提亮操作，提亮之后进行去噪操作，得到的影像集称为Output1；步骤三，采样并训练模型M1，该模型用于去除Output1中的X光片中手骨附近以及手骨上的文字，得到没有文字的手骨X光片灰度影像Output2；步骤四，将Output2中所有影像归一化尺寸，为保持高宽大小一致，先进行两侧黑底填充操作，当图片是宽比高的数值大时，采取两侧向内切割的操作。然后再对影像缩小至(512,512)，称新的影像集为Output3；步骤五，采样并训练模型M2，该模型用于对Output3中的手骨，背景，手骨背景(大小为16*16)相交的三部分进行判断；步骤六，有了模型M2，对Output3中的影像滑窗判断，将判断的值加到每个像素点中，接着每个像素点根据自己得到的不同判断类型的值的大小，将手骨部分的像素值设为255，背景部分的像素值设为0。从而得到手骨二值标记图，称之为Output4；步骤七，对照Output4的手骨二值标记图，在Output3的基础上得到仅有手骨区域的影像，但是同时该影像中依然会存在背景杂质，于是在这里需要进行一次最大联通区域的计算，去除杂质，得到Output5；步骤八，由于Output5中存在影像周围光圈被判断为手骨组织的现象，并且它与最大联通区域是相连接的，由于光圈的长远远大于手骨的宽，于是对Output5中每张影像的底部部分做差异比较，从而去除影像中的光圈，得到最终的手骨兴趣区域。2.如权利要求1所述的一种基于深度神经网络的X光片手骨兴趣区域自动提取方法，其特征在于：所述步骤一中，去除黑色背景中嵌文入字部分的方法为：先将影像转化为数值数组，最左右两列开始向中间检测，由于纯白文字与纯黑背景的特殊性，如果存在的非纯黑的个数超过整一列的10％，则可以判断这里开始非黑色背景嵌文字部分了，那么之前的部分将被全部切割掉。3.如权利要求1或2所述的一种基于深度神经网络的X光片手骨兴趣区域自动提取方法，其特征在于：所述步骤二中，整体亮度评估过程为：设一张原影像O的分辨率为M×N，每一个像素点的值为tij，通过公式计算该影像的整体亮度。这里考虑像素值大于120的像素点。对于不同的Aug值，用不同的参数进行提亮。4.如权利要求1或2所述的一种基于深度神经网络的X光片手骨兴趣区域自动提取方法，其特征在于：所述步骤三中，对于模型M1的训练，样本采集过程为：截取原灰度影像中含字母的100*100的样本，作为正样本；再截取完全不包含字母的同样尺寸样本，作为负样本；构建二维卷积神经网络的过程为：步骤3.1输入图像经过Conv2D卷积层提取局部特征，输入size为100*100*1，接着是relu激活函数层，Maxpooling池化层；步骤3.2提取size不同的三层Conv2D卷积层，其中的激活函数层和池化层结...

【专利技术属性】
技术研发人员：郝鹏翼，陈易京，尤堃，吴福理，黄玉娇，白琮，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33