一种基于卷积神经网络的足底图像识别方法技术

一种基于卷积神经网络的足底图像识别方法，首先，通过图像处理技术对足底图像进行处理，将有效抑制噪声平滑图像；获取特征区域尺寸大小，然后对图像进行切割，将提取到的特征区域图像与经过专家评估的足弓形态信息对应，输入卷积神经网络进行训练，获得足底图像分类模型；最后，自动批量完成足底的识别。本发明专利技术通过卷积神经网络设计了一种足底图像自动识别的方法，在保证识别准确度的基础上，为足底的评估节约了时间。该发明专利技术对所有的足底图像有较强的普适性，对足弓的自动识别和临床医生评测足弓形态都有重要意义。足弓形态都有重要意义。足弓形态都有重要意义。

【技术实现步骤摘要】
一种基于卷积神经网络的足底图像识别方法


[0001]本专利技术涉及基于卷积神经网络的足底图像识别方法。

技术介绍

[0002]通过评测足弓形态来判断高弓足、扁平足与正常足弓是目前最常用的医学手段。目前足弓的检测方法主要有形态测量法、足印分析法、影像学检查法。无论使用哪种方法都需要专家花费大量时间去分析，且不同的专家用的方法也许会不同，导致部分治疗结果存在差异。如何通过足底图像，实现自动识别是一个挑战。
[0003]目前，常用的足弓检测方法是足印分析法中的划线法，将画足弓内缘切线为第一线，自第三趾中心至脚跟正中画线为第二线，一、二线相交成角，画该角的等分线为第三线。三线将足印分成内侧、中间、外侧。正常足的足弓内缘在外侧部分，中度扁平足的足弓在内侧，重度患者足弓内缘超出内侧部分，而高弓足的足弓部分出现中空。过程较为复杂，而且肉眼去评估很难准确测量，当出现大批量的评估时，专家很难在短时间内完成。

技术实现思路

[0004]本专利技术要克服上述的不足之处，提供一种基于卷积神经网络的足底图像识别方法。
[0005]本专利技术结合用户的足底图像，使用Python的Opencv模块对足底图像进行预处理，采用卷积神经网络对处理好的足底图像进行识别，从而达到自动评估足底图像的目的。
[0006]本专利技术是通过以下技术方案达到上述目的：一种基于卷积神经网络的足底图像识别方法，包括如下步骤：
[0007](1)获取识别目标的足底图像，通过数据采集系统将用户的足底图像存储在阿里云的OSS中；
[0008](2)获取OSS中的足底图像，请专家对其进行标注，构建初步的足底图像识别模型的数据集；
[0009](3)通过opencv根据物理定位去掉部分噪声；
[0010](4)对图像进行二值化，抑制部分颜色带来的噪声，再通过高斯函数对图像进行降噪处理，平滑图像；
[0011](5)将步骤(4)中得到的足底图像数据集进行分类，将其分成训练集、测试集和验证集；
[0012](6)构建深度学习ResNet残差网络的分类模型，进行半监督训练，保存最优的训练模型。
[0013](7)将步骤(6)中得到的模型集成到计算机足底辅助检测系统中，实现足底图像的自动识别。
[0014]作为优选，所述步骤(1)具体包括：
[0015]通过对RSscan公司生产的Footscan足底压力分布测试系统二次开发来完成足底
图像数据的采集、存储并进行分析。
[0016]作为优选，所述步骤(2)对步骤(1)中的图片所作标注如下：
[0017]经过专家长时间的评估工作，标注后图像数据集分为八类分别为：左脚高弓足(label0)、足弓正常图像(label1)、左脚中度扁平足(label2)、左脚严重扁平足(label3)、右脚高弓足(label4)、右脚足弓正常(label5)、右脚中度扁平足(label6)和右脚严重扁平足(label7)。
[0018]作为优选，所述步骤(3)具体包括：
[0019]1)通过对图像和分类模型进行综合分析，基于python的opencv库对每张图像进行裁剪，去噪。其中左侧区域为“4：547，2：270”、右侧区域为“4：547，275：545”。
[0020]作为优选，步骤(4)具体包括：
[0021]1)在python3.6的环境中，利用Opencv，通过物理定位去除部分噪声。同时，可以通过图像二值化的方法来降低记录压力大小表示的颜色这部分噪声的干扰。
[0022]2)利用高斯函数对图像进行降噪处理，保护图像的细节部分，减少对图像的模糊程度，抑制图像噪声，平滑图像。一个滤波模板的中心位置原点的二维高斯函数如公式(2)所示：
[0023][0024]其中(x,y)为图像像素点的坐标，σ为标准差，在这里也可以说是平滑因子。如果σ较小，那么生成的模板的中心系数较大，而周围的系数较小，这样对图像的平滑效果就不是很明显；反之，σ较大，对图像的平滑效果则比较明显。通过调节参数σ，可以在对图像噪声抑制的同时降低对图像的模糊。
[0025]作为优选，步骤(5)具体包括：
[0026]1)为了确保模型的可靠评估，使用以下分布策略对每个数据集进行采样:对于模型训练，每个数据集的60％被用作训练集，而所有样本的20％被用作训练过程中的验证集(称为“model
‑
val”)，以允许对回调策略进行验证监控。
[0027]2)在该实验中，进行5次交叉验证(数据集的80％，其中60％为训练，20％为验证)。为了训练集成学习池方法，保留了总数据集的10％。对最终训练结果进行详细评估，每个数据集的剩余20％被采样作为测试集。
[0028]作为优选，所述步骤(6)具体包括：
[0029]1)每张图片对原始224x224的图片处理，在经过7x7的大卷积核、BN、ReLU、最大池化之后得到56x56x64的feature map。再构建残差块，将输入a[l]连接到第二个线性变换和第二个ReLU激活层之间，形成一条更便捷的路径(short cut),公式如下所示：
[0030]a
l+2
＝g(z
l+2
+a
l
)
ꢀꢀꢀ
(2)
[0031]将处理好的足底图像作为输入信号，输入ResNet18深度残差网络，通过前向传播从输入层到隐藏层，最后到达输出层，在输出端的得到输出信号，即足底形态的识别结果。对误差进行反向传播，对神经元之间的连接权值进行更新，权值更新公式如下：
[0032][0033]其中ω
ij
为输入层的第i个神经元与隐藏层的第j个神经元间的权值，Ep为误差信号，η为学习率。
[0034]2)通过不断更新权值，训练学习600次，验证模型可靠性，最终得到自动识别足底图像的网络模型，保存网络模型。
[0035]作为优选，所述步骤(7)具体包括：在计算机足底辅助检测系统采集模块将图片保存到数据库后，通过JVM虚拟机开启访问进程，传入参数访问步骤(6)中得到的模型进行计算，并将计算结果进行持久化并显示到前端。
[0036]本专利技术的一种基于卷积神经网络的足底图像识别方法，包括基于 OpenCV的足底图像的处理，训练识别足底图像的卷积神经网络的分类模型，足底图像的自动识别。专家通过划线法来评估足底图像，结合其年龄、身高等信息，判断其足弓形态的方法是目前医学界最普遍的足弓形态识别的方法。无论是临床医生评测其足弓形态，还是通过医学X射线观察各种参数，都是基于足底图像。本专利技术通过卷积神经网络设计了一种足底图像自动识别的方法，在保证识别准确度的基础上，为足底的评估节约了时间。本专利技术对所有的足底图像有较强的普适性，对足弓的自动识别和临床医生评测足弓形态都有重要意义。
[0037]本专利技术具有如下有益效果：
[0038](1)准确的自动识别患者的足底图像；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的足底图像识别方法，其特征在于，包括以下步骤：(1)获取识别目标的足底图像，通过数据采集系统将用户的足底图像存储在阿里云的OSS中；(2)获取OSS中的足底图像，请专家对其进行标注，构建初步的足底图像识别模型的数据集；(3)通过Opencv根据物理定位去掉部分噪声；(4)对图像进行二值化，抑制部分颜色带来的噪声，再通过高斯函数对图像进行降噪处理，平滑图像；(5)将步骤(4)中得到的足底图像数据集进行分类，将其分成训练集、测试集和验证集；(6)构建深度学习ResNet残差网络的分类模型，进行半监督训练，保存最优的训练模型；(7)将步骤(6)中得到的模型集成到计算机足底辅助检测系统中，实现足底图像的自动识别。2.根据权利要求1所述的一种基于卷积神经网络的足底图像识别方法，其特征在于：所述步骤(1)具体如下：通过对RSscan公司生产的Footscan足底压力分布测试系统二次开发来完成足底图像数据的采集、存储并进行分析。3.根据权利要求1所述的一种基于卷积神经网络的足底图像识别方法，其特征在于：所述步骤(2)获取OSS中的足底图像，请专家对其进行标注，构建初步的足底图像识别模型的数据集分类方法如下：经过专家长时间的评估工作，标注后图像数据集分为八类分别为：左脚高弓足(label0)、足弓正常图像(label1)、左脚中度扁平足(label2)、左脚严重扁平足(label3)、右脚高弓足(label4)、右脚足弓正常(label5)、右脚中度扁平足(label6)和右脚严重扁平足(label7)。4.根据权利要求1所述的一种基于卷积神经网络的足底图像识别方法，其特征在于：所述步骤(3)通过Opencv根据物理定位去掉部分噪声，具体如下：通过对图像和分类模型进行综合分析，基于python的opencv库对每张图像进行裁剪，去噪；其中左侧区域为“4：547，2：270”、右侧区域为“4：547，275：545”。5.根据权利要求1所述的一种基于卷积神经网络的足底图像识别方法，其特征在于：所述步骤(4)对图像进行二值化，抑制部分颜色带来的噪声，再通过高斯函数对图像进行降噪处理，平滑图像，具体如下：(4.1)在python3.6的环境中，利用Opencv，通过物理定位去除部分噪声；同时，可以通过图像二值化的方法来降低记录压力大小表示的颜色这部分噪声的干扰；(4.2)利用高斯函数对图像进行降噪处理，保护图像的细节部分，减少对图像的模糊程度，抑制图像噪声，平滑...

【专利技术属性】
技术研发人员：赵小敏，章毅，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：