基于图像分割的舌型识别方法技术

本发明专利技术公开了基于图像分割的舌型识别方法，涉及计算机技术领域，包括S1获取舌体图像；S2检测舌体图像中的舌体进行分割获得舌像图像；S3提取舌像图像的特征参数；S4根据特征参数识别区分舌型，通过舌体轮廓识别胀大舌、瘦薄舌和正常舌，通过色泽度特征、纹理特征识别老舌和嫩舌；对舌体图像进行分类和分离裁剪，能准确的从舌体图像自动分割获得舌像图像；提取舌像图像的特征参数，并通过特征参数分析舌型，让经验较浅的医生来说可以精确的确定患者的舌型，以保证后续的精准判断和治疗。MaskR

【技术实现步骤摘要】
基于图像分割的舌型识别方法


[0001]本专利技术涉及计算机
，尤其涉及一种基于图像分割的舌型识别方法。

技术介绍

[0002]舌诊广泛应用于中医的临床分析和应用中已有数千年的历史，是中医望闻问切中的望诊的一部分。中医将舌诊与通过其他诊断方法收集的其他体征和症状相结合，以全面了解患者的健康状况，从而制定策略来调节身体机能的不平衡。传统的舌诊更倾向于对舌象的认识，而不是舌象的异常和疾病，中医认为舌头与人们的健康息息相关。通过检查舌头的颜色、形状和质地来判断患者的健康状况，如瘀斑、点刺、齿痕、舌裂和舌苔厚度等不同的特征能够反映身体的内部状态和器官的健康状况，但是对于舌型的判断都是基于医生的观察以及以往累积的经验，对于经验较为浅的医生来说，判断结果的准确度相对较低，因此也会影响到后续的判断和治疗。

技术实现思路

[0003]本专利技术的目的就在于为了解决上述问题设计了一种基于图像分割的舌型识别方法。
[0004]本专利技术通过以下技术方案来实现上述目的：基于图像分割的舌型识别方法，包括：S1、获取待识别的舌体图像；S2、采用MaskR
‑
CNN深度学习神经网络检测舌体图像中的舌体进行分割获得舌像图像；S3、提取舌像图像的特征参数，特征参数包括舌体轮廓、色泽度特征、纹理特征；S4、根据特征参数识别区分舌型，通过舌体轮廓识别胀大舌、瘦薄舌和正常舌，通过色泽度特征、纹理特征识别老舌和嫩舌。
[0005]本专利技术的有益效果在于：使用MaskR
‑
CNN对舌体图像进行分类和分离裁剪，能实现较高准确性的舌体图像的自动分割获得舌像图像；然后通过提取舌像图像的特征参数，并通过特征参数分析舌型，让经验较浅的医生来说可以精确的确定患者的舌型，以保证后续的精准判断和治疗。MaskR
‑
CNN使用FPN进行特征融合，使模型可以在多个尺度上更好地表征目标，同时还改进了传统的池化操作，使用双线性插值解决了后者的非线性对齐问题。此外，MaskR
‑
CNN训练时生成掩码与分类并行，使训练时间大大缩短。
附图说明
[0006]图1是本专利技术基于图像分割的舌型识别方法中舌体长宽比c1参数的示意图；图2是本专利技术基于图像分割的舌型识别方法中舌体斜率c2参数的示意图；图3是本专利技术基于图像分割的舌型识别方法中舌体轮廓均分为n段段示意图；图4是本专利技术基于图像分割的舌型识别方法中舌体隆起程度的示意图。
具体实施方式
[0007]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。
[0008]因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0009]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0010]在本专利技术的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该专利技术产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。
[0011]此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0012]在本专利技术的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利技术中的具体含义。
[0013]下面结合附图，对本专利技术的具体实施方式进行详细说明。
[0014]基于图像分割的舌型识别方法，包括：S1、获取待识别的舌体图像；S2、采用MaskR
‑
CNN深度学习神经网络检测舌体图像中的舌体进行分割获得舌像图像；基于深度学习的图像分割方法能够模拟人脑的阶层式结构，实现从像素级原始数据到抽象语义特征的转换，以FasterR
‑
CNN为基础提出的MaskR
‑
CNN目标实例分割框架是代表之一。使用MaskR
‑
CNN对舌体图像进行分类和分离裁剪，能实现较高准确性的舌体图像的自动分割。
[0015]首先，将原始图像进行缩放处理，然后将图像输入到主干神经网络模型中，通过特征金字塔（featurepyramidnetworks,FPN)获取舌体图像不同层次的特征。然后，使用不同大小的卷积核来保证提取特征通道的一致性并消除由上采样带来的一些混叠效应。在下一阶段，先根据缩放比例还原舌体图像，使生成的锚点坐标都相对于原图。将主干神经网络生成的特征图进行分类和回归，并根据结果排序选取对应的锚面，利用回归值对锚面进行修正。将得到的每个锚面和与其相距最近的真实锚面进行对比，计算交集并集比（intersectionoverunion,IOU）。如果IOU大于0.5则为正样本，如果小于0.5则为负样本。最
后，通过FPN进行回归调整得到特征图。对应真实的数据样本，计算偏移量和正样本的掩码。通过区域特征聚集方式（regionofinterestalign,ROIAlign)得到特征图，第一次生成7*7尺寸的特征图，第二次通过FPN进行坐标的回归调整和类别判断，生成14*14尺寸的特征图。
[0016]MaskR
‑
CNN使用FPN进行特征融合，使模型可以在多个尺度上更好地表征目标，同时还改进了传统的池化操作，使用双线性插值解决了后者的非线性对齐问题。此外，MaskR
‑
CNN训练时生成掩码与分类并行，使训练时间大大缩短。采用双线性插值方式的ROIAlign代替FasterR
‑
CNN的ROIpooling，减小训练误差，并采用全卷积网络进行上采样，实现了舌形图像的像素级分割。
[0017]S3、提取舌像图像的特征参数，特征参数包括舌体轮廓、色泽度特征、纹理特征；S4、根据特征参数识别区分舌型，通过舌体轮廓识别胀大舌、瘦薄舌和正常舌，通过色泽度特征、纹理特征识别老舌和嫩舌。
[0018]利用Laplace算子提取舌体轮廓，使用的四邻域Laplace算子表示为：g(x,y)=4f本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图像分割的舌型识别方法，其特征在于，包括：S1、获取待识别的舌体图像；S2、采用MaskR
‑
CNN深度学习神经网络检测舌体图像中的舌体进行分割获得舌像图像；S3、提取舌像图像的特征参数，特征参数包括舌体轮廓、色泽度特征、纹理特征；S4、根据特征参数识别区分舌型，通过舌体轮廓识别胀大舌、瘦薄舌和正常舌，通过色泽度特征、纹理特征识别老舌和嫩舌。2.根据权利要求1所述的基于图像分割的舌型识别方法，其特征在于，利用Laplace算子提取舌体轮廓，利用颜色矩算法提取图像的色泽度特征，利用tamura算法提取图像的纹理特征。3.根据权利要求2所述的基于图像分割的舌型识别方法，其特征在于，识别胀大舌、瘦薄舌和正常舌：1)、识别舌体轮廓的长宽比c1和舌体轮廓的斜率c2；2)、通过长宽比c1和斜率c2分析舌体形状评估变量T，表示为；3)、判断舌体形状评估变量T与预设的区间[p, q]的关系，当T位于预设区间[p, q]时，舌体为正常舌；当T小于p时，舌体为瘦薄舌；当T大于q时，舌体为胀大舌。4.根据权利要求2所述的基于图像分割的舌型识别方法，其特征在于，识别老舌和嫩舌；（1）通过舌像图像的RGB图像去计算舌体图像的颜色矩，计算得到三个低阶矩特征向量CM1、CM2和CM3，颜色矩表示为,r=1,2,3，其中，r为1时代表一阶颜色矩CM1，r为2时代表一阶颜色矩CM2，r为3时代表一阶颜色矩CM3，I
j
代表舌像图像的RGB图像的j个像素，E代表舌像图像的RGB图像I的均值；（2）根据舌像图像中的像素的光滑度计算其平均强度，表示为，其中，k=0,1,...,5，I(i,j)表示在坐标(i,j)处的舌像图像像素的强度值；（3）分析每个像素在两个方向相互之间不重叠的强度差，表示为，，其中，E
k,h
(x,y)是垂直方向强度差，E
k,v
(x,y)是水平方向的强度差；在计算每个像素时当k值为最大时可求得E值，并使得像素(x,y)大小设为S
best
=2
k
；（4）计算舌像图像的平均值S
best
分析舌体的纹理特征，表示为，其中m，n分别是舌像图像的长与宽；（5）通过SVM分类器对CM1、CM2、CM3和S
best
进行二分类识别，识别区分老舌和嫩舌。5.根据权利要求3所述的基于图像分割的舌型识别方法，其特征在于，当被区分为胀大舌时，分析舌体齿痕和舌体隆起程度识别胖大舌和肿大舌，具体为：
①
、根据曲线长度将舌体轮廓均分为n段，记为l1、l
2、...、
l
n
；
②
、计算每段曲线的曲率K
i
，表示为；其中...

【专利技术属性】
技术研发人员：张劲，曾帝，何凌，杨刚，
申请(专利权)人：四川博瑞客信息技术有限公司，
类型：发明
国别省市：