一种舌象分析方法、终端设备及存储介质技术

本发明专利技术涉及一种舌象分析方法、终端设备及存储介质，该方法中包括：构建舌象识别模型，通过舌体目标图像训练集对舌象识别模型进行训练，通过训练后的模型判断是否为异常舌象图像；舌象识别模型的网络结构中以Swin Transformer网络作为基础网络架构，舌体目标图像输入Swin Transformer网络后得到的特征图像一方面通过分类网络得到第一预测结果，另一方面通过Grad

【技术实现步骤摘要】
一种舌象分析方法、终端设备及存储介质


[0001]本专利技术涉及舌诊
，尤其涉及一种舌象分析方法、终端设备及存储介质。

技术介绍

[0002]现有的舌诊仪器以辅助医生进行诊断为主，并且其中一种仪器更多需要医生进行操作，进而对结果进行分析，或者只能针对舌苔这一大类进行检测。其不足之处在于：仪器受众范围小，辅助医生进行诊断，普通用户无法使用；单人无法拍摄舌像；仪器系统无法进行联网更新，并且检测精度不高。

技术实现思路

[0003]为了解决上述问题，本专利技术提出了一种舌象分析方法、终端设备及存储介质。
[0004]具体方案如下：
[0005]一种舌象分析方法，包括：
[0006]构建舌象识别模型，通过包含正常和异常舌象的舌体目标图像训练集对舌象识别模型进行训练，通过训练后的舌象识别模型判断舌体目标图像是否为异常舌象图像；
[0007]舌象识别模型的网络结构中以Swin Transformer网络作为基础网络架构，舌体目标图像输入Swin Transformer网络后得到的特征图像一方面通过分类网络得到第一预测结果，另一方面通过Grad
‑
CAM得到特征图像对应的注意力区域，通过注意力区域对特征图像进行裁剪后，将裁剪结果通过分类网络得到第二预测结果，根据第一预测结果和第二预测结果计算得到输入舌体目标图像为异常舌象图像的概率进行输出。
[0008]进一步的，舌体目标图像训练集的获取方法包括以下步骤：
[0009]S1：接收具有舌体区域标注的正常舌象图像和异常舌象图像作为舌象图像训练集；
[0010]S2：构建目标检测模型，通过舌象图像训练集对目标检测网络进行训练，将训练后的模型作为舌体目标检测模型；
[0011]S3：将舌象图像训练集中的正常舌象图像和异常舌象图像输入舌体目标检测模型，并将得到的正常舌体目标图像和异常舌体目标图像组成舌体目标图像训练集。
[0012]进一步的，目标检测模型采用YOLOv4网络架构。
[0013]进一步的，根据第一预测结果和第二预测结果计算得到输入舌体目标图像为异常舌象图像的概率的方法为：取第一预测结果和第二预测结果的平均值作为输入舌体目标图像为异常舌象图像的概率。
[0014]一种舌象分析终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本专利技术实施例上述的方法的步骤。
[0015]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术实施例上述的方法的步骤。
[0016]本专利技术采用如上技术方案，对于舌苔图像细粒度识别水平有明显提升，且更易于布置于移动端效果更好。
附图说明
[0017]图1所示为本专利技术实施例一的流程图。
[0018]图2所示为该实施例中Swin Transformer网络结构示意图。
[0019]图3所示为该实施例中Transformer模块的网络结构示意图。
[0020]图4所示为该实施例中舌象识别模型的网络结构示意图。
[0021]图5所示为该实施例中舌象分析的整体流程示意图。
具体实施方式
[0022]为进一步说明各实施例，本专利技术提供有附图。这些附图为本专利技术揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本专利技术的优点。
[0023]现结合附图和具体实施方式对本专利技术进一步说明。
[0024]实施例一：
[0025]本专利技术实施例提供了一种舌象分析方法，如图1所示，所述方法包括以下步骤：
[0026]S1：接收具有舌体区域标注的正常舌象图像和异常舌象图像作为舌象图像训练集。
[0027]S2：构建目标检测模型，通过舌象图像训练集对目标检测网络进行训练，将训练后的模型作为舌体目标检测模型。
[0028]舌体目标检测网络主要负责对舌象图像进行处理，剪裁出只包含舌体的图像，经过裁剪处理后的图像再输入后续的舌象识别模型，可以大幅提升最终检测精度。
[0029]目标检测是计算机视觉和数字图像处理的一个热门方向，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义和引用价值。在众多目标检测算法中，YOLO在准确率和速度方面表现优异，得到学界的广泛认同。该算法基于一个单独的end
‑
to
‑
end网络，将物体检测作为回归问题求解，完成从原始图像的输入到物体位置的输出。本实施例中采用最新的YOLOv4作为目标检测模型的基础网络，通过对现有开放环境下的舌体图像进行标注，重新训练舌体目标检测模型，获取适应中医舌体图像检测任务的算法模型。因此，本实施例方法可以适用于更为一般的开放式采集环境下舌体图像检测任务，对成像环境和成像设备具有鲁棒性。
[0030]S3：将舌象图像训练集中的正常舌象图像和异常舌象图像输入舌体目标检测模型，并将得到的正常舌体目标图像和异常舌体目标图像组成舌体目标图像训练集。
[0031]S4：构建舌象识别模型，通过舌体目标图像训练集对舌象识别模型进行训练，得到训练后的舌象识别模型。
[0032]舌象识别模型是本实施例的核心模型，主要用于舌象分类。近年来，基于transformer模型的研究越来越多，并取得了良好的效果。然而transformer仍然存在细粒度检测能力差的问题。为了解决这些问题，本实施例在transformer和CNN优点的基础上改进了Swin transformer，并设计了一个ST
‑
Tongue主干，以增强网络的局部感知并提高小规
模目标的检测精度。
[0033]舌象识别模型中采用Swin Transformers网络作为基础神经网络模型(backbone)，然后再使用Grad
‑
Cam算法(注意力可视化)，将transformer里面的注意力可视化，将注意力图首先经过标准化，再经过ReLU函数，可以将响应值(响应值越高，代表图片该区域所含的信息越丰富)低的部分(小于零的部分)归为零，然后把注意力高的区域剪裁出来，两个推理结果做融合，形成基于纯注意力机制的舌象细粒度网络。
[0034]舌象识别模型的网络结构由如下几部分构成：
[0035]a、Swin Transformer网络框架(ST)：ST是Vision Transformers的一个子类别，在当前多个视觉领域均获得最好效果，其通过将图像块合并到更深层来构建分层特征图，并且由于仅在每个局部窗口内发生自注意力处理，因此具有与输入图像大小成正比的线性计算复杂度。因此，其可以用作图片分类和密集识别应用的通用主干。相比之下，早期的transformer生成具有单个低分辨率的特征图，并且由于全局自注意力处理，其计算复杂度与输入图像的大小成正比。...

【技术保护点】

【技术特征摘要】
1.一种舌象分析方法，其特征在于，包括：构建舌象识别模型，通过包含正常和异常舌象的舌体目标图像训练集对舌象识别模型进行训练，通过训练后的舌象识别模型判断舌体目标图像是否为异常舌象图像；舌象识别模型的网络结构中以Swin Transformer网络作为基础网络架构，舌体目标图像输入Swin Transformer网络后得到的特征图像一方面通过分类网络得到第一预测结果，另一方面通过Grad
‑
CAM得到特征图像对应的注意力区域，通过注意力区域对特征图像进行裁剪后，将裁剪结果通过分类网络得到第二预测结果，根据第一预测结果和第二预测结果计算得到输入舌体目标图像为异常舌象图像的概率进行输出。2.根据权利要求1所述的舌象分析方法，其特征在于：舌体目标图像训练集的获取方法包括以下步骤：S1：接收具有舌体区域标注的正常舌象图像和异常舌象图像作为舌象图像训练集；S2：构建目标检测模型，通过舌象图像训练集对目标检测网络进...

【专利技术属性】
技术研发人员：张东晓，杜鑫康，
申请(专利权)人：集美大学，
类型：发明
国别省市：