一种基于深度学习的舌苔自动分割方法技术

本发明专利技术公开了一种基于深度学习的舌苔自动分割方法，包括如下步骤：S1、采集并输入包含舌苔的图像；S2、对包含舌苔的图像，采用Faster R‑CNN深度学习方法实现舌苔检测，自动获得初步的舌苔区域图像；S3、对初步的舌苔区域图像，采用VGG深度学习方法进行校准，获得更准确的舌苔区域图像；S4、根据校准后的舌苔区域图像，自动分割出舌苔图像。本发明专利技术基于大数据的深度学习方法来实现更准确的舌苔分割，解决了现有方法对舌苔分割准确率低的问题。

A method of automatic segmentation of tongue coating based on depth learning

The invention discloses a deep learning based on tongue segmentation method, which comprises the following steps: S1, collect and input contains tongue image; S2, the image contains tongue, using Faster R CNN deep learning method to realize automatic tongue detection, tongue image preliminary; S3, on the tongue area the original image is calibrated by VGG, deep learning method, obtain more accurate tongue image; S4, according to the tongue image region after calibration, automatic segmentation of tongue image. The invention is based on the deep learning method of large data to realize more accurate tongue coating segmentation, and solves the problem of low accuracy rate of the tongue coating segmentation by the existing method.

【技术实现步骤摘要】
一种基于深度学习的舌苔自动分割方法
本专利技术涉及计算机视觉、图像处理和人工智能在中医健康领域的应用，尤其涉及一种基于深度学习的舌苔自动分割方法。
技术介绍
舌苔蕴含着大量的人体体质信息，这就意味着通过观察舌苔能够较客观地判断人体体质类型，但是这需要中医专家丰富的专业经验，对一般的医生及普通人就更加困难，因此采用人工智能技术实现舌苔的自动分析非常重要，但自动化的前提是实现将舌苔从含有舌苔的面部图像中自动分割出来，目前的分割准确率低。舌苔分割是舌体区域的检测以及舌体的分割，是舌象特征提取与分析的重要前提。通常采用常用的图像分割算法实现，包括阈值分割、空间聚类、区域增长、边缘检测、轮廓跟踪等算法。早期研究主要基于图像底层信息，如赵忠旭等人提出了基于数学形态学和HIS模型的舌图像分割算法，刘关松等人提出基于亮度信息和形态特征的舌图像自动分割方法等。近期主要是使用Snake模型以及Snake模型的变形，如覃武星提出基于双层极坐标边缘检测的算法以获取舌体的粗略边缘，再使用Snake模型根据局部细节对舌体粗略边缘进行修正得到准确的舌体边缘，孙晓琳使用改进的Snake模型提取舌体区域。此外，张志顺提出改进的小波变换方法对舌体边缘检测，随后他提出改进的非参数化主动轮廓模型提取舌体。但是目前还没有采用一些效果很好的深度学习方法来实现舌苔检测和分割，因而效果比较差。本专利技术采用深度学习方法特别是FasterR-CNN(RenS,HeK,GirshickR,etal.FasterR-CNN:TowardsReal-TimeObjectDetectionwithRegionProposalNetworks.IEEETransactionsonPatternAnalysisandMachineIntelligence,2015)和VGG(SimonyanK,ZissermanA.VeryDeepConvolutionalNetworksforLarge-ScaleImageRecognition.ComputerScience,2014)方法来实现舌苔的自动检测与分割。
技术实现思路
为了克服现有技术存在的缺点与不足，本专利技术提供一种基于深度学习的舌苔自动分割方法，基于大数据的深度学习方法来实现更准确的舌苔分割，解决了现有方法对舌苔分割准确率低的问题。为解决上述技术问题，本专利技术提供如下技术方案：一种基于深度学习的舌苔自动分割方法，包括如下步骤：S1、采集并输入包含舌苔的图像；S2、对包含舌苔的图像，采用FasterR-CNN深度学习方法实现舌苔检测，自动获得初步的舌苔区域图像；S3、对初步的舌苔区域图像，采用VGG深度学习方法进行校准，获得更准确的舌苔区域图像；S4、根据校准后的舌苔区域图像，自动分割出舌苔图像。进一步地，所述步骤S1中采集包含舌苔的图像，通过智能移动设备或者摄像机或者计算机采集。进一步地，所述步骤S2中FasterR-CNN深度学习方法，其需构建一个FasterR-CNN模型结构，所述FasterR-CNN模型结构包括卷积神经网络、RPN、RoI池化以及CNET。进一步地，所述步骤S3，具体为：S31、调整初步的舌苔区域图像的大小，并进行去均值处理后，传入校准网络，得到偏差类别；S32、通过偏差类别得到对应x偏差、y偏差以及放缩比例s；S33、根据xn偏差、yn偏差以及放缩比例sn，使用逆运算调整舌苔区域，该区域为最终的舌苔检测区域，逆运算公式为：式中，(x,y,w,h)是真实舌苔区域的左上x坐标、左上y坐标、宽和高；其中：sn∈{0.83,0.91,1.0,1.10,1.21}xn∈{-0.17,0,0.17}yn∈{-0.17,0,0.17}。进一步地，所述步骤S4，具体为：对校准后的舌苔区域图像，计算舌苔区域图像四个顶点的坐标，连接四个顶点，分割四个顶点内区域，即为最终的舌苔图像。采用上述技术方案后，本专利技术至少具有如下有益效果：1、本专利技术对舌苔的分割，准确率高；2、本专利技术采用大数据的深度学习方法,对输入图像的质量要求不高,可采用智能手机等拍照，使用范围大。附图说明图1是本专利技术一种基于深度学习的舌苔自动分割方法的步骤流程图；图2是本专利技术一种基于深度学习的舌苔自动分割方法中FasterR-CNN深度学习方法的FasterR-CNN模型结构示意图；图3是本专利技术一种基于深度学习的舌苔自动分割方法中FasterR-CNN深度学习方法的VGG-16模型前13层结构示意图；图4是本专利技术一种基于深度学习的舌苔自动分割方法中FasterR-CNN深度学习方法的RPN结构示意图；图5是本专利技术一种基于深度学习的舌苔自动分割方法中VGG深度学习方法的校准网络结构示意图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。如图1所示，本专利技术提供一种基于深度学习的舌苔自动分割方法，包括五大步骤：步骤(一)通过摄像机等采集舌苔图像，作为输入舌苔图像；步骤(二)采用深度学习方法FasterR-CNN实现舌苔检测，自动获得初步的舌苔区域图像；步骤(三)采用深度学习方法VGG-16实现舌苔区域图像的自动校准，获得更准确的舌苔区域图像；步骤(四)根据校准后的舌苔区域图像，自动分割出舌苔区域图像。下面对每一步骤进行详细描述。步骤(一)、通过摄像机等采集舌苔图像，作为输入舌苔图像：可采用智能手机、平板电脑、摄像机等采集舌苔图像，不需要做任何预处理，直接作为输入图像输入到步骤(二)处理。步骤(二)、舌苔检测：舌苔检测使用深度学习方法FasterR-CNN实现。2.1、FasterR-CNN模型结构：FasterR-CNN模型结构如图2所示，主要由卷积神经网络(CNN)、RPN(RegionProposalNetwork)、RoI(RegionofInterest)池化、CNET四个部分组成。2.1.1、卷积神经网络：卷积神经网络是图像识别领域里最常用的深度神经网络，主要用于图像特征的提取。本实施案例采用其中的一种模型:VGG-16模型的前13层(即去除全连接层部分)，其结构如图3所示，主要涉及卷积、ReLU以及池化(Maxpooling)等操作。2.1.2、RPN：RPN在共享卷积神经网络的基础上实现候选区域的生成，即是实现注意力的学习。其目的是用来替换目标检测中的常用候选区域算法，提升算法速度。RPN的结构由图4所示。RPN是在一个通过卷积神经网络提取的卷积特征映射(convfeaturemap)上用一个滑动窗口(slidingwindow)生成一个长度为256维的全连接特征层(intermediateLayer)，然后在该全连接特征后产生两个全连接层的分支，分别是clslayer(分类层)和reglayer(回归层)。clslayer实现二分类任务，用来判断当前区域是前景还是背景。reglayer是一个回归任务，用来预测当前区域的中心锚点(Anchors)对应候选区域的坐标(x，y)以及宽高(w，h)。在RPN结构里面需要重点理解锚点(Anchors)的概念、损失函数(lossfunction)的计算。锚点(Anchors)，是指位于滑动窗口的中心位置。本文档来自技高网...

【技术保护点】
一种基于深度学习的舌苔自动分割方法，其特征在于，包括如下步骤：S1、采集并输入包含舌苔的图像；S2、对包含舌苔的图像，采用Faster R‑CNN深度学习方法实现舌苔检测，自动获得初步的舌苔区域图像；S3、对初步的舌苔区域图像，采用VGG深度学习方法进行校准，获得更准确的舌苔区域图像；S4、根据校准后的舌苔区域图像，自动分割出舌苔图像。

【技术特征摘要】
1.一种基于深度学习的舌苔自动分割方法，其特征在于，包括如下步骤：S1、采集并输入包含舌苔的图像；S2、对包含舌苔的图像，采用FasterR-CNN深度学习方法实现舌苔检测，自动获得初步的舌苔区域图像；S3、对初步的舌苔区域图像，采用VGG深度学习方法进行校准，获得更准确的舌苔区域图像；S4、根据校准后的舌苔区域图像，自动分割出舌苔图像。2.根据权利要求1所述的一种基于深度学习的舌苔自动分割方法，其特征在于，所述步骤S1中采集包含舌苔的图像，通过智能移动设备或者摄像机或者计算机采集。3.根据权利要求1所述的一种基于深度学习的舌苔自动分割方法，其特征在于，所述步骤S2中FasterR-CNN深度学习方法，其需构建一个FasterR-CNN模型结构，所述FasterR-CNN模型结构包括卷积神经网络、RPN、RoI池化以及CNET。4.根据权利要求1所述的一种基于深度学习的舌苔自...

【专利技术属性】
技术研发人员：文贵华，曾海彬，马佳炯，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44