基于分割和分类相融合的糖尿病性视网膜病变检测方法技术

本发明专利技术涉及一种基于分割和分类相融合的糖尿病性视网膜病变检测方法，基于分割和分类相融合的糖尿病性视网膜病变检测方法：首先获取相关IDRiD和DDR的数据集。对数据集进行预处理，将其裁剪为512x512的尺寸，同时进行对比度增强，使得图像的病变信息表现的更加明显。为了降低DR分类的难度和解决图像域差异的问题，我们采用两阶段的分类网络实现DR的五分类。在第一阶段中，使用ST

【技术实现步骤摘要】
基于分割和分类相融合的糖尿病性视网膜病变检测方法

：
[0001]本专利技术涉及糖尿病视网膜领域，尤其涉及一种基于分割和分类相融合的糖尿病性视网膜病变检测方法。

技术介绍
：
[0002]目前，糖尿病视网膜病变诊断检测的研究领域已经有了很多重要发现。国外基于全局图像的糖尿病视网膜分类针对全图的整体特征信息来设计不同的特征提取方法进行分类，不需要针对单一的病灶特征信息进行特定的检测方法，避免复杂的特征提取工作。2014年Antal提出了一种基于整体的糖尿病视网膜病变筛查方法。该方法是基于从几种视网膜图像处理算法的输出中提取的特征，例如图像级别(质量评估，预筛查，AM/FM)，病变特定(微动脉瘤，渗出液)和解剖结构(黄斑，视盘)。然后由一组机器学习分类器做出有关疾病存在的最终判断。2016年Pratt提出了一种基于CNN的方法，用于从数字眼底图像诊断DR并对其严重性进行准确分类。开发了具有CNN特性的体系结构和数据增强功能的网络，该网络可以识别分类任务中涉及的复杂特征，例如视网膜上的微动脉瘤，渗出液和出血，因此可以自动进行诊断，而无需用户输入。2019年Torre等提出了糖尿病性视网膜病深度学习可解释的分类器。一方面，它将视网膜图像分类为具有可分辨特征的不同严重程度。另一方面，该分类器能够通过为隐藏和输入空间中的每个点分配分数来解释分类结果。
[0003]在我国，已经有很多高等院校进行了糖尿病视网膜分类检测的研究，并且取得很多成果。2012年，哈尔滨工业大学的陈向在分类阶段，针对分辨硬性渗出的需求，分析其图像中的特点后对所有待检验区域抽取了44个特征向量，使用支持向量机(SupportVector Machine,SVM)进行分类，进而获得最终的分类器。2017年，人工智能技术得到了社会各界的广泛关注,深度学习日渐成为人工智能领域的主流学习算法。2017年，北京交通大学的丁蓬莉根据视网膜数据集的特殊性提出了一系列图像预处理方式，设计了紧凑的神经网络模型—CompactNet，比较了迭代次数和Kappa，可以得出CompactNet网络的微调方法要优于其他的网络的结论。先对图像数据集进行了数据预处理，使得不同类别的数量得到均衡。然后在DSN中添加了针对分类的监督信号，使得网络训练的准确率提高，训练时间也由15天减少至2.5天。同年，深圳大学的熊彪使用卷积神经网络对视网膜图像进行分类。在进行数据预处理扩增图像后，使用迁移学习对网络结构进行预训练，最后使用视网膜图像对网络进行训练。2018年周磊为了实现DR分类提出的一种多阶段注意力模型，这种注意力机制与CNN相结合提高分类的准确率。此外，使用稠密条件随机场进行图像分割，并使用多目标的分割算法对病灶进行了分割。

技术实现思路
：
[0004]本专利技术为了克服现有方法的不足和缺点，提出一种基于分割和分类相融合的糖尿病性视网膜病变检测方法，特别是针对目前该领域数据存在域差异的问题，该专利技术将病变进行分割，作为分类的主要依据。以解决糖尿病视网膜病变诊断检测数据域差异的问题。
[0005]一种基于分割和分类相融合的糖尿病性视网膜病变检测方法，其特征在于，包括如下步骤：
[0006]步骤1：获取IDRiD和DDR公开的数据集，同时对数据集进行预处理；
[0007]步骤2：使用设计的ST
‑
Net对NPDR和PDR数据进行分类；
[0008]步骤3：基于传统的UNet网络，对其中的Encoder进行改进，并融入Vision Transformer(构成MT
‑
SNet)对NPDR的视网膜病变分割。并将分割的病变再融入到对应的原始视网膜图中；
[0009]步骤4：使用所设计的SRVGG对分割后的NPDR数据进行分类。
[0010]步骤1的实现包括：
[0011]步骤1.1：获取IDRiD和DDR公开的数据，其中IDRiD数据集采集431张视网膜图片，其中含有病变的一共81张，54张作为训练集，27张作为测试集，同时对每张图片进行标注了病变等级；
[0012]步骤1.2：DDR数据集采集了13673张视网膜图片，其中6835张作为训练集，2733张作为验证集，4105张作为测试集，同时对其中的757张图片进行了病变标注；
[0013]步骤1.3：先对数据进行裁剪，将多余的黑色边框裁剪掉。同时利用直方图均衡化实现数据对比度增强；
[0014]步骤1.4：通过重采样的方式实现类平衡。先对数据量大的类缩减样本，再通过旋转、裁剪、反转等方式对数据量小的类扩增。
[0015]步骤2的实现包括：
[0016]步骤2.1：在ResNet
‑
50的基础上添加RGA注意力机制，构成新的ST
‑
Net；
[0017]步骤2.2：使用ST
‑
Net对NPDR和PDR数据进行分类。
[0018]步骤3的实现包括：
[0019]步骤3.1:在UNet基础上，将其Encoder部分替换为VGG16，同时对卷积进行分块，并去掉最后的全连接层；
[0020]步骤3.2:在修改后的UNet中引入Vision Transformer；
[0021]步骤3.2.1:对Encoder得到的图像进行序列化:
[0022]Encoder得到的矩阵格式不符合Vision Transformer的输入格式。按着Vision Transformer的介绍，需要经过一个图像序列化的过程，将输入的图像形状重塑为2Dpatch，patch的表示如公式(1)：
[0023][0024]其中每个patch的大小是P
×
P，是图像patch的数量(即输入序列长度)。
[0025]步骤3.2.2：获取并添加病变的位置信息：
[0026]经过图像序列化之后，使用可训练线性投影将矢量化patches Xp映射到潜在的D维嵌入空间。为了编码Patch的空间信息，我们学习了特定的病变位置信息。这些位置被添加到patch中，以保留位置信息，具体过程如公式(2)。
[0027][0028]其中E是patch的嵌入投影，表示学习到的病变位置。
[0029]步骤3.2.3：带有病灶位置的序列输入到VisionTransformer中进行特征提取，重复十二次：
[0030]VisionTransformer块由L层多头自我注意(MSA)和多层感知机(MLP)块组成(公式(3)(4))。因此，第τ
th
层的输出可写入如下。
[0031]Q
′
ε＝MSA(LN(Qε
‑
1))+Qε
‑
1(3)
[0032]Qε＝MLP(LN(Q
′
ε))+Q
′
ε(4)
[0033]其中LN(～)表示层归一化操作符，Qε表示编码图像表示。
[0034]步骤3.3：利用分割网络将视网膜本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于分割和分类相融合的糖尿病性视网膜病变检测方法，其特征在于：包括如下步骤：步骤1：获取IDRiD和DDR公开的数据集，同时对数据集进行预处理；步骤2：使用设计的ST
‑
Net对NPDR和PDR数据进行分类；步骤3：基于传统的UNet网络，对其中的Encoder进行改进，并融入Vision Transformer(构成MT
‑
SNet)对NPDR的视网膜病变分割。并将分割的病变再融入到对应的原始视网膜图中；步骤4：使用所设计的SRVGG对分割后的NPDR数据进行分类。步骤1包括如下步骤：步骤1.1：获取IDRiD和DDR公开的数据，其中IDRiD数据集采集431张视网膜图片，其中含有病变的一共81张，54张作为训练集，27张作为测试集，同时对每张图片进行标注了病变等级；步骤1.2：DDR数据集采集了13673张视网膜图片，其中6835张作为训练集，2733张作为验证集，4105张作为测试集，同时对其中的757张图片进行了病变标注；步骤1.3：先对数据进行裁剪，将多余的黑色边框裁剪掉。同时利用直方图均衡化实现数据对比度增强；步骤1.4：通过重采样的方式实现类平衡。先对数据量大的类缩减样本，再通过旋转、裁剪、反转等方式对数据量小的类扩增。步骤2包括如下步骤：步骤2.1：在ResNet
‑
50的基础上添加RGA注意力机制，构成新的ST
‑
Net；步骤2.2：使用ST
‑
Net对NPDR和PDR数据进行分类。步骤3包括如下步骤：步骤3.1:在UNet基础上，将其Encoder部分替换为VGG16，同时对卷积进行分块，并去掉最后的全连接层；步骤3.2:在修改后的UNet中引入Vision Transformer；步骤3.2.1:对Encoder得到的图像进行...

【专利技术属性】
技术研发人员：陈宇，徐仕豹，
申请(专利权)人：东北林业大学，
类型：发明
国别省市：