一种基于多尺寸斑块交叉增强的糖尿病视网膜病变诊断分级方案、系统技术方案

本发明专利技术公开了一种使用不同尺寸的图像斑块提取病变特征的图像分类方法、系统，通过不同尺寸斑块产生的病变信息实现特征交叉增强，适用于糖尿病视网膜病变眼底图的诊断领域。其中方法包括：将每个待检测的图像分别划分成小尺寸像素不重叠的斑块和大尺寸像素重叠的图像块。在mini块局部特征提取阶段，利用小尺寸斑块，根据斑块内的病理细节将其聚类为不同的子集。从不同聚类子集中选取对于分类任务最有效的有效类子集，并为有效类子集中的小尺寸斑块分配对应的特征权重，得到mini块特征权重。在plus块全局特征提取阶段，利用大尺寸斑块，将其作为输入传送给预先设置的中间特征提取网络，得到中间特征层进行特征拼接，以获得包含病变区域相关性的plus块全局特征。根据预设的斑块索引，将mini块特征权重与plus块全局特征拼接融合即实现特征交叉增强，得到的最终特征表示输入至预设的分级网络，得到待诊断的糖尿病视网膜病变眼底图像的分类结果。尿病视网膜病变眼底图像的分类结果。尿病视网膜病变眼底图像的分类结果。

【技术实现步骤摘要】
一种基于多尺寸斑块交叉增强的糖尿病视网膜病变诊断分级方案、系统


[0001]本专利技术涉及医学图像处理领域，特别涉及一种基于多尺寸斑块交叉增强的糖尿病视网膜病变诊断分级方案、系统，以实现高效眼底图诊断。

技术介绍

[0002]糖尿病视网膜病变(Diabetic Retinopathy，简称DR)是一种极为常见的糖尿病眼科疾病并发症，影响年龄范围跨度大，是世界卫生组织(WHO)公布的三大致盲重点眼科疾病之一。根据世界卫生组织发布的第一份世界视力报告(2019)，糖尿病视网膜病变对人类视力的危害很大，造成了全球260万人的视力障碍，其中失明患者占比全球2.6％。由于患增殖性糖尿病视网膜病变的患者，在五年内有60％的几率会出现严重的视力衰退，而此类视力威胁的造成的前期症状并不明显，大多数DR患者并没有意识到其危害。因此，预防性筛查和前期干预对于预防这些微血管并发症引起的失明至关重要。
[0003]通过眼底成像图进行DR筛查是一种被成熟应用的DR检测技术，但根据眼科医生的临床经验进行的人工眼底图筛查检测被普遍认为是成本高的、费时的、主观的。计算机辅助医学图像诊断是目前能够实现快速、准确诊断的大规模筛查有效解决方案。
[0004]传统方法主要依赖于人工提取技术提取病理特征，通过设计传统机器学习分类器对DR进行分类诊断。此类传统方法对于大批量的DR数据处理来说具有较高的局限性，目前诊断效率有待提高。基于深度学习的方法有效改善了传统方法的局限性现状，省去了人工提取特征的复杂性操作，通过大量数据进行训练，提高了DR诊断的效率和准确性。近年来，卷积神经网络(CNN)架构被广泛应用于DR的智能检测研究中，一些端到端的方案展现了其出色的性能。然而上述端到端的方案仅仅通过大量图像级标注数据进行学习，利用了CNN的强大学习能力，实现了DR诊断，却忽略了有价值的DR病变信息。
[0005]国际临床糖尿病视网膜病变协议显示，DR的分类通常取决于不同相关病变表现和并发症的数量和大小。简单来说，DR眼底图中不同区域的病理特征是判断DR分级的重要依据。因此，一些研究人员开始利用病变信息提高DR诊断效果。一些基于原始图像和注意力深度卷积神经网络(DCNN)提取的病变特征复合模型被开发来诊断DR眼底图，以DCNN结合注意力网络的方式构建了融合病变信息的DR诊断框架，但端到端的DCNN并不适合学习DR分级的特征。与眼底图尺寸大小相比，有些病变像素可能很小。容易在深度较高的DCNN中被其他信息掩盖。这样的方式使得DR的诊断效果有所下降。
[0006]此外在最近的DR的辅助诊断研究中，利用图像斑块细节提升DR眼底图像特征的细腻度的方案逐渐流行。相关技术如通过提取DR眼底图中的病变斑块对眼底图像块中含有的病变种类进行预测，以此为眼底图不同区域赋予不同的权重，提高病变细节；又包括如协同处理病变斑块和DR分类模块等。这样的方式有效提高了分类特征的可鉴别性。然而却需要大量的斑块级、像素级标注信息作为CNN的学习资源。含有此类标注的数据集的资源消耗巨大，斑块注释更是缺乏。同时，根据实际情况，DR患者眼底图中的病理情况是错综复杂的，图
像块中可能同时出现不同病变，也可能出现病变像素重叠的病理区域。一些现有的技术中忽略了眼底图图像块中病理重叠的情况，无法为分类网络寻找到对于分类任务最有效的图像区域。

技术实现思路

[0007]本专利技术的目的是解决相关技术中现存的技术问题，因此，本专利技术提出了一种基于多尺寸斑块交叉增强的糖尿病视网膜病变诊断分级方案、系统，当面向各种不同、复杂情况的病变斑块的处理时，能选取出对于最后的诊断分级任务做出主要贡献的有效图像块类，并通过基于不同尺寸块的特征交叉增强，促进了网络捕获病理细节和长期上下文信息的能力。使所提出的DR诊断方案更契合于各类病理情况不同的眼底图的诊断，实现了DR的五级分类。此外，所提出的的诊断方案仅需使用带有图像级注释的数据级即可。
[0008]第一方面，本专利技术的实施例提供了一种基于多尺寸斑块交叉增强的糖尿病视网膜病变诊断分级方案、系统，所述方法包括：
[0009]获取待检测的眼底图图像中不同尺寸的图像斑块,分为小尺寸(Mini块)和大尺寸斑块(Plus块)；
[0010]利用小尺寸斑块，识别斑块区域中的病变细节，从获取的所有眼底图图像块中鉴别出对分类任务做出贡献的有效图像块，并基于有效图像块和鉴别网络产生用于交叉增强的小尺寸特征权重，实现Mini块特征提取；
[0011]利用大尺寸斑块提取中间特征层进行特征拼接，以获得包含病变区域相关性的大尺寸块全局特征，实现Plus块特征提取；
[0012]将mini块特征权重与plus块全局特融合实现双方特征的交叉增强，得到最终特征表示；
[0013]将得到的最终特征表示输入至预设的分级网络，得到待诊断的糖尿病视网膜病变眼底图像的分类结果。
[0014]根据本专利技术实施例的糖尿病视网膜病变的诊断方案，至少具有如下有益效果：
[0015]通过将所述待诊断眼底图划分为两批次大小尺寸不同的斑块，所述斑块在本专利技术实例中被称为mini块和plus块，将两批次图像块统一格式、制定成比例的尺寸标准，应用于后续特征提取和交叉增强；通过基于暹罗网络的迭代聚类方案为分级诊断寻找到最具鉴别性病变细节的小尺寸斑块，以此得到的特征权重，避免了待诊断眼底图中有效信息的丢失；通过中间特征提取网络识别大尺寸斑块得到的全局特征层，使得分散在整个图像中的病变特征的区域相关性得到增强；通过特征权重和全局特征的交叉增强，使得分级网络更有效的学习到眼底图的区别性，提高糖尿病视网膜病变诊断的准确性和鲁棒性。
[0016]根据本专利技术的一些实施例，所述Mini块特征提取，包括：
[0017]识别小尺寸斑块病理细节将其迭代聚类为不同的子集；
[0018]计算有效类子集的平均预测分类准确度，选取对于分类任务最有效的有效类子集，得到有效类子集中的有效图像块；
[0019]为有效类子集中的小尺寸斑块分配对应的权重值，构建mini块特征权重。
[0020]根据本专利技术的一些实施例，所述识别小尺寸斑块病理细节将其迭代聚类为不同的子集是通过基于暹罗网络的迭代聚类方案完成的，所述基于暹罗网络的迭代聚类方案包
括：
[0021]从获取的Mini斑块集合中随机选取一个斑块作为参考块，输入给暹罗网络的其中一个分支，集合中其他斑块被依次选取为暹罗网络的第二个输入；
[0022]通过暹罗网络得到被比较斑块的相似度分数。将所述输出的相似度分数进行求平均，得到的相似度平均分被作为第一次迭代分类的阈值。以此阈值将输入斑块集合聚类为两个子集；
[0023]接下来按照第一次迭代的过程递归的对进行斑块聚类，迭代的过程以分层的形式重复，直至输入斑块被聚类输出为n个子集类别。
[0024]根据本专利技术的一些实施例，所述计算有效类子集的平均预测分类准确度，选取对于分类任务最有效的有效类子集，包括：
[0025]将所述聚类子集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于暹罗网络与多尺寸斑块交叉增强的糖尿病视网膜病变诊断分级方案、系统，其特征在于，包括：获取待检测的眼底图图像中不同尺寸的图像斑块,分为小尺寸(Mini块)和大尺寸斑块(Plus块)；利用小尺寸斑块，识别斑块区域中的病变细节，从获取的所有眼底图图像块中鉴别出对分类任务做出贡献的有效图像块，并基于有效图像块和鉴别网络产生用于交叉增强的小尺寸特征权重，实现Mini块特征提取；利用大尺寸斑块提取中间特征层进行特征拼接，以获得包含病变区域相关性的大尺寸块全局特征，实现Plus块特征提取；将mini块特征权重与plus块全局特融合实现双方特征的交叉增强，得到最终特征表示；将得到的最终特征表示输入至预设的分级网络，得到待诊断的糖尿病视网膜病变眼底图像的分类结果。2.根据权利要求1所述的一种基于暹罗网络与多尺寸斑块交叉增强的糖尿病视网膜病变诊断分级方案、系统，其特征在于，所述获取待检测的图像中不同尺寸的图像斑块包括：将每个待检测的图像分别划分成小尺寸像素不重叠的Mini斑块和大尺寸像素重叠的Plus图像块，其中，像素不重叠的Mini斑块应用于收集输入图像的微小细节，像素重叠的Plus图像应用收集全局病变信息相关性。3.根据权利要求1所述的一种基于暹罗网络与多尺寸斑块交叉增强的糖尿病视网膜病变诊断分级方案、系统，其特征在于，所述Mini块特征提取，包括：识别小尺寸斑块病理细节将其迭代聚类为不同的子集；计算有效类子集的平均预测分类准确度；选取对于分类任务最有效的有效类子集，得到有效类子集中的有效图像块；为有效类子集中的小尺寸斑块分配对应的权重值，构建mini块特征权重。4.根据权利要求3所述的一种基于暹罗网络与多尺寸斑块交叉增强的糖尿病视网膜病变诊断分级方案、系统，其特征在于，所述识别小尺寸斑块病理细节将其迭代聚类为不同的子集是通过基于暹罗网络的迭代聚类方案完成的，所述基于暹罗网络的迭代聚类方案包括：从获取的Mini斑块集合中随机选取一个斑块作为参考块，输入给暹罗网络的其中一个分支，集合中其他斑块被依次选取为暹罗网络的第二个输入；通过暹罗网络得到被比较斑块的相似度分数，将输出的相似度分数进行求平均，得到的相似度平均分被作为第一次迭代分类的阈值，以此阈值将输入斑块集合聚类为两个子集；接下来按照第一次迭代的过程递归的对进行斑块聚类，迭代的过程以分层的形式重复，直至输入斑块被聚类输出为n个子集类别。5.根据权利要求3所述的一种基于暹罗网络与多...

【专利技术属性】
技术研发人员：夏卓群，胡航宇，江其盛，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：