一种视网膜病变细粒度分级方法及装置制造方法及图纸

本发明专利技术公开了一种视网膜病变细粒度分级方法及装置，将全局特征输入到注意力提取网络进行注意力特征提取，获取注意力特征图；使用信息量提取函数提取注意力特征图每一个通道的信息量，对所有通道的信息量进行排序，选取信息量前K的通道得到局部通道特征图；对局部通道特征图进行随机丢弃处理，将随机丢弃处理后的局部通道特征图进行二值化处理，并根据二值化处理结果选取待分级的视网膜图像中的局部区域，对所述局部区域采用第二密集连接神经网络提取局部特征，从而采用融合全局特征和局部特征进行分级。本发明专利技术在糖尿病性视网膜病变分级上拥有较好结果。

【技术实现步骤摘要】
一种视网膜病变细粒度分级方法及装置
本专利技术属于计算机视觉领域的医学图像大数据处理与分析
，特别涉及一种基于多通道注意力选择机制的视网膜病变细粒度分级方法及装置。
技术介绍
糖尿病性视网膜病变(DiabeticRetinopathy,DR)是糖尿病最常见的并发症之一，也是人类致盲的主要原因之一。在我国糖尿病患者中，糖尿病性视网膜病变的患病率高达23％，且该视网膜病变在晚期无法治愈，因此早期的诊断就显得尤为重要。然而糖尿病性视网膜病变没有早期的预警信号，人们对其的诊断只能由电子摄像机等设备拍摄眼底图，交由专业的医生进行分析之后才能给出，这极度依赖于医生的专业知识和相关设备的配置，通常会花几天时间来进行诊断。当前大量的潜在患者和少量的经验人员给糖尿病性视网膜病变的检测带来了极大的困难。糖尿病性视网膜病变分级最大的挑战就是眼底病变图的类别精度相比于其他图片类别更加精细，过于微小的病变点使得类间差异非常细微，难以分辨。虽然目前基于神经网络提出了多种特征提取方法，但是仍然存在对微小病变的识别上有所不足的问题。
技术实现思路
本申请的目的是提供一种视网膜病变细粒度分级方法及装置，利用多层神经网络和通道注意力机制构造特征提取网络，提取全局特征以及注意力特征。并且在多通道注意力选择时，使用排序函数以获取高信息量通道层。通过高信息量通道层得到局部特征，将其与全局特征相融合。设计了目标函数，通过优化该目标函数得到分级结果。一种视网膜病变细粒度分级方法，包括：获取待分级的视网膜图像，采用第一密集连接神经网络提取全局特征；将全局特征输入到注意力提取网络进行注意力特征提取，获取注意力特征图；使用信息量提取函数提取注意力特征图每一个通道的信息量，对所有通道的信息量进行排序，选取信息量前K的通道得到局部通道特征图；对局部通道特征图进行随机丢弃处理，将随机丢弃处理后的局部通道特征图进行二值化处理，并根据二值化处理结果选取待分级的视网膜图像中的局部区域；对所述局部区域采用第二密集连接神经网络提取局部特征；将所述全局特征和局部特征进行特征融合，输入全连接层得到分级结果。进一步的，所述信息量提取函数为：T(A)＝Sigmoid(MLP(Maxpool(A))+MLP(Maxpool(A)))其中Sigmoid为激活操作，A为注意力特征图，Maxpool表示全局最大池化操作，Avgpool表示全局平均池化操作，MLP表示多层感知机操作。进一步的，所述视网膜病变细粒度分级方法，还包括：训练视网膜病变细粒度分级网络；所述视网膜病变细粒度分级网络，包括：第一密集连接神经网络，用于提取全局特征；注意力提取网络，用于进行注意力特征提取，获取注意力特征图；多通道注意力选择网络，用于使用信息量提取函数提取注意力特征图每一个通道的信息量，对所有通道的信息量进行排序，选取信息量前K的通道得到局部通道特征图；对局部通道特征图进行随机丢弃处理，将随机丢弃处理后的局部通道特征图进行二值化处理，并根据二值化处理结果选取待分级的视网膜图像中的局部区域；第二密集连接神经网络，用于对所述局部区域采用第二密集连接神经网络提取局部特征；特征融合网络，用于将所述全局特征和局部特征进行特征融合；全连接层，用于对特征融合后的融合特征进行分级，得到分级结果。进一步的，所述视网膜病变细粒度分级网络的目标函数为：其中，α和β是超参数，为局部特征和全局特征各自的分类损失之和，为局部特征和全局特征融合之后的分类损失，为排序损失；其中，loss为交叉熵损失，fc是置信度函数，Fi′为第i个局部特征，classi为Fi′的标签值，F为全局特征，class为F的标签值，f为铰链损失函数，S′j、S′i为局部通道特征图中通道特征对应的信息量，i，j∈K，Ci为第i个局部特征的分类置信度，Cj为第j个局部特征的分类置信度，C0是全局特征的分类置信度。本申请还提出了一种视网膜病变细粒度分级装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现上述视网膜病变细粒度分级方法的步骤。本申请提出的一种视网膜病变细粒度分级方法及装置，是一种精度较高的视网膜病变细粒度分级方法。本申请的有益效果包括：以密集连接神经网络作为基础网络，使用了最大池化和均值池化获取通道特征量、根据通道特征量排序选择获取局部特征。通过排序损失优化多通道注意力选择模型在生成注意力特征图时更加关注信息量大的通道以及对应区域，使得当特征图信息量大的时候，该特征图对于正确分类的置信度也大，以获取更具信息量的局部区域。附图说明图1为本申请视网膜病变细粒度分级方法流程图；图2为本申请实施例视网膜病变细粒度分级网络示意图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。如图1所示，本申请一种视网膜病变细粒度分级方法，包括：获取待分级的视网膜图像，采用第一密集连接神经网络提取全局特征；将全局特征输入到注意力提取网络进行注意力特征提取，获取注意力特征图；使用信息量提取函数提取注意力特征图每一个通道的信息量，对所有通道的信息量进行排序，选取信息量前K的通道得到局部通道特征图；对局部通道特征图进行随机丢弃处理，将随机丢弃处理后的局部通道特征图进行二值化处理，并根据二值化处理结果选取待分级的视网膜图像中的局部区域；对所述局部区域采用第二密集连接神经网络提取局部特征；将所述全局特征和局部特征进行特征融合，输入全连接层得到分级结果。本申请基于训练好的视网膜病变细粒度分级网络对待分级的视网膜图像进行分级。在一个实施例中，如图2所示，所述视网膜病变细粒度分级网络，包括：第一密集连接神经网络，用于提取全局特征；注意力提取网络，用于进行注意力特征提取，获取注意力特征图；多通道注意力选择网络，用于使用信息量提取函数提取注意力特征图每一个通道的信息量，对所有通道的信息量进行排序，选取信息量前K的通道得到局部通道特征图；对局部通道特征图进行随机丢弃处理，将随机丢弃处理后的局部通道特征图进行二值化处理，并根据二值化处理结果选取待分级的视网膜图像中的局部区域；第二密集连接神经网络，用于对所述局部区域采用第二密集连接神经网络提取局部特征；特征融合网络，用于将所述全局特征和局部特征进行特征融合；全连接层，用于对特征融合后的融合特征进行分级，得到分级结果。容易理解的是，采用训练好的视网膜病变细粒度分级网络对待分级的视网膜图像进行分级，与采用训练图像对视网膜病变细粒度分级网络进行训练的过程是一一对应的，以下以采用训练图像对视网膜病变细粒度分级网络进行训练的过程为本文档来自技高网...

【技术保护点】
1.一种视网膜病变细粒度分级方法，其特征在于，所述视网膜病变细粒度分级方法，包括：/n获取待分级的视网膜图像，采用第一密集连接神经网络提取全局特征；/n将全局特征输入到注意力提取网络进行注意力特征提取，获取注意力特征图；/n使用信息量提取函数提取注意力特征图每一个通道的信息量，对所有通道的信息量进行排序，选取信息量前K的通道得到局部通道特征图；/n对局部通道特征图进行随机丢弃处理，将随机丢弃处理后的局部通道特征图进行二值化处理，并根据二值化处理结果选取待分级的视网膜图像中的局部区域；/n对所述局部区域采用第二密集连接神经网络提取局部特征；/n将所述全局特征和局部特征进行特征融合，输入全连接层得到分级结果。/n

【技术特征摘要】
1.一种视网膜病变细粒度分级方法，其特征在于，所述视网膜病变细粒度分级方法，包括：
获取待分级的视网膜图像，采用第一密集连接神经网络提取全局特征；
将全局特征输入到注意力提取网络进行注意力特征提取，获取注意力特征图；
使用信息量提取函数提取注意力特征图每一个通道的信息量，对所有通道的信息量进行排序，选取信息量前K的通道得到局部通道特征图；
对局部通道特征图进行随机丢弃处理，将随机丢弃处理后的局部通道特征图进行二值化处理，并根据二值化处理结果选取待分级的视网膜图像中的局部区域；
对所述局部区域采用第二密集连接神经网络提取局部特征；
将所述全局特征和局部特征进行特征融合，输入全连接层得到分级结果。


2.根据权利要求1所述的视网膜病变细粒度分级方法，其特征在于，所述信息量提取函数为：
T(A)＝Sigmoid(MLP(Maxpool(A))+MLP(Maxpool(A)))
其中Sigmoid为激活操作，A为注意力特征图，Maxpool表示全局最大池化操作，Avgpool表示全局平均池化操作，MLP表示多层感知机操作。


3.根据权利要求1所述的视网膜病变细粒度分级方法，其特征在于，所述视网膜病变细粒度分级方法，还包括：
训练视网膜病变细粒度分级网络；
所述视网膜病变细粒度分级网络，包括：
第一密集连接神经网络，用于提取全局特征；
注意力提取网络，用于进行注意力特征提取，获取注意力特征图；
多通道注意力选择网络，...

【专利技术属性】
技术研发人员：白琮，顾婷菲，郝鹏翼，柳宁，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33