【技术实现步骤摘要】
本专利技术涉及图像分类，尤其涉及基于蒸馏元学习的罕见眼底病oct图像分类方法及系统。
技术介绍
1、视网膜是人眼的重要组成部分，视网膜的健康对于人类的视觉系统至关重要。任何视网膜的损伤、疾病或异常都可能导致眼部问题或视力障碍。光学相干断层扫描（optical coherence tomography，oct）技术在眼科领域被广泛应用于视网膜疾病的诊断。视网膜oct图像的自动分类能够有效帮助医生对患者进行筛查、诊断和随访。目前卷积神经网络已广泛应用于医学图像领域，为一些常见疾病的自动筛查提供了帮助。但是对于病例量较少的罕见疾病，传统的深度学习方法无法获得很好的效果。
2、小样本学习（few shot learning，fsl）在图像分类、目标检测和语义分割等众多领域引起了广泛关注。其中一个很重要的原因是深度学习的训练依赖于大量的标注数据。在某些实际应用中，例如罕见疾病、动物、植物等领域，获取足够数量的样本是非常困难的。小样本学习的目标是在仅使用少量标记样本的情况下识别新类别。事实上，小样本学习的出现是受到了人类学习机制的启发。人类在面对新任务或新类别时，通常能够从有限的样本中快速学习和推广知识。这种能力激发了研究人员开展小样本学习的研究，以使机器学习方法能够模拟人类的学习方式。
3、元学习方法是处理小样本学习问题的一个重要思路，其核心思想是让模型从过去的知识和经验中学习分析和解决问题的能力，从而指导新任务的学习过程。通过这种方式，模型可以在面对新任务时仅使用少量的样本数据就能够快速适应和解决问题。模型无关元
技术实现思路
1、鉴于上述现有技术中存在的问题，提出了本专利技术。
2、由于传统深度学习无法对罕见视网膜疾病进行有效的分类。本专利技术提出了基于蒸馏元学习的罕见眼底病oct图像分类方法，目的在于在常见病数据训练基础上，仅使用少量的罕见病视网膜oct图片就能训练出一个复杂度低、泛化性强，分类性能较优的模型用于罕见视网膜疾病oct图像的分类。本专利技术提出两阶段蒸馏元学习方法，通过知识蒸馏技术，训练复杂度较低的网络模型。鼓励学生网络关注关键区域的信息，从而更好的引导模型进行分类。另外，为了提升方法在不同任务下的适应能力，在训练过程中自动优化参数，使方法能够根据不同的任务需求自动调整参数，进而优化其性能表现。本专利技术可有效提升罕见眼底病oct图像分类的性能，与其他已有小样本学习方法相比表现出了优越性。
3、为解决上述技术问题，本专利技术提供如下技术方案，基于蒸馏元学习的罕见眼底病oct图像分类方法，包括：基于卷积层、残差连接、全连接层搭建两个视网膜oct图像分类网络；
4、基于常见眼底病训练集，随机构造常见病小样本训练任务，对教师网络进行元训练，得到适用于不同常见病组合的小样本分类教师网络模型；
5、基于常见眼底病训练集，随机构造常见病小样本训练任务，基于蒸馏元学习训练策略，结合注意引导蒸馏以及温度系数自适应模块，对教师网络和学生网络进行联合训练，得到适用于不同常见病组合的小样本分类学生网络模型；
6、构建罕见眼底病训练集，基于训练样本，对学生网络模型进行微调，得到适用于罕见病的小样本分类网络模型；
7、将oct图像输入到适用于罕见病的小样本分类网络模型中，得到病变类型的分类结果。
8、作为本专利技术所述的基于蒸馏元学习的罕见眼底病oct图像分类方法的一种优选方案，其中：所述两个视网膜oct图像分类网络分别为教师网络和学生网络，两个网络都以oct图像为输入，图像病变类别标签为输出。
9、作为本专利技术所述的基于蒸馏元学习的罕见眼底病oct图像分类方法的一种优选方案，其中：所述随机构造常见病小样本训练任务包括，构建包含大于等于6个类别的常见眼底病训练集，随机抽样，构造常见眼底病小样本训练任务集={}，其中，第i个任务为，每个任务包含常见病数据集中的个类别，每个类别中，取个样本为支持集数据，m个样本为查询集数据。
10、作为本专利技术所述的基于蒸馏元学习的罕见眼底病oct图像分类方法的一种优选方案，其中：所述元训练包括，基于常见眼底病小样本训练任务集，使用模型无关元学习方法对教师网络进行元训练；
11、所述模型无关元学习方法包括内循环和外循环，内循环用于训练适用于特定类别组合的小样本分类网络模型，外循环用于训练适用于不同病变组合的小样本分类网络模型，得到一组适应不同病变组合的新任务的教师网络模型参数。
12、作为本专利技术所述的基于蒸馏元学习的罕见眼底病oct图像分类方法的一种优选方案，其中：所述蒸馏元学习训练策略表示为，
13、设学生模型参数为学生模型的临时副本，初始化为与相等，对在一个批次任务的支持集上进行更新：
14、，
15、其中，为当前教师模型参数，表示对求梯度，为学生网络学习速率；
16、损失函数由三个部分组成：
17、，
18、其中，为教师网络输出的软标签与学生网络输出的软标签之间的kl散度，为学生网络输出的硬标签和真实标签之间的交叉熵损失，为注意引导蒸馏损失；
19、设教师模型最后的输出向量为，为类别数，设的第项为，的第项为，经含蒸馏温度系数的softmax函数处理后得到输出标签，表示为：
20、，
21、设学生模型最后的输出向量为，设的第k项为，的第j项为，经含温度参数的softmax函数处理后得到输出标签，
22、，
23、软标签kl散度损失计算为：
24、，
25、计算学生网络输出的硬标签：
26、，
27、硬标签交叉熵损失计算为：
28、，
29、其中，为样本真实标签中第类的值；
30、设为主干网络提取的特征，其中分别表示通道数、高度和宽度，使用通道注意力和空间注意力机制分别对教师网络和学生网络提取的特征生成教师通道特征图()、学生通道特征图()和教师空间特征图、学生空间特征图，将得到的教师和学生模型的注意力图进行求和，并通过softmax函数得到注意力引导蒸馏中使用的空间注意力掩码和通道注意力掩码，公式表示为：
31、，
32、，
33、计算注意引导蒸馏损失，包括注意转移损失和特征蒸馏损失，利用鼓励学生模型模仿教师模型的空间和通道注意力，公式表示为：
34、，
35、其中，为两个特征之间的欧氏距离；
36、利用鼓励学生模型模仿教师模型的特征，并通过调整特征图中不同像素和通道本文档来自技高网...
【技术保护点】
1.基于蒸馏元学习的罕见眼底病OCT图像分类方法，其特征在于：包括，
2.如权利要求1所述的基于蒸馏元学习的罕见眼底病OCT图像分类方法，其特征在于：所述两个视网膜OCT图像分类网络分别为教师网络和学生网络，两个网络都以OCT图像为输入，图像病变类别标签为输出。
3.如权利要求2所述的基于蒸馏元学习的罕见眼底病OCT图像分类方法，其特征在于：所述随机构造常见病小样本训练任务包括，构造常见眼底病小样本训练任务集={}，其中，第个任务为，每个任务包含常见病数据集中的个类别，每个类别中，取个样本为支持集数据，个样本为查询集数据。
4.如权利要求3所述的基于蒸馏元学习的罕见眼底病OCT图像分类方法，其特征在于：所述元训练包括，基于常见眼底病小样本训练任务集，使用模型无关元学习方法对教师网络进行元训练；
5.如权利要求4所述的基于蒸馏元学习的罕见眼底病OCT图像分类方法，其特征在于：所述蒸馏元学习训练策略表示为，
6.如权利要求5所述的基于蒸馏元学习的罕见眼底病OCT图像分类方法，其特征在于：所述蒸馏元学习训练策略还表示为，>
7.如权利要求6所述的基于蒸馏元学习的罕见眼底病OCT图像分类方法，其特征在于：所述对学生网络模型进行微调包括，构建罕见眼底病训练集，类别数为，每类罕见病使用个样本，及的取值与元训练中相同，基于样本训练，进行新任务的适应，使用学生网络最终输出的模型参数作为初始值，在罕见眼底病的小样本训练集上进行梯度下降优化，获得适用于罕见病的小样本分类网络模型。
8.一种基于权利要求1-7任一所述的基于蒸馏元学习的罕见眼底病OCT图像分类方法的系统，其特征在于：包括，网络搭建模块、元训练模块、联合训练模块、调整模块、图像分类输出模块；
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.基于蒸馏元学习的罕见眼底病oct图像分类方法，其特征在于：包括，
2.如权利要求1所述的基于蒸馏元学习的罕见眼底病oct图像分类方法，其特征在于：所述两个视网膜oct图像分类网络分别为教师网络和学生网络，两个网络都以oct图像为输入，图像病变类别标签为输出。
3.如权利要求2所述的基于蒸馏元学习的罕见眼底病oct图像分类方法，其特征在于：所述随机构造常见病小样本训练任务包括，构造常见眼底病小样本训练任务集={}，其中，第个任务为，每个任务包含常见病数据集中的个类别，每个类别中，取个样本为支持集数据，个样本为查询集数据。
4.如权利要求3所述的基于蒸馏元学习的罕见眼底病oct图像分类方法，其特征在于：所述元训练包括，基于常见眼底病小样本训练任务集，使用模型无关元学习方法对教师网络进行元训练；
5.如权利要求4所述的基于蒸馏元学习的罕见眼底病oct图像分类方法，其特征在于：所述蒸馏元学习训练策略表示为，
6.如权利要求5所述的基于蒸馏元学习的罕见眼底病oc...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。