一种结合自监督和有监督的早产儿眼底图像异常检测方法技术

本发明专利技术公开了一种结合自监督和有监督的早产儿眼底图像异常检测方法。考虑到现实中正常眼底图像数量多而患者有限导致异常眼底图像数量有限，且图像标签获取困难的问题，故本发明专利技术从自监督和有监督学习相结合的角度出发，首先按一定的方法收集眼底图像，并对图像进行一定程度的清洗与增强，然后分别使用自监督和有监督学习的方式训练两种有效的特征提取器，然后使用这两种特征提取器对图像进行编码，并将两种特征进行拼接作为图像的最终特征，用拼接后的特征训练一个简单高效的线性分类器，完成ROP的高性能检测。故本发明专利技术从自监督和有监督学习的角度出发，保证在现实数据受限的情况下，模型也能取得较高的准确性、鲁棒性以及良好的泛化性能，为ROP医学诊断提供了一种新的方法。方法。方法。

【技术实现步骤摘要】
一种结合自监督和有监督的早产儿眼底图像异常检测方法


[0001]本专利技术属于计算机视觉与医疗辅助
，更为具体地讲，该专利技术涉及一种结合自监督和有监督的早产儿眼底图像异常检测方法。

技术介绍

[0002]随着医学成像技术和计算机技术的不断发展和进步，医学图像分析已成为医学研究、临床疾病诊断和治疗中一个不可或缺的工具和技术手段。近几年来，深度学习(Deep learning,DL)，特别是深度卷积神经网络(Convolutional neural networks,CNNs)已经迅速发展成为医学图像分析的研究热点，它能够从医学图像大数据中自动提取隐含的疾病诊断特征。有效的机器学习技术使医疗专业人员能够做出更好的决策，为疾病的识别和研究带来创新，也能更好地提高医疗诊断和临床实验的效率。
[0003]早产儿视网膜病(ROP)是指多病因(早产、低出生体重、氧疗等)引起的视网膜血管发育异常的眼底疾病。主要发生在早产儿及低出生体重儿。该病是世界范围内新生儿致盲的首要原因，约占儿童致盲原因的6％～18％。尽管绝大部分早产儿视网膜病可自行退化，但仍有部分早产儿可进展为较严重的早产儿视网膜病，导致患儿失明。然而，很多地区专门从事ROP的眼科医生很少，这为新生儿的健康诊断造成了不便。为了解决专业诊断医生数量不足以及ROP诊断效率低的问题，目前已经出现了一些使用传统机器学习手段辅助ROP诊断的方法，比如采用卷积神经网络模型等方法对ROP患者的眼底照片进行检测。但使用这种方法构建一个好的神经网络模型往往需要大量高质量的有标签数据，这需要专业的医生花费大量的时间、精力以及金钱去对图像进行标注，这是一项困难且繁重的任务。同时，在一定区域内，ROP患者的数目也是有限的，导致没有足够的异常数据来支撑一个模型，而且很有可能还会因为数据量小而导致模型在不同地区的泛化性能较差。所以在实际情况中，很难通过传统的方式来训练一个好的神经网络模型，这对于医学诊断是不利的。
[0004]无监督学习是指：当我们缺乏足够的先验知识，难以进行人工标注类别或进行人工类别标注的成本太高时，我们希望计算机能代我们完成这些工作，或至少提供一些帮助。根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。
[0005]自监督学习(self
‑
supervised learning)是无监督学习的一种，可以被看作是机器学习的一种“理想状态”，模型直接从无标签数据中自行学习，无需标注数据。其核心在于，如何自动为数据产生标签。例如，把输入的图片均匀分割成3*3的格子，每个格子里面的内容作为一个patch，随机打乱patch的排列顺序，然后用打乱顺序的patch作为输入，正确的排列顺序作为标签，进行网络的训练。类似这种自动产生的标注，完全无需人工参与。根据深度学习的特性，我们可以将自监督学习得到的知识迁移到新的任务中去，比如图像分类的任务，这样就可以解决数据量缺乏而导致训练不充分或过拟合的问题。
[0006]由于正常眼底图像容易获得，且数量很多，所以可以用来进行自监督学习，将学习到的知识迁移到有标签的分类任务中去。更进一步的，实验发现，自监督学习的特征具有更好的泛化性能，而有监督任务学习到的特征则包含更高级的语义信息，若将两者学习到的
特征拼接在一起，当作一个整体特征，就可以极大增强分类模型的特征提取能力和泛化能力，以此大幅提升模型的准确性和鲁棒性。

技术实现思路

[0007]本专利技术的目的在于克服现实情况下，大量高质量的有标签眼底图像难以获得，有限的数据量导致传统有监督学习训练出的ROP判别模型的准确性、鲁棒性和泛化能力较低的问题。因此我们提出了一种基于自监督和有监督学习特征相结合的策略，可以显著提高对ROP眼底图像诊断的性能。
[0008]为实现上述专利技术目的，本专利技术基于自监督学习和有监督学习特征相结合的ROP异常检测算法，其特点在于首先利用正常眼底图像的大量数据进行无监督学习，学习到更利于新任务泛化的图像特征。同时，利用相对少量的高质量有标签的正常眼底图像和异常眼底图像进行有监督的学习，学习图像更丰富的语义特征，最后将这两种特征进行拼接，得到一个更加丰富的图像特征，再对这个特征进行线性分类，完成异常检测即可，具体包括以下步骤：
[0009](1)数据收集
[0010]从医院采集大量正常眼底照片，越多越好，此部分用作自监督学习。
[0011]除此之外，还需要尽可能采集正常眼底图像和患者眼底图像，其中患者眼底图像中需要包含各个阶段的异常眼底图像，这部分图像用作有监督学习。
[0012]要求采集到的每组图像按眼球为单位来保存。同时要求用作有监督学习的正常眼底和有患病特征的眼底图像的数量尽量均衡，图片均为彩色三通道图像。
[0013](2)图像标注
[0014]对用作自监督学习的图像不做标注处理。
[0015]对用作无监督学习的图像由医学专家进行审核标注，默认将来自正常人的眼底图像标签默认赋值为0，对于来自ROP患者的眼底图像，如果图像中没有ROP患病特征，可以认为是正常图像，但为了防止引入数据噪声，这部分图像忽略不计，若有患病特征则标记为ROP图像，赋值为1。图像数据依旧以眼球为单位进行存放。
[0016]另外，这两部分数据都应该按训练集、验证集、测试集的方式进行划分。
[0017](3)数据预处理
[0018]这里我们主要使用三种数据处理的方式。
[0019]①
数据清洗：
[0020]由于拍摄操作存在一定的偶然性，会引入不同程度的图像噪声，比如图像模糊不清，或者有大面积的图像亮斑等，所以首先将这部分图像进行删除。另外在图像存储时，因保存格式的不同会导致图像分布有所差异，故统一为.png格式保存。
[0021]②
图像规范化：
[0022]由于原始图像尺寸不一致，且图像较大，冗余特征过多。因此对图像在保留其原始特征的情况下进行压缩，统一将原始图像尺寸resize为224
×
224.
[0023]③
光照调节
[0024]眼底图像受拍摄环境的影响较大，这会导致图像有不同程度的亮度差异以及图像会出现不同程度的亮斑，所以采用均匀分布来调整图像的亮度。
[0025](4)数据增强
[0026]这里我们主要使用三种数据增强的方式。
[0027]①
色彩变换
[0028]由于不同人的眼睛色素存在一些差异，所以拍摄出的图像底色也会有不同的差异，所以对图像进行轻微的色彩变化，并扩充图像的数量，降低色彩不一致带来的影响。
[0029]②
图像旋转
[0030]由于网络的训练需要尽可能多的数据，所以对图像进行随机轻微旋转和镜像翻转来继续扩充图像数据。
[0031]③
图像标准化
[0032]为了尽可能减少奇异数据对模型带来的不良影响，我们使用Z
‑
Score标准化方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合自监督和有监督的早产儿眼底图像异常检测方法，其特征在于，考虑到现实情况正常眼底数量多，而异常眼底数量少且难以获取，导致传统有监督学习得到的模型通常准确率、鲁棒性较低以及泛化性能差的问题，故本发明从自监督和有监督学习相结合的角度出发，分别训练两种高效的特征提取器对图像进行编码，然后再将有监督特征和无监督特征拼接，形成一个新的图像特征，再训练一个简单的线性分类器来进行分类即可。实验表明，无监督特征利于泛化，而有监督特征包含更高级的语义信息，所以通过这种方式可以提高模型的准确率、鲁棒性以及泛化能力，具体包括以下步骤：(1)数据收集从医院采集大量正常眼底照片，越多越好，此部分用作自监督学习。除此之外，还需要尽可能采集正常眼底图像和患者眼底图像，其中患者眼底图像中需要包含各个阶段的异常眼底图像，这部分图像用作有监督学习。要求采集到的每组图像按眼球为单位来保存。同时要求用作有监督学习的正常眼底和有患病特征的眼底图像的数量尽量均衡，图片均为彩色三通道图像。(2)图像标注对用作自监督学习的图像不做标注处理。对用作无监督学习的图像由医学专家进行审核标注，默认将来自正常人的眼底图像标签默认赋值为0，对于来自ROP患者的眼底图像，如果图像中没有ROP患病特征，可以认为是正常图像，但为了防止引入数据噪声，这部分图像忽略不计，若有患病特征则标记为ROP图像，赋值为1。图像数据依旧以眼球为单位进行存放。另外，这两部分数据都应该按训练集、验证集、测试集的方式进行划分。(3)数据预处理这里我们主要使用三种数据处理的方式。
①
数据清洗：由于拍摄操作存在一定的偶然性，会引入不同程度的图像噪声，比如图像模糊不清，或者有大面积的图像亮斑等，所以首先将这部分图像进行删除。另外在图像存储时，因保存格式的不同会导致图像分布有所差异，故统一为.png格式保存。
②
图像规范化由于原始图像尺寸不一致，且图像较大，冗余特征过多。因此对图像在保留其原始特征的情况下进行压缩，统一将原始图像尺寸resize为224
×
224.
③
光照调节眼底图像受拍摄...

【专利技术属性】
技术研发人员：邵俊明，王朴真，杨勤丽，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：