基于像素点的视网膜特征结构分割方法技术

本发明专利技术涉及一种基于像素点的视网膜特征结构分割方法，包括：1)采集彩色眼底视网膜图像；2)对采集图像中的特征结构进行标注，分别标注血管、渗出物、视杯视盘、出血点和黄斑；3)对采集的图像按照健康、非增殖型糖尿病视网膜病变程度和增殖型糖尿病视网膜病变分成五类，构建数据集；4)对视网膜彩色图像进行FOV提取，确定提取阈值；5)设计多尺度分割网络，输入四种视网膜图像尺寸训练模型；6)建立该网络ROC曲线，比较网络之间的灵敏度和特异性。结果表明，本方法可以提高视网膜特征分割的准确率，且鲁棒性好。

【技术实现步骤摘要】
基于像素点的视网膜特征结构分割方法
本专利技术涉及一种基于像素点的视网膜特征结构分割方法，在对彩色眼底视网膜图像结构分割时，准确率比现有技术有较大提升。
技术介绍
视网膜病变是日常多种常见病症所导致的结果，诸如糖尿病、动脉硬化、白血病等。这些疾病会导致视网膜长宽、角度甚至导致视网膜血管的增生。临床上经常通过眼底视网膜图像对疾病进行筛查、分析和诊断。通过视网膜动静脉可以判断患者是否有动脉硬化，通过出血点和渗出物的多少可以判断患者是否有糖尿病，通过视杯视盘检测可以判断患者是否有青光眼。因此，为了对疾病进行定量分析和对疾病的早期预防，分割视网膜各部分结构相关工作起到了举足轻重的作用，对医生专家的高效率诊断和人类对一些顽疾的预防有着指导意义，是利用人工智能造福人类的体现。眼底视网膜的分割问题很早已被全世界专家关注，随之出现了很多分割眼底结构的传统算法，可概括地分为无监督和有监督的两大类分割方法。近年来，深度学习算法取得了关键突破，通过学习浅层特征形成抽象的进一步深层特征，并据此发现数据的分布。与传统方法相比，深度学习让计算机从观测数据中自主学习，根据学习结果自行解决我们之前用传统算法解决的问题。并且已公开很多分割眼底方法。如Khalaf等将卷积神经网络CNN结构简化对眼底图像中的大血管、小血管以及背景进行区分，并采用不同尺寸的卷积核进行调整，在数字视网膜图像血管提取库DRIVE得到了良好的分割结果。Fu等提出基于CNN和条件随机场CRF的视网膜图像血管分割方法，该方法将血管分割作为边界检测问题处理，利用CNN产生分割概率图，再结合CRF得到二值分割结果。继CNN之后，又提出了AlexNet和VGGNet进行分割。但仍旧存在很多弊端：(1)数据集过小，数据集标注不准确等问题；(2)对于存在大面积病理特征的视网膜图像，病变区域之间，病变区域与正常区域之间互相干扰，严重影响分割效果；(3)少部分视网膜图像质量受采集时环境影响较多，导致特征细节与背景对比度低，人工直接手动的对数据集进行标注依赖操作者的技术经验，受主观因素较大，效率也较低。通过比对各个网络我们发现PixelNet模型是基于特征图的像素点进行学习分割，适合视网膜眼底图像分割。该模型使用VGG-16卷积提取卷积特征，对一个采样的像素点，从多个卷积特征图上提取对应的特征，建立hypercolumndescriptor，然后将该特征输入到一个MLP多层感知器，最后输入分类结果。另外，该网络主要思想本在于训练时候的采样策略，加速训练。提出基于像素的stratifiedsampling，sparsesampling，发现从训练图像中采样很少的像素就可以得到很好的结果。本专利技术首先介绍如何建立完善自己的数据集以提供更广泛训练集。接着在PixelNet网络部分结构的基础上，用更完善的VGG-19代替原本的VGG-16以增加网络的宽度。同时，调整网络结构每一层num_output参数，即调整每一层输出的特征图个数，在模型准确率保证的条件下最大化压缩模型大小以提高测试速率。另外，把三层感知机部分根据眼底不同特征的复杂程度对层数进行合理地改变以提高测试效率。最后，我们把网络模型合理分配到多个GPU中对测试集图像进行分割测试，实现图像中各个结构之间的独立分割。
技术实现思路
有鉴于此，本专利技术提出了一种基于像素点的视网膜特征结构分割方法，该方法可以提高视网膜特征分割的准确率，且鲁棒性好。为达到上述目的，按照本专利技术的第一个方面，提供了基于像素点的视网膜特征结构分割方法，具体技术方案，包括下列步骤：步骤1：采集彩色眼底视网膜图像；步骤2：对采集图像中的特征结构进行标注，分别标注血管、渗出物、视杯视盘、出血点和黄斑；步骤3：对采集的图像按照健康、非增殖型糖尿病视网膜病变程度和增殖型糖尿病视网膜病变分成五类，构建数据集；步骤4：对视网膜彩色图像进行FOV提取，确定提取阈值；步骤5：设计多尺度分割网络，输入四种视网膜图像尺寸训练模型；步骤6：建立该网络ROC曲线，比较网络之间的灵敏度和特异性。与现有技术相比，本专利技术的有益效果是：首先，本专利技术采用自己历时2年构建的数据集，利用迁移学习使视网膜相片无论从数量和质量上都比现有分割方法更加全面。然后，把数据集分配到多个GPU下通过改进的多尺度网络进行训练和测试，大大提高了分割效率与准确率。最后，把分割结果通过MFC界面显示出来。该方法综合考虑时效性和准确率，血管准确率为0.927，视盘视杯准确率为0.997，渗出物准确率为0.939，黄斑准确率为0.997，出血点准确率为0.904，并且该方法适合更广泛的视网膜眼底相片，且鲁棒性好。附图说明图1总体框架示意图，即摘要附图；图2多尺度网络结构；图3糖尿病患者各个阶段眼底图像在数据集中的分布；图4原始视网膜图像(a-c)和相应分割出的FOV(d-f)；图5多尺度网络的ROC曲线；图6视网膜结构分割效果图；图7网络训练参数算法流程图；图8比较不同网络的ROC曲线。具体实施方式下面结合具体实施方式对本专利技术作进一步详细地描述。本专利技术的总体网络框架示意图如图2所示。这里四条分支网络提取特征各自独立，各个分支参数不共享，因此在数据输入起始处，四条分支分别对原始数据训练，在四个通道的末端将每一个通道的最后一个卷积层提取的特征向量相连，使特征信息更加丰富。将四个通道的特征向量按照1∶1∶1∶1的比例进行拼接，最后输出到接下来的全连接层，使全连接层充分综合了四个通道网络的各自特征，兼顾了预训练模型的泛型通用特征与目标数据集的数据特定特征。每一路的网络预训练结构与PixelNet网络除patch尺寸参数外保持一致。下面结合具体实施方式对本专利技术技术方案的具体实施过程加以说明。1.多尺度分割网络结构这里四条分支网络提取特征各自独立，各个分支参数不共享，因此在数据输入起始处，四条分支分别对原始数据训练，在四个通道的末端将每一个通道的最后一个卷积层提取的特征向量相连，使特征信息更加丰富。将四个通道的特征向量按照1∶1∶1∶1的比例进行拼接，最后输出到接下来的全连接层，使全连接层充分综合了四个通道网络的各自特征，兼顾了预训练模型的泛型通用特征与目标数据集的数据特定特征。每一路的网络预训练结构与PixelNet网络除patch尺寸参数外保持一致。2.实验2.1数据集本次实验使用的数据集包含560张像素为1444×1444和940张像素为2124×2056共计283名患者的1500张视网膜眼底图像，年龄段男性25-83岁不等，女性24-75岁不等，包括多个病理等级，且都经过医院眼科专家标注认可。为了更加全面的数据集我们还采纳了DRIVE数据集的血管标注，选取了STARE数据集20张相片的特征标注，共计1520张视网膜图像。其中1320张用于训练模型，其余用于验证模型。所有图像在输入之前都先执行自适应阈值处理方法以从视网膜眼底图像的背景中分割FOV边界，阈值为23。根据网络多尺度输入的特点，将1320张分割出FOV边界的视网膜图像分成224×224，448×448，896×896的patch，再加上完整图像作为网络的输入。2.2分割标准为了更加客观地比较分割结果和人工标定结果的异同，引入四种量化统计指标：(1)真阳性指实际是血管也本文档来自技高网...

【技术保护点】
1.一种基于像素点的视网膜特征结构分割方法，包括下列步骤：步骤1：采集彩色眼底视网膜图像；步骤2：对采集图像中的特征结构进行标注，分别标注血管、渗出物、视杯视盘、出血点和黄斑；步骤3：对采集的图像按照健康、非增殖型糖尿病视网膜病变程度和增殖型糖尿病视网膜病变分成五类，构建数据集；步骤4：对视网膜彩色图像进行FOV提取，确定提取阈值；步骤5：设计多尺度分割网络，输入四种视网膜图像尺寸训练模型；步骤6：建立该网络ROC曲线，比较网络之间的灵敏度和特异性。

【技术特征摘要】
1.一种基于像素点的视网膜特征结构分割方法，包括下列步骤：步骤1：采集彩色眼底视网膜图像；步骤2：对采集图像中的特征结构进行标注，分别标注血管、渗出物、视杯视盘、出血点和黄斑；步骤3：对采集的图像按照健康、非增殖型糖尿病视网膜病变程度和增殖型糖尿病视网膜病变分成五类，构建数据集；步骤4：对视网膜彩色图像进行FOV提取，确定提取阈值；步骤5：设计多尺度分割网络，输入四种视网膜图像尺寸训练模型；步骤6：建立该网络ROC曲线，比较网络之间的灵敏度和特异性。2.根据权利要求1所述的基于像素点的视网膜特征结构分割方法，其特征在于，步骤3中，该方法构建了自己的数据集，不同于已经开源公开的眼底数据集，我们的数据集对不同年龄，不同性别，不同病情分别进行了标注和说明，包括各个病理等级，且都经过医院眼科专家标注认可，其中多数眼底视网膜照片是一个患者在一段期间内的一组数据，这样更方便以后做病情分析。3.根据权利要求1所述的基于像素点的视网膜特征结构分割方法，其特征在于，步骤4中，为了把视网膜图像从背景中分割出来，我们通过使用k均值聚类方法将具有相似属性的图像像素分组，在视网膜眼底图像中减少不同颜色的数量，执行自适应阈值处理方法以从视网膜眼底图像的背景中分割FOV...

【专利技术属性】
技术研发人员：耿磊，车恒毅，肖志涛，吴骏，张芳，刘彦北，王雯，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：天津,12