基于深度学习的眼底图像视网膜血管分割方法及系统技术方案

本发明专利技术公开了一种基于深度学习的眼底图像视网膜血管分割方法及系统，包括：对训练集进行数据扩增，并对图像进行增强，用训练集训练卷积神经网络，先使用卷积神经网络分割模型对图像进行分割得到一个分割结果，用卷积神经网络的特征训练随机森林分类器，从卷积神经网络模型中抽取最后一层卷积层输出，并作为随机森林分类器的输入进行像素分类，得到另外一个分割结果，对两个分割结果进行融合得到最终的分割图像，与传统的血管分割方法相比，本方法用很深的卷积神经网络进行特征提取，提取的特征更加充分，分割的准确率和效率也更高。

【技术实现步骤摘要】

本专利技术涉及机器学习和图像处理领域，是针对医学图像语义分割技术的研究，尤其是一种基于深度学习的眼底图像视网膜血管分割方法及系统。
技术介绍
近年来，随着图像处理技术的发展，图像分割技术开始被应用到眼底图像分割领域，目前国内外有很多研究人员提出了各种各样的眼底图像视网膜血管分割算法，主要分为以下几个方向：基于血管跟踪的方法、基于匹配滤波的方法、基于形变模型的方法和基于机器学习的方法。基于匹配滤波的方法是将滤波器与图像进行卷积来提取目标对象，由于视网膜血管剖面的灰度符合高斯特性，因此可以通过计算图像滤波后的最大响应值来进行血管分割。经典的匹配滤波方法是根据血管特征基本符合高斯分布的特点，将视网膜血管与高斯分布函数进行不同方向的匹配滤波，然后对响应结果进行阈值化，选取响应最大的匹配滤波结果作为血管输出，最终提取出视网膜血管图像。该方法计算量较大，而且视网膜中病变部位的特征与血管特征相似，因此会造成检测错误。基于形变模型的方法思路很直观，是通过用曲线来描绘出血管的边界，边界曲线通过能量函数的参数来定义，边界曲线在边界两侧的能量变化的影响下发生形变，因此血管分割变成了使能量函数最小化。蛇形模型是一种经典的参数形变模型，蛇形模型时一种能量极小化的样条，图像能量的内力会影响模型的形状并将其拖向图像的显著特征的边界，研究人员将蛇形模型应用到从核磁共振图像中提取关节软骨和合成孔径雷达中检测海岸线等领域。也有研究人员使用蛇形模型来进行眼底图像中的视网膜血管分割，并对其进行了改进，使用了形态学操作来进行优化和调整了能量最小参数。基于机器学习的方法是指通过机器学习算法来进行血管分割。该方法的优点是能够自动分割并且准确率较高。基于监督学习的机器学习算法对血管分割有着较高的准确率。该方法主要流程是数据预处理、特征选择和提取和图像分割。该方法的主要难点在于特征提取和图像分割，对于机器学习方法来说，特征工程非常重要，传统的方法主要采用Gabor滤波等方法，提取特征有限，近年来随着深度学习的发展，用深度学习进行图像的特征提取有着很好的效果，也有人尝试用深度学习来进行血管分割。
技术实现思路
本专利技术的目的是针对上述现有技术的不足，提供了一种基于深度学习的眼底图像视网膜血管分割方法和基于该方法的系统，该方法对眼底图像进行语义分割，通过分类器对每个像素点进行二分类，确定该像素点是属于血管还是非血管，从而完成对整张图像的分割，主要是通过深度学习中的卷积神经网络进行视网膜血管分割，再使用卷积神经网络提取的图像特征训练一个随机森林分类器进行视网膜血管分割，最后将二者的分割结果进行融合得到最终的血管分割结果。本专利技术的目的可以通过如下技术方案实现：基于深度学习的眼底图像视网膜血管分割方法，所述方法包括以下步骤：步骤1：对数据集中的眼底图像进行预处理，该步骤主要包括如下步骤：步骤1-1：将数据集中的眼底图像分成训练样本和测试样本。对训练样本的眼底图像和对应的图像标签分别进行左右对称和180度旋转，使一张眼底图像变为4张，完成对眼底图像训练集进行数据集扩增；步骤1-2：对训练样本和测试样本的眼底图像进行增强，首先将图像转化为RGB类型的图像，单独抽取G通道的图像进行中值滤波和直方图均衡化，所述中值滤波为对每个像素，选取一个模板，该模板为其邻近的3*3个像素组成，对模板的像素进行从大到小的排序，然后用模板的中值来替换原像素的值，对G通道的图像进行中值滤波后，再对G通道的图像进行直方图均衡化，所述直方图均衡化的流程如下：a)：求出G通道图像的直方图；b)：根据a)得到的G通道图像的直方图求出灰度值变化表；c)：根据b)中得到的灰度值变化表对每个像素的灰度值进行查表变换操作，即对每个像素的灰度值进行均衡化；在完成对G通道图像的直方图均衡化后，用G通道图像的灰度值替换R通道和B通道的灰度值；步骤1-3：在完成步骤1-2的图像增强操作后，对眼底图像RGB三个通道的像素分别进行Z-score归一化：其中，xi表示归一化前的第i个像素点的值，表示归一化后的第i个像素点的值，μ表示该通道像素的均值，σ表示该通道像素的标准差，整个流程是先减去均值μ再除以标准差σ，最终归一化到均值为0和方差为1。步骤2：用训练样本训练卷积神经网络，所述卷积神经网络包括三个部分：编码网络、解码网络和softmax分类器，所述编码网络的输入为RGB三通道眼底图像，包括16个卷积层和5个max-pooling层，每层参数如下表：每层类型大小卷积核数目Pad步长(stride)卷积层3×36411卷积层3×36411max-pooling2×2无02卷积层3×312811卷积层3×312811max-pooling2×2无02卷积层3×312811卷积层3×325611卷积层3×325611卷积层3×325611max-pooling2×2无02卷积层3×325611卷积层3×351211卷积层3×351211卷积层3×351211max-pooling2×2无02卷积层3×351211卷积层3×351211卷积层3×351211卷积层3×351211max-pooling2×2无02所述编码网络通过对眼底图像进行多次卷积和max-pooling之后，得到包含图像特征的featuremap，所述解码网络再对featuremap进行卷积和上采样，在编码网络中，每一层的maxpooling记录下每个2×2pooling块的最大值的位置，编码网络中的每个max-pooling层有一个解码网络中的上采样层与之对应，所述上采样的操作是将featuremap中的值放入对应的maxpooling层中记录的最大值的位置，再将其它位置的值设为0，每次上采样后featuremap的大小都会增大两倍，解码网络包括16个卷积层和5个上采样层，每个卷积层与编码网络中的卷积层相对应，各层配置如下表：编码网络和解码网络中的所有卷积层卷积后的结果先进行批量归一化，再用修正线性函数作为激活函数进行输出，批量归一化在卷积神经网络每次随机梯度下降时，首选对卷积后输出的数据进行归一化操作，使得结果的均值为0，方差为1，然后再对参数进行训练，流程如下：a)：输入为卷积输出的m个数据:B＝{x1…m本文档来自技高网...

【技术保护点】
基于深度学习的眼底图像视网膜血管分割方法，其特征在于：所述方法包括以下步骤：步骤1：对数据集中的眼底图像进行预处理；步骤2：用训练样本训练卷积神经网络；步骤3：从训练好的卷积神经网络中提取最后一层卷积输出特征训练随机森林分类器；步骤4：将卷积神经网络对像素的分类结果与随机森林分类器的分类结果进行融合；步骤5：利用训练好的卷积神经网络模型对测试样本进行分割，得到最终分割结果。

【技术特征摘要】
1.基于深度学习的眼底图像视网膜血管分割方法，其特征在于：所述方法包括以下步骤：步骤1：对数据集中的眼底图像进行预处理；步骤2：用训练样本训练卷积神经网络；步骤3：从训练好的卷积神经网络中提取最后一层卷积输出特征训练随机森林分类器；步骤4：将卷积神经网络对像素的分类结果与随机森林分类器的分类结果进行融合；步骤5：利用训练好的卷积神经网络模型对测试样本进行分割，得到最终分割结果。2.根据权利要求1所述的基于深度学习的眼底图像视网膜血管分割方法，其特征在于：所述步骤1包括如下步骤：步骤1-1：将数据集中的眼底图像分成训练样本和测试样本，对训练样本的眼底图像和对应的图像标签分别进行左右对称和180度旋转，使一张眼底图像变为4张，完成对眼底图像训练样本的数据扩增；步骤1-2：对训练样本和测试样本的眼底图像进行增强，首先将图像转化为RGB类型的图像，单独抽取G通道的图像进行中值滤波和直方图均衡化，所述中值滤波为对每个像素，选取一个模板，该模板为其邻近的3*3个像素组成，对模板的像素进行从大到小的排序，然后用模板的中值来替换原像素的值，对G通道的图像进行中值滤波后，再对G通道的图像进行直方图均衡化，所述直方图均衡化的流程如下：a)：求出G通道图像的直方图；b)：根据a)得到的G通道图像的直方图求出灰度值变化表；c)：根据b)中得到的灰度值变化表对每个像素的灰度值进行查表变换操作，即对每个像素的灰度值进行均衡化；在完成对G通道图像的直方图均衡化后，用G通道图像的灰度值替换R通道和B通道的灰度值；步骤1-3：在完成步骤1-2的图像增强操作后，对眼底图像RGB三个通道的像素分别进行Z-score归一化：xi*=xi-μσ]]>其中，xi表示归一化前的第i个像素点的值，表示归一化后的第i个像素点的值，μ表示该通道像素的均值，σ表示该通道像素的标准差，整个流程是先减去均值μ再除以标准差σ，最终归一化到均值为0和方差为1。3.根据权利要求1所述的基于深度学习的眼底图像视网膜血管分割方法，其特征在于：步骤2中所述卷积神经网络包括三个部分：编码网络、解码网络和softmax分类器，所述编码网络的输入为RGB三通道眼底图像，包括16个卷积层和5个max-pooling层，每层参数如下表：每层类型大小卷积核数目...

【专利技术属性】
技术研发人员：余志文，马帅，吴斯，纪秋佳，韩国强，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44