一种基于高效CNN‑CRF网络的视网膜图像分割方法技术

本发明专利技术公开了一种基于高效CNN‑CRF网络的视网膜图像分割方法，针对图像空间信息约束问题，将全卷积神经网络和条件随机场相结合，针对视网膜图像血管分割问题，对整幅图像设计并训练了一个端到端的深度学习分割模型。通过全卷积神经网络对图像像素的预测和条件随机场语义分割相结合，最终得到视网膜血管图像分割结果。与逐像素分割方法相比，本发明专利技术仅需通过一次前向运算即可完成对一幅完整图像的分割，处理效果高于目前技术水平，能够广泛地应用在糖尿病、高血压以及青光眼视网膜诊断领域，为视网膜图像的病理诊断提供了强大的理论和技术支持。

A retinal image segmentation method based on CRF network, CNN

The invention discloses a method of retinal image segmentation, CNN based on CRF network, aiming at the constrained image space information, the convolutional neural network and conditional random field combination problem for the segmentation of blood vessels in retinal images, the whole image and design an end-to-end deep learning model trained. Finally, the segmentation results of retinal vascular images are obtained by combining the prediction of image pixels with conditional random field semantic segmentation by fully convolutional neural network. Compared with the pixel segmentation method, the invention only needs to complete a complete image segmentation to the operation through a before treatment effect higher than the current level of technology, can be widely used in diabetes, hypertension and retinal diagnosis of glaucoma, provides theoretical and technical support for the powerful image of the retinal pathological diagnosis.

【技术实现步骤摘要】
一种基于高效CNN-CRF网络的视网膜图像分割方法
本专利技术涉及医学图像处理领域，具体是一种基于高效CNN-CRF(ConvolutionalNeuralNetwork，ConditionalRandomField)网络的视网膜图像分割方法。
技术介绍
视网膜图像与糖尿病、高血压及青光眼等易造成失明的眼部疾病密切相关，因此对视网膜图像进行分割以便数字化分析是基本步骤。由于手动分割视网膜图像十分耗时费力，因此视网膜图像的自动分割方法逐渐成为主流。视网膜血管图像的分割方法主要分为两大类：基于规则和基于学习的分割方法。基于规则的分割方法主要是利用调整好的构成分割规则的参数来处理图像。Chaudhuri等人提出采用高斯型曲线近似表示灰度级信息，并采用12个不同的匹配滤波器检测血管。Al-Rawi等人使用一组参数{L,σ,T}构造了12个模板，沿着所有可能的方向对视网膜图像进行滤波，然后选择出最佳响应。Azzopardi等人提出了引入B-COSFIRE滤波器有方向选择性地检测血管。由于一系列的样本获得最大响应，匹配滤波器的方法能够很好地检测到棒状物体，但该方法运算过程复杂，同时增加了棒状的噪声。Mart′-P′erez等人提出了一种采用梯度幅值的局部最大值和多连通区域生长过程的Hessian张量最大主曲率相结合的方法，其中区域增长方法须分配所需的区域生长初始的种子。Zana等人提出了基于数学形态学和曲率估计的方法检测血管样型。Bankhead等人提出了各向同性非抽样小波变换(IUWT)的方法来处理绿色通道的视网膜图像。基于学习的分割方法主要是选择合适的特征。Niemeijer等人使用KNN分类器对视网膜数字图像中的每个像素进行分类。Soares等人提出采用类条件概率密度函数的贝叶斯分类器，其中特征向量由像素强度和二维Gabor小波变换响应组成。Xu等人采用自适应局部阈值将原图像转换成二进制图像，提取出大量连通部分作为血管，然后训练支持向量机对剩余的图像像素进行分类。基于固定长度的物体的平均灰度值估计，Ricci等人提出了采用线性检测器和支持向量机对视网膜图像像素进行分类。深度学习方法关键在于设计架构，有人提出了采用10层卷积神经网络进行像素分类，还有人提出了采用深度学习的架构来分割视网膜图像。上述分割方法要么精度低，要么不能自动分割，要么处理时间长。
技术实现思路
本专利技术要解决的技术问题是提供一种基于高效CNN-CRF网络的视网膜图像分割方法，实现视网膜血管数字图像的自动分割，精度高，速度快。为解决上述技术问题，本专利技术采用的技术方案是：一种基于高效CNN-CRF网络的视网膜图像分割方法，包括以下步骤：步骤1：对数据库中的视网膜血管图像进行样本扩充；步骤2：在深度学习工具Caffe库中构建CNN-CRF神经网络，所述CNN-CRF神经网络分为全卷积神经网络和条件随机场语义分割；步骤3：将扩充后的视网膜血管图像作为全卷积神经网络的输入，对训练样本进行预训练，得到CNN-CRF神经网络模型的初始参数；步骤4：在网络层最后一层前面加入条件随机场层，进行二次调优训练；根据前端全卷积神经网络的输出结果，采用条件随机场对视网膜血管图像的特征图像进行分割；步骤5：采用训练好的CNN-CRF神经网络模型对测试样本进行分割，得到最终的视网膜血管图像分割图。进一步的，所述步骤1中对样本进行扩充具体为：通过图像变换处理进行样本扩充，包括对视网膜血管图像进行平移、旋转、翻转。进一步的，所述步骤2中全卷积神经网络包括卷积层、激活层、池化层和上采样层；所述卷积层是采用尺寸大小为3*3像素的卷积核与输入数据内一个窗口内的局部数据进行加权和运算，然后在图像上滑动卷积窗口，直到卷积完所有的输入数据；所述激活层是采用ReLu修正线性单元，将线性函数转化为非线性，通过激活函数max{0，x}对输入数据进行处理；所述池化层采用最大池化法。与现有技术相比，本专利技术的有益效果是：针对视网膜血管图像分割的特点，将条件随机场和全卷积神经网络相结合，仅通过一次前向运算即可有效的对完整的视网膜血管图像进行分割，保证了图像分割的精度。附图说明图1是本专利技术方法的流程示意图。图2是条件随机场层进行语义分割的层数示意图。图3是分割前的原始图像。图4是标准分割示意图。图5是其他方法分割效果图。图6是本专利技术中分割效果图。具体实施方式本专利技术方法首先将整幅视网膜图像作为全卷积神经网络的输入，然后采用全卷积神经网络对视网膜图像中的像素进行预测；根据全卷积神经网络的输出结果，采用条件随机场对视网膜特征图像进行分割，仅通过一次前向运算最后得到血管分割图，如图1所示。下面通过具体实例对本专利技术方法及技术效果进行说明。步骤一：从国际公开数据集DRIVE(DigitalRetinalImageforVesselExtraction)中随机选择40幅视网膜图像，其中30幅图像作为训练样本，剩余10幅作为测试图像。针对训练样本不足的问题，本专利技术采用对每幅图像进行旋转、翻转、等操作扩充样本数，将30幅视网膜血管图像扩充为15750幅视网膜血管图像，从而满足深度学习训练的要求。步骤二：在深度学习工具Caffe库中构建设计CNN-CRF神经网络，将整幅视网膜图像作为全卷积神经网络的输入，对训练样本进行预训练，得到网络模型的初始参数。前端全卷积神经网络的输出结果是图像中每个像素所属于类别的概率和图像中任意两像素之间的灰度值差异和空间距离的能量值。实验硬件：中央处理器为英特尔酷睿i7-4790k，图形处理器为英伟达GTX770，显存为2GB，随机存取存储器RAM为8GB。实验软件：操作系统为Ubuntu14.04LTS，深度学习工具Caffe。本专利技术的CNN-CRF神经网络主要分为全卷积神经网络和条件随机场语义分割两部分，所述全卷积神经网络主要由卷积层、激活层、池化层、上采样层组成，每层数据都可表示为d×h×w的三维矩阵，其中d表示通道数，w和h分别表示图像的宽度和高度。针对视网膜血管图像的特点，为了增加神经网络对特征的空间约束，加入条件随机场层对之前网络层的特征图像进行语义分割，如图2所示，共25层，其参数设置如表1所示。表1卷积层、池化层和激活层对输入图像矩阵进行逐个窗口处理，从而能够保证输出相对位置不变性。假设l表示全卷积神经网络中的第l层，k表示内核的尺寸大小，s表示步长，即每次向后移动的长度，为第l层的输出；为第l层所对应的操作(卷积、激活或池化)；为该层在当前位置进行操作的矩形区域，则网络层之间的操作可表示为：两个连接层之间的运算公式如下：本专利技术中，卷积层主要是利用尺寸大小为3*3像素的卷积核与输入数据内一个窗口内的局部数据进行加权和运算，然后在图像上滑动卷积窗口，直到卷积完所有的输入数据。卷积层相当于二维线性滤波器对整幅视网膜图像进行滤波，提取特征的上下文信息。不同于高斯滤波器的是，在图像处理的过程中卷积的参数不是固定不变的，而是从训练的数据中学习得到的，训练过程中，通过采用梯度下降法最小化损失函数，不断更新网络层中的权重和偏置参数，因此效果更好。池化层的作用是在局部范围内选择最有效的特征作为输出，从而抑制噪声。本专利技术选择最大池化法进行有效特征提取，设置池化窗口尺寸大小为3×3，取这9个本文档来自技高网...

【技术保护点】
一种基于高效CNN‑CRF网络的视网膜图像分割方法，其特征在于，包括以下步骤：步骤1：对数据库中的视网膜血管图像进行样本扩充；步骤2：在深度学习工具Caffe库中构建CNN‑CRF神经网络，所述CNN‑CRF神经网络分为全卷积神经网络和条件随机场语义分割；步骤3：将扩充后的视网膜血管图像作为全卷积神经网络的输入，对训练样本进行预训练，得到CNN‑CRF神经网络模型的初始参数；步骤4：在网络层最后一层前面加入条件随机场层，进行二次调优训练；根据前端全卷积神经网络的输出结果，采用条件随机场对视网膜血管图像的特征图像进行分割；步骤5：采用训练好的CNN‑CRF神经网络模型对测试样本进行分割，得到最终的视网膜血管图像分割图。

【技术特征摘要】
1.一种基于高效CNN-CRF网络的视网膜图像分割方法，其特征在于，包括以下步骤：步骤1：对数据库中的视网膜血管图像进行样本扩充；步骤2：在深度学习工具Caffe库中构建CNN-CRF神经网络，所述CNN-CRF神经网络分为全卷积神经网络和条件随机场语义分割；步骤3：将扩充后的视网膜血管图像作为全卷积神经网络的输入，对训练样本进行预训练，得到CNN-CRF神经网络模型的初始参数；步骤4：在网络层最后一层前面加入条件随机场层，进行二次调优训练；根据前端全卷积神经网络的输出结果，采用条件随机场对视网膜血管图像的特征图像进行分割；步骤5：采用训练好的CNN-CRF神经网络模型对测试样本进行分割，得到最终的视网膜血管图像分割...

【专利技术属性】
技术研发人员：杨路，罗院生，徐宏，程洪，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51