基于深层模型和浅层模型决策融合的肺结节CT图像自动分类方法技术

本发明专利技术涉及一种基于深层模型和浅层模型决策融合的肺结节CT图像自动分类方法，分别提取基于深度卷积神经网络的特征和描述肺结节纹理和形状的视觉特征。对这三种不同的特征分别训练三个分类器，将所有分类器的结果进行加权平均得到最终的分类结果，实现基于CT图像的肺结节分类方法的创新。

Automatic classification of lung nodules CT images based on deep model and shallow model decision fusion

The invention relates to a method of automatic classification of pulmonary nodules in CT images of deep and shallow model of decision fusion model based on visual feature extraction, respectively deep convolutional neural network and describe the characteristics of pulmonary nodules based on the texture and shape. The three different features are trained by the three classifiers, and the results of all classifiers are weighted to get the final classification result, and the classification of lung nodules based on CT images is realized.

【技术实现步骤摘要】

本专利技术属于图像处理和医学结合领域，具体涉及一种基于CT图像的肺结节良性恶性分类方法，我们分别提取基于深度卷积神经网络的特征和描述肺结节纹理和形状的视觉特征。对这三种不同的特征分别训练三个分类器，将所有分类器的结果进行加权平均得到最终的分类结果，实现基于CT图像的肺结节分类方法的创新。
技术介绍
基于CT图像的肺结节分类一般可分为三部分：肺结节分割、特征提取以及肺结节的分类。肺结节分割是根据专家标记的结节的坐标，在CT图像中将对应位置的结节进行分割，从CT图像中提取出来。特征提取则是进一步将分割得到的结节图像转化为一组便于后续处理的数值特征。被用来进行肺结节分类的特征主要可分为两大类：手动提取的视觉特征和通过深度神经网络提取的深度特征。由于肺结节的恶性度与其灰度值的异质性和形状密切相关，因此视觉特征通常可分为纹理特征和形状特征。其中最常用的是基于灰度共生矩阵(GrayLevelCo-OccurrenceMatrix，GLCM)的纹理特征和基于傅里叶描述子(FourierDescriptor，FD)的形状特征。近年来，随着深度学习技术的飞速发展，越来越多的学者们致力于将基于深度神经网络的深度特征作为研究的重点。深度神经网络将特征提取和分类集成在一个统一的网络结构中。在所有的深度神经网络中，深度卷积神经网络是最流行的网络，通过海量数据的训练，我们可以自动地学习到更有高区分能力的特征。肺结节分类则是将提取的各类特征进行综合后，选择合适的分类器，从而将结节分为良性和恶性两类。常用的分类器有支持向量机，决策树，反向传播神经网络(BPNN)，Adaboost，随机森林。通常来说，对于一个给定的肺结节图像，分类的性能与描其特征述的方式高度相关。而一个特定的特征，例如形状特征，纹理特征只可以表现肺结节一个方面的特性，因此使用单个特征会严重的影响肺结节的分类效果。为了有效改善这种问题，信息融合的方法被提出来。信息融合通常可分为数据层融合，特征层融合，决策层融合。由于本专利技术中数据的来源只有LIDC-IDRI数据库，因此不考虑数据层融合。而在本专利技术中，当我们进行特征层融合时，一个特征可能会受其他特征的影响，进而这些特征的空间分布都会发生改变，这些改变会导致差的分类性能。决策层融合只对分类的结果进行融合，可以有效地避免特征层融合之后特征空间分布的改变。
技术实现思路
要解决的技术问题为了避免现有技术的不足之处，本专利技术提出一种基于深层模型和浅层模型决策融合的肺结节CT图像自动。技术方案一种基于深层模型和浅层模型决策融合的肺结节CT图像自动分类方法，其特征在于步骤如下：步骤1：在每一个包含肺结节的CT切片上提取能包含肺结节完整信息的最大外接正方形子块，采用最邻近插值算法将图像子块的尺寸调整统一；步骤2：采用步骤1中的调整尺寸的图像子块来训练深度卷积神经网络，所述的深度卷积神经网络包括9个子层：第一层：输入层；第二层：C1层是第一个卷积层；第三层：P2层是第一个池化层；第四层：C3层是第二个卷积层；第五层：P4层是第二个池化层；第六层：C5层是第三个卷积层；第七层：P6层是第三个池化层；第八层：F7是一个全连接层；第九层：F8包含2个经元节点，输出的两个值分别表示两个类别可能性的一个度量；最后是一个Softmax层，用来处理上一层的输出，得出最后的分类结果；当网络训练至收敛后，提取第七层网络输出的a维向量作为输入图像子块的深层特征；步骤3：在0°、45°、90°、135°四个方向分别计算步骤1中未调整尺寸的图像子块中相距为1的两个灰度像素同时出现的频数，得到4个方向上的4个灰度共生矩阵；对每个灰度共生矩阵，分别求对比度、相关性、能量、逆差矩4个特征，然后将求得的每个灰度共生矩阵的4个特征值级联起来，得到纹理特征；步骤4：找到形状图像中肺结节形状区域的重心坐标，沿着结节边缘依次移动一个点，绘制出移动点到重心之间的测地距离的曲线，将该曲线进行傅里叶变换，选择傅里叶变换后的前b个低频系数组成二维傅里叶描述子形状特征；步骤5：将步骤2提取的深层特征、步骤3提取的纹理特征和步骤4提取的形状特征分别分为训练集样本和验证集样本，对训练集样本分别训练三个不同的Adaboost-BPNN分类器；所述的Adaboost-BPNN分类器包含T个BPNN分类器，每个BPNN分类器都是由一个输入层，一个隐层，一个输出层组成，输入层的结点数目即等于输入特征的维数，隐层的结点Nodes＝log(D)，其中D是输入层结点的数目，输出结点数目为2；将验证集样本在已经训练好的BPNN分类器上进行测试得到验证集分类错误率εt，根据验证集分类错误率εt计算每个BPNN的权重：每个训练样本的权重根据如下公式被更新：Ct是归一化常量，yi是第i个训练样本的标签，当用这种方法训练T个BPNN之后，每个Adaboost-BPNN分类器被定义如下：H(x)＝∑αtht其中，ht为第t个BPNN弱分类器的概率输出，其中1≤t≤T；步骤6：对三个不同特征训练的Adaboost-BPNN分类器的分类结果进行加权平均得到CT切片的最终分类结果：Opro＝average(O1W1,O2W2,O3W3)其中，O1、O2、O3表示三个分类器对肺结节的分类结果，计算公式为O＝mean(H1(x),H2(x),…,Hs(x))，s表示一个肺结节CT图像中的第s个CT切片，Hs(x)为第s个CT切片在某个Adaboost-BPNN分类器的概率输出；W1、W2、W3分别表示三个分类器的权重，计算公式为Vj,j＝1,2,3分别为三个分类器的分类正确率；最终分类结果Opro输出为两个值，定义其中一个为良性概率输出，另一个为恶性概率输出，对两个概率输出值进行判断，得到最终的类别标签：其中，benginnodule表示分类结果为良性，malignantnodule表示分类结果为恶性，Opro(1)为良性概率输出，Opro(2)为恶性概率输出。在步骤2中深度卷积神经网络训练过程中，设置网络的学习率为0.001，最大迭代次数为50，每一批训练所用的样本量为100。在步骤3中对于每个BPNN训练过程中，设置最大收敛次数为50，学习率为0.001，收敛误差为0.0004。所述的a为64。所述的b为52。所述的T为10。有益效果本专利技术提出的一种基于深层模型和浅层模型决策融合的肺结节CT图像自动，该方法融合多个决策信息，取长补短，较好的克服了图像数量少所导致的深度学习分类算法效果不佳以及基于单种特征的分类方法正确率偏低的问题，避免了特征层融合特征空间分布的变化，实现了正确率较高的肺结节CT图像自动分类，为计算机辅助发现，治疗肺癌提供了技术支撑；同时，本方法也可以应用于其它图像分类问题。附图说明图1基于权重的多特征决策分类算法流程具体实施方式本专利技术提供了一种基于权重的多特征决策分类算法。该方法从每一个包含肺结节的CT切片图像中提取刚刚好包含肺结节的图像子块，然后将不同尺寸的图像子块统一到32×32大小。由于肺结节是三维的类球状体，因此一个完整的肺结节CT图像包含多个切片，每一个切片的类别就是其所在CT图像的类别，从而将基于三维CT图像的肺结节分类问题转换为二维空间上的分类问题。接下来进行特征提取，首先，采用随机梯本文档来自技高网...

【技术保护点】
一种基于深层模型和浅层模型决策融合的肺结节CT图像自动分类方法，其特征在于步骤如下：步骤1：在每一个包含肺结节的CT切片上提取能包含肺结节完整信息的最大外接正方形子块，采用最邻近插值算法将图像子块的尺寸调整统一；步骤2：采用步骤1中的调整尺寸的图像子块来训练深度卷积神经网络，所述的深度卷积神经网络包括9个子层：第一层：输入层；第二层：C1层是第一个卷积层；第三层：P2层是第一个池化层；第四层：C3层是第二个卷积层；第五层：P4层是第二个池化层；第六层：C5层是第三个卷积层；第七层：P6层是第三个池化层；第八层：F7是一个全连接层；第九层：F8包含2个经元节点，输出的两个值分别表示两个类别可能性的一个度量；最后是一个Softmax层，用来处理上一层的输出，得出最后的分类结果；当网络训练至收敛后，提取第七层网络输出的a维向量作为输入图像子块的深层特征；步骤3：在0°、45°、90°、135°四个方向分别计算步骤1中未调整尺寸的图像子块中相距为1的两个灰度像素同时出现的频数，得到4个方向上的4个灰度共生矩阵；对每个灰度共生矩阵，分别求对比度、相关性、能量、逆差矩4个特征，然后将求得的每个灰度共生矩阵的4个特征值级联起来，得到纹理特征；步骤4：找到形状图像中肺结节形状区域的重心坐标，沿着结节边缘依次移动一个点，绘制出移动点到重心之间的测地距离的曲线，将该曲线进行傅里叶变换，选择傅里叶变换后的前b个低频系数组成二维傅里叶描述子形状特征；步骤5：将步骤2提取的深层特征、步骤3提取的纹理特征和步骤4提取的形状特征分别分为训练集样本和验证集样本，对训练集样本分别训练三个不同的Adaboost‑BPNN分类器；所述的Adaboost‑BPNN分类器包含T个BPNN分类器，每个BPNN分类器都是由一个输入层，一个隐层，一个输出层组成，输入层的结点数目即等于输入特征的维数，隐层的结点Nodes＝log(D)，其中D是输入层结点的数目，输出结点数目为2；将验证集样本在已经训练好的BPNN分类器上进行测试得到验证集分类错误率εt，根据验证集分类错误率εt计算每个BPNN的权重：αt=12ln(1-ϵtϵt)]]>每个训练样本的权重根据如下公式被更新：wt+1(i)=wt(i)exp(-αtyiht(xi))Ct]]>Ct是归一化常量，yi是第i个训练样本的标签，当用这种方法训练T个BPNN之后，每个Adaboost‑BPNN分类器被定义如下：H(x)＝∑αtht其中，ht为第t个BPNN弱分类器的概率输出，其中1≤t≤T；步骤6：对三个不同特征训练的Adaboost‑BPNN分类器的分类结果进行加权平均得到CT切片的最终分类结果：Opro＝average(O1W1,O2W2,O3W3)其中，O1、O2、O3表示三个分类器对肺结节的分类结果，计算公式为O＝mean(H1(x),H2(x),…,Hs(x))，s表示一个肺结节CT图像中的第s个CT切片，Hs(x)为第s个CT切片在某个Adaboost‑BPNN分类器的概率输出；W1、W2、W3分别表示三个分类器的权重，计算公式为Vj,j＝1,2,3分别为三个分类器的分类正确率；最终分类结果Opro输出为两个值，定义其中一个为良性概率输出，另一个为恶性概率输出，对两个概率输出值进行判断，得到最终的类别标签：Output=bengin nodule,Opro(1)>Opro(2)malignant nodule,Opro(1)≤Opro(2)]]>其中，bengin nodule表示分类结果为良性，malignant nodule表示分类结果为恶性，Opro(1)为良性概率输出，Opro(2)为恶性概率输出。...

【技术特征摘要】
1.一种基于深层模型和浅层模型决策融合的肺结节CT图像自动分类方法，其特征在于步骤如下：步骤1：在每一个包含肺结节的CT切片上提取能包含肺结节完整信息的最大外接正方形子块，采用最邻近插值算法将图像子块的尺寸调整统一；步骤2：采用步骤1中的调整尺寸的图像子块来训练深度卷积神经网络，所述的深度卷积神经网络包括9个子层：第一层：输入层；第二层：C1层是第一个卷积层；第三层：P2层是第一个池化层；第四层：C3层是第二个卷积层；第五层：P4层是第二个池化层；第六层：C5层是第三个卷积层；第七层：P6层是第三个池化层；第八层：F7是一个全连接层；第九层：F8包含2个经元节点，输出的两个值分别表示两个类别可能性的一个度量；最后是一个Softmax层，用来处理上一层的输出，得出最后的分类结果；当网络训练至收敛后，提取第七层网络输出的a维向量作为输入图像子块的深层特征；步骤3：在0°、45°、90°、135°四个方向分别计算步骤1中未调整尺寸的图像子块中相距为1的两个灰度像素同时出现的频数，得到4个方向上的4个灰度共生矩阵；对每个灰度共生矩阵，分别求对比度、相关性、能量、逆差矩4个特征，然后将求得的每个灰度共生矩阵的4个特征值级联起来，得到纹理特征；步骤4：找到形状图像中肺结节形状区域的重心坐标，沿着结节边缘依次移动一个点，绘制出移动点到重心之间的测地距离的曲线，将该曲线进行傅里叶变换，选择傅里叶变换后的前b个低频系数组成二维傅里叶描述子形状特征；步骤5：将步骤2提取的深层特征、步骤3提取的纹理特征和步骤4提取的形状特征分别分为训练集样本和验证集样本，对训练集样本分别训练三个不同的Adaboost-BPNN分类器；所述的Adaboost-BPNN分类器包含T个BPNN分类器，每个BPNN分类器都是由一个输入层，一个隐层，一个输出层组成，输入层的结点数目即等于输入特征的维数，隐层的结点Nodes＝log(D)，其中D是输入层结点的数目，输出结点数目为2；将验证集样本在已经训练好的BPNN分类器上进行测试得到验证集分类错误率εt，根据验证集分类错误率εt计算每个BPNN的权重：αt=12ln(1-ϵtϵt)]]>每个训练样本的权重根据如下公式被更新：wt+1(i)=wt(i)exp(-&alp...

【专利技术属性】
技术研发人员：夏勇，谢雨彤，张艳宁，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61