结合深度学习与影像组学的结直肠癌图像分类方法及系统技术方案

本发明专利技术提出一种结合深度学习与影像组学的结直肠癌图像分类方法及系统，针对深度学习模型训练种小样本问题，充分利用已有的数据进行数据增强（旋转，平移、图像变换等）为了解决医生手工标记耗时耗力的问题，引入深度学习的自动分割网络模型，实现自动的从图像中标注感兴趣区域。针对深度学习模型提取的特征可解释性差，获取特征信息不够全面的问题，采用影像组学特征、深度学习特征和临床病理信息三者融合获取更多更全面的特征信息，进一步提高影像组学的分类准确性和可靠性。组学的分类准确性和可靠性。组学的分类准确性和可靠性。

【技术实现步骤摘要】
结合深度学习与影像组学的结直肠癌图像分类方法及系统


[0001]本专利技术属于医学图像处理和图像分类
，尤其涉及一种结合深度学习与影像组学的结直肠癌图像分类方法及系统。

技术介绍

[0002]1、影像组学的方案：影像组学主要借助计算机软件高通量地从CT、MRI及PET影像中提取大量高维的定量影像特征；其流程包括采集数据、图像分割、特征提取、特征选择及模型建立，凭借对海量影像数据信息进行更深层次的挖掘、预测和分析来辅助医师做出最准确的影像分类。在实际应用中，影像组学病灶需要医生手工标记，不仅耗时且存在主观偏差。除此之外，采用定量方法计算目标特征时缺少一套规范和标准的流程和质控体系，限制了这类方法的性能。
[0003]2、深度学习的方案：深度学习是指通过组合低层特征形成更加抽象的高层特征或类别，进而从大量的输入数据中学习有效特征，并把这些特征用于分类、回归和信息检索的一种技术。模型可以自动学习提取和选择图像特征并进行预测，从而更全面、深入地挖掘图像中的信息。其模型种类众多，目前在医学影像学领域，卷积神经网络(convolution neural network, CNN)的应用最为广泛。使用卷积网络使得训练和推理过程需要占用了大量的计算资源。深度学习在完成模型训练后，可以实现影像全自动分析，但是，这种优势是建立在更加高昂的数据获取成本之上的。深度学习要求更多收集和标注更多的数据，数据量可能是影像组学的十倍或百倍以上。
[0004]如上所述，现有的结直肠癌医学图像分类所存在的缺点主要有：1、影像组学需要医生手工标记数据，耗时且存在主观偏差，不同厂家的影像设备在扫描参数和重建算法方面尚缺乏统一标准，其提取的特征也是表型特征，不够深层次。
[0005]2、深度学习模型需要大量的数据进行训练，占用大量的计算资源，对硬件设备要求较高，提取的深度学习特征可解释性差。
[0006]3、所提取的特征还不够全面。仅使用影像组学特征或者深度学习特征，没有将两者结合。

技术实现思路

[0007]为了弥补现有技术的空白和不足，本专利技术提出一种结合深度学习与影像组学的结直肠癌图像分类方法及系统。其主要设计包括：1、针对深度学习模型训练种小样本问题，充分利用已有的数据进行数据增强（旋转，平移、图像变换等）2、为了解决医生手工标记耗时耗力的问题，引入深度学习的自动分割网络模型，实现自动的从图像中标注感兴趣区域。
[0008]3、针对深度学习模型提取的特征可解释性差，获取特征信息不够全面的问题，采用影像组学特征、深度学习特征和临床病理信息三者融合获取更多更全面的特征信息，进
一步提高影像组学的分类准确性和可靠性。
[0009]本专利技术具体采用以下技术方案：一种结合深度学习与影像组学的结直肠癌图像分类方法，其特征在于，包括以下步骤：步骤S1：数据预处理：采用数据增强方法，对结直肠癌图像数据进行扩增；使手动标记数据对分割网络进行训练，利用训练好的模型从图像中自动分割感兴趣区域，以获取更多含有标注的数据；步骤S2：特征提取：通过开源的Python软件包Pyradiomics从腹部CT中提取出相关组学特征；采用resnet训练模型选择结果最好的一个模型，用这个模型去提取深度学习特征；步骤S3：特征选择：去除相关特征，计算Pearson相关矩阵剔除高相关特征（p>0.90)；并利用递归特征消除的方法根据预测能力对剩余特征排序；步骤S4：特征融合：采用自然语言处理技术转换医生提供的临床病理信息；将影像组学特征、深度学习特征和临床病理信息三者融合，以获得更加全面的特征信息；步骤S5：采用集成学习，利用包括支持向量机SVM、贝叶斯判别器、逻辑回归判别器和Lasso回归的分类器，预测时对各分类器的分类结果进行投票，选出最好的模型用于执行最终的图像分类。
[0010]进一步地，在步骤S1中：首先对已有的结直肠癌图像数据进行数据增强，获取更多的腹部图像，包括通过图像旋转，图像平移和图像转换的方式，将扩增后的数据输入深度学习网络U
‑
Net进行训练，模型训练后可用于自动分割出感兴趣区域，并通过手动微调分割模型得到的病变区域，以此获得更多的标注数据。
[0011]进一步地，在步骤S3中：特征选择首先遍历所有特征，两两计算Pearson相关系数，当P>0.90时， 随机去除其中一个，以使得降维后的特征不具有高相似度；然后利用递归特征消除，根据预测能力对剩余特征排序。
[0012]进一步地，在步骤S4中：临床病理信息特征选择通过逐步判别回归，将所有特征依次引入进行逐个检验；当原引入的特征变量由于后面变量的引入而变得不再显著时，将其剔除；反复进行直到既无显著的变量选入方程，也无不显著自变量从回归方程中剔除为止。
[0013]以及，一种结合深度学习与影像组学的结直肠癌图像分类系统，其特征在于：基于计算机系统，包括：数据预处理模块，采用数据增强方法，对结直肠癌图像数据进行扩增；使用手动标记数据对分割网络进行训练，利用训练好的模型从图像中自动分割感兴趣区域，以获取更多含有标注的数据；特征提取模块，通过开源的Python软件包Pyradiomics从腹部CT中提取出相关组学特征；采用resnet训练模型选择结果最好的一个模型，用这个模型去提取深度学习特征；特征选择模块，用于去除相关特征，计算Pearson相关矩阵剔除高相关特征（p>0.90)；并利用递归特征消除的方法根据预测能力对剩余特征排序；特征融合模块，采用自然语言处理技术转换医生提供的临床病理信息；将影像组学特征、深度学习特征和临床病理信息三者融合，以获得更加全面的特征信息；集成学习模块，利用包括支持向量机SVM、贝叶斯判别器、逻辑回归判别器和Lasso
回归的分类器，预测时对各分类器的分类结果进行投票，选出最好的模型用于执行最终的图像分类。
[0014]进一步地，在所述数据预处理模块中，数据增强采用图像旋转，图像平移和图像转换的方式，并将扩增后的数据输入深度学习网络U
‑
Net进行训练。
[0015]进一步地，在所述特征选择模块中，首先遍历所有特征，两两计算Pearson相关系数，当P>0.90时， 随机去除其中一个，以使得降维后的特征不具有高相似度；然后利用递归特征消除，根据预测能力对剩余特征排序。
[0016]进一步地，在所述特征融合模块中，对临床病理信息特征的选择处理为，通过逐步判别回归，将所有特征依次引入进行逐个检验；当原引入的特征变量由于后面变量的引入而变得不再显著时，将其剔除；反复进行直到既无显著的变量选入方程，也无不显著自变量从回归方程中剔除为止。
[0017]与现有技术相比，本专利技术及其优选方案的主要设计点包括：1、针对结直肠癌医学图像分类的任务，设计了一种融合影像组学特征、深度学习特征和临床特征的网络，能够实现将多种特征融合，不仅有具有可解释性的影像组学特征，还结合更深层次的抽象的深度学习特征以及医生和病人提供的信息。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合深度学习与影像组学的结直肠癌图像分类方法，其特征在于，包括以下步骤：步骤S1：数据预处理：采用数据增强方法，对结直肠癌图像数据进行扩增；使手动标记数据对分割网络进行训练，利用训练好的模型从图像中自动分割感兴趣区域，以获取更多含有标注的数据；步骤S2：特征提取：通过开源的Python软件包Pyradiomics从腹部CT中提取出相关组学特征；采用resnet训练模型选择结果最好的一个模型，用这个模型去提取深度学习特征；步骤S3：特征选择：去除相关特征，计算Pearson相关矩阵剔除高相关特征（p>0.90)；并利用递归特征消除的方法根据预测能力对剩余特征排序；步骤S4：特征融合：采用自然语言处理技术转换医生提供的临床病理信息；将影像组学特征、深度学习特征和临床病理信息三者融合，以获得更加全面的特征信息；步骤S5：采用集成学习，利用包括支持向量机SVM、贝叶斯判别器、逻辑回归判别器和Lasso回归的分类器，预测时对各分类器的分类结果进行投票，选出最好的模型用于执行最终的图像分类。2.根据权利要求1所述的结合深度学习与影像组学的结直肠癌图像分类方法，其特征在于：在步骤S1中：首先对已有的结直肠癌图像数据进行数据增强，获取更多的腹部图像，包括通过图像旋转，图像平移和图像转换的方式，将扩增后的数据输入深度学习网络U
‑
Net进行训练，模型训练后可用于自动分割出感兴趣区域，并通过手动微调分割模型得到的病变区域，以此获得更多的标注数据。3.根据权利要求1所述的结合深度学习与影像组学的结直肠癌图像分类方法，其特征在于：在步骤S3中：特征选择首先遍历所有特征，两两计算Pearson相关系数，当P>0.90时， 随机去除其中一个，以使得降维后的特征不具有高相似度；然后利用递归特征消除，根据预测能力对剩余特征排序。4.根据权利要求1所述的结合深度学习与影像组学的结直肠癌图像分类方法，其特征在于：在步骤S4中：临床病理信息特征选择通过逐步判别回归，将所有特征依次引入进行逐个检验；当原引入的特征变量由于后面变量的引入而变得不再显著时，将其剔除；反复进行直到既...

【专利技术属性】
技术研发人员：黄立勤，何甜，潘林，郑绍华，
申请(专利权)人：福州大学，
类型：发明
国别省市：