一种基于神经网络集成学习的皮肤镜图像的分类方法技术

本发明专利技术公开一种基于神经网络集成学习的皮肤镜图像的分类方法，包括如下步骤：1)图像数据处理单元，用于将原始皮肤图像进行预处理和分割生成病理图像数据；2)图像数据分类单元，用于对病理图像数据进行特征提取并生成病理图像分类数据；3)图像数据集成单元，用于对病理图像分类数据进行拟合处理产生病理图像强分类结果；本发明专利技术通过对皮肤镜图像的提取特征，实现对恶性黑色素瘤、良性痣和脂溢性角化病的病理图像强分类。

【技术实现步骤摘要】
一种基于神经网络集成学习的皮肤镜图像的分类方法
本专利技术属于计算机深度学习图像分类领域，尤其涉及一种基于神经网络集成学习的皮肤镜图像的强分类方法。
技术介绍
皮肤癌是主要的公共卫生问题，在美国每年有超过500万新诊断的病例。黑色素瘤是世界上增长率和致死率最高的皮肤癌形式，每年导致很多例死亡。黑色素瘤在早期阶段繁殖较为缓慢，如果早期能得到诊断并及时治疗，存活率会大大提高。色素病变发生在皮肤表面，为了提高黑色素瘤的诊断，引入了皮肤镜技术。皮肤镜是一种非侵入性的皮肤成像技术，可以放大和照亮皮肤区域，增加皮肤清晰度。通过消除皮肤表面反射，增强深层皮肤的可视化效果。与标准摄影相比，皮肤镜技术可以大大提高诊断的准确性。但是，皮肤科医生对皮肤病变进行区分通常是耗时的且主观的，并且诊断的准确性很大程度取决于医生的专业水平，缺乏经验的医生可能不能准确判断。计算机自动识别是非主观的，可以辅助医生进行判断。过去几十年里有很多研究尝试过很多自动分析方法，这些方法通常包括四个步骤：图像预处理、边缘检测或分割、特征提取、分类。早期的工作中，大量的研究使用浅层模型进行皮肤镜图像的分类，主要利用低水平特征如外形、颜色、纹理特征或它们的组合。但是，这些模型提取的信息是低级特征，这些特征缺乏高层次表示能力，泛化能力较差。近年来，卷积神经网络在图像分析任务中有了很大的突破，特别是深度卷积神经网络(DCNN)，可以提取深度特征，有更好的辨别能力，从而实现分类性能的提高。有研究逐渐将DCNN应用到医学图像分析任务中，包括对黑色素瘤的分类任务。>深度网络需要大量的数据集来获得更有效特征，而医学图像数据通常很难获得，数据集相对较小。如果直接使用较小的数据集进行深度网络的训练，会导致模型的过拟合。因此，深度神经网络在对黑色素瘤的分类问题上仍存在很大挑战。计算机自动识别黑色素瘤仍然有很多困难。首先，皮损在颜色、形状等方面有很大的类别间相似性和类内变异等问题；在视觉上恶性皮肤肿瘤与良性痣十分相似，因此很难对恶性黑色素瘤进行识别。其次，皮肤镜图像中皮损区域面积变化大，有些皮肤镜图像中皮损区域只占了很小一部分，并且有些图像中皮损区域与正常皮肤之间的边界模糊，这些因素都会干扰对黑色素瘤的自动识别。第三，皮肤镜图像中会有人工制品，如毛发、人工标尺等，都可能会使识别黑色素瘤变的困难。这些因素都可能影响深度神经网络对黑色素瘤的特征提取，并且单一的网络可能不能提取出全部重要特征，实际很难有一个在各方面表现都很好的模型。
技术实现思路
为了解决现有技术存在技术问题，本专利技术提供一种基于神经网络集成学习的皮肤镜图像的分类方法，该方法通过对不同深度神经网络得出的分类结果数据进行集成学习，使用局部全连接对每个类别的预测结果提取特征，从而获得对每个类别的更好的集成效果，实现对恶性黑色素瘤、良性痣和脂溢性角化病的分类。本专利技术采用如下技术方案予以实施。一种基于神经网络集成学习的皮肤镜图像的分类方法，包括如下步骤：--图像数据处理单元：用于将原始皮肤图像进行预处理和分割生成病理图像数据；--图像数据分类单元：用于对病理图像数据进行特征提取并生成病理图像分类数据；--图像数据集成单元：用于对病理图像分类数据进行拟合处理产生病理图像强分类结果。所述图像数据处理单元生成病理图像数据的具体步骤：--采用U-net网络对原始皮肤图像进行分割；所述U-net网络包括收缩路径和扩张路径；所述U-net网络通过扩张路径将采样图像数据与收缩路径对图像数据的特征映射相结合，使U-net网络最终输出既能满足空间信息的浅层，又能满足语义信息的深层图像数据；--分割掩码模块对原始皮肤图像进行图像裁剪，将病变区域充斥在图像中并且能裁剪掉干扰信息，其中对原始皮肤图像进行180度的旋转变换，水平和垂直翻转图像，以及在图像高度和宽度两个方向分别移动0.1，将每张原始图像生成5份病理图像数据。所述图像数据分类单元生成病理图像分类数据的具体步骤：--分别通过Inception-v3,Densenet169,ResNet50,Inception-ResNet-v2和xception网络对病理图像数据进行五类特征并行提取；--分别通过Inception-v3,Densenet169,ResNet50,Inception-ResNet-v2和xception网络中添加的挤压-激励模块对病理图像五类特征进行加权集成学习；--通过softmax分类器对病理图像完成强分类。有益效果1、本专利技术在基础神经网络基础上添加SE块，相当于给特征提取增加权重，更有效地提取有用病理图像特征；2、本专利技术设计一个基于神经网络的集成学习模型，使用局部全连接对分类结果数据进行集成学习，针对不同类别的病理图像得到更精确的强分类结果。附图说明图1.本专利技术的整体流程图图2.Inception-V3网络使用图像预处理分割前和分割后的分类结果对比图3.不同网络和本方法的三分类结果对比图4.不同网络和本方法对恶性黑色素瘤的二分类结果对比图5.不同网络和本方法对脂溢性角化病的二分类结果对比图6.不同网络、不同集成方法和本方法的两个重要二分类结果对比图7.本方法和所用数据集竞赛前五名的结果对比具体实施方式：下面结合附图对本专利技术做出详细说明：如图1所示，本专利技术提供一种基于神经网络集成学习的皮肤镜图像的分类方法。图像数据处理单元，用于将原始皮肤图像进行预处理和分割生成病理图像数据。(一)采用U-net网络对原始皮肤图像进行分割；所述U-net网络包括收缩路径和扩张路径；所述U-net网络通过扩张路径将采样图像数据与收缩路径对图像数据的特征映射相结合，使U-net网络最终输出既能满足空间信息的浅层图像数据，又能满足语义信息的深层图像数据；将最后一个块和第一个块结合起来，通过卷积层可获得与原始图像大小相同的featuremap，通过1×1的卷积层生成最终的预测图像。(二)分割掩码模块对原始皮肤图像进行图像裁剪，将病变区域充斥在图像中并且能裁剪掉干扰信息，其中对原始皮肤图像进行180度的旋转变换，分别通过水平和垂直翻转图像，以及在图像的高度和宽度方向分别移动0.1，将每张原始图像生成五组病理图像数据。(三)图像数据分类单元，用于对病理图像数据进行特征提取生成病理图像分类数据；分别通过Inception-v3,Densenet169,ResNet50,Inception-ResNet-v2和xception网络对病理图像数据进行特征提取；网络都是由卷积层和池化层构成。(四)分别通过Inception-v3,Densenet169,ResNet50,Inception-ResNet-v2和xception网络中添加挤压-激励模块对病理图像数据特征进行加权处理；(五)通过softmax分类器对病理图像分类数据进行强分类集成学习。图像数据集成单元，用于对病理图本文档来自技高网...

【技术保护点】
1.一种基于神经网络集成学习的皮肤镜图像的分类方法，包括如下步骤：/n--图像数据处理单元：用于将原始皮肤图像进行预处理和分割生成病理图像数据；/n--图像数据分类单元：用于对病理图像数据进行特征提取并生成病理图像分类数据；/n--图像数据集成单元：用于对病理图像分类数据进行拟合处理产生病理图像强分类结果。/n

【技术特征摘要】
1.一种基于神经网络集成学习的皮肤镜图像的分类方法，包括如下步骤：
--图像数据处理单元：用于将原始皮肤图像进行预处理和分割生成病理图像数据；
--图像数据分类单元：用于对病理图像数据进行特征提取并生成病理图像分类数据；
--图像数据集成单元：用于对病理图像分类数据进行拟合处理产生病理图像强分类结果。


2.根据权利要求1所述的一种基于神经网络集成学习的皮肤镜病理图像的分类方法，所述图像数据处理单元生成病理图像数据的具体步骤：(1)采用U-net网络对原始皮肤图像进行分割；所述U-net网络包括收缩路径和扩张路径；所述U-net网络通过扩张路径将采样图像数据与收缩路径对图像数据的特征映射相结合，使U-net网络最终输出既能满足空间信息的浅层，又能满足语义信息的深层图像数据；(2)分割掩码模块对原始皮肤图像进行图像裁...

【专利技术属性】
技术研发人员：郭菲，宋洁，李佳玮，唐继军，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12