基于深度残差网络和Fisher向量技术的皮肤镜图像分类方法技术

本发明专利技术公开了一种基于深度残差网络和Fisher向量技术的皮肤镜图像分类方法，首先使用数据集对预训练ResNet

【技术实现步骤摘要】
基于深度残差网络和Fisher向量技术的皮肤镜图像分类方法


[0001]本专利技术属于图像处理
，具体涉及一种皮肤镜图像分类方法。

技术介绍

[0002]大多数传统的计算机辅助诊断皮肤病解决方案包括四个步骤，包括皮肤镜图像预 处理、皮肤病变分割、特征提取和分类。大量手工制作皮肤病变的颜色、形状、大小 和纹理等视觉特征首先在预处理的皮肤镜图像上提取，然后用于训练分类器。
[0003]传统方法以无监督的方式提取图像特征，而不需要大量的训练样本，这与其说是 优点，不如说是缺点，因为几乎不可能找到一组最佳的手工特征或最准确的分类器。 因此，传统方法在皮肤病变的诊断中通常表现相对较差。
[0004]自从AlexNet在2012年ImageNet挑战赛中赢得冠军以来，深度卷积神经网络 (DCNN)已普遍应用于许多视觉应用，并取得了显着的成功，包括图像分类、图像分 割和目标检测。这种成功促使许多研究人员在医学图像分析中使用DCNN。然而， DCNN因其具有数百万个可学习参数而受到广泛批评，这使得当数据集不够大时，它 容易过度拟合训练数据集。不幸的是，在皮肤镜图像分类中通常有一个小数据集，这 与获取图像数据然后图像注释所需的工作有关。因此，DCNN在皮肤病变诊断任务上 的表现不如在ImageNet挑战赛中的表现。为了解决这种"小样本"深度学习问题，建议 将深度模型的表示能力与传统的特征聚合和分类技术相结合。
[0005]通过使用DCNN，在各种图像分类任务上取得了许多突破，通过提供统一的特征 提取/>‑
分类框架，使用户摆脱了麻烦的手工特征提取。由于DCNN模型在图像分类任 务中具有高性能，因此它也被用于皮肤病变分类：Esteva等人提出了一个模型，该模 型在近129450张皮肤病图像上进行训练，并与21名具有专科医师资格的皮肤科医生 在诊断最常见和最致命的皮肤癌方面的表现相匹配。Ge等人提出了一种具有显著性特 征描述符的多模态DCNN模型，该模型由于其能够捕获皮肤镜图像和临床摄影图像上 的判别特征，因此在分类任务中达到了优于单模态方法的性能。Zhang等人设计了一 个端到端协同深度学习(SDL)模型。与其基本版本不同，其具有协同网络来预测输 入图像对是否属于同一类，双DCN能够在训练过程中相互促进。Romero等人已经将 迁移学习范式应用于VGGNet，VGGNet被用作皮肤镜图像分类的骨干网络。
[0006]皮肤病变分类也可以在分割后进行，因为该分类仅与病变区域相关，因此提出了 另一组多任务DCNN模型。Yu等人提出的两阶段框架在第一阶段使用全卷积残留网 络(FCRN)进行皮肤病变分割，基于该框架，在第二阶段使用非常深的残留网络对皮 肤死亡进行分类。设计了新型CNN阻滞，将病变区域识别和病变 分割整合到诊断管道中。同时，分割结果在分类过程中影响较大，具有像素级注释的 可用皮肤镜图像较少，用于分类的两阶段"分割到分类"方法可能达到较低的准确性。
[0007]Fisher向量技术在2011年赢得了ImageNet挑战赛，为构建基于局部视觉描述符 的高级语义图像特征提供了一种有效的方法，例如尺度不变特征变换(SIFT)和局部 二进
制模式(LBP)。由于DCNN学习的特征图可以被视为局部特征，因此将DCNN 的强度与Fisher矢量技术相结合成为一种直接且具有竞争力的策略，以提高DCNN在 图像分类任务中的性能。
[0008]FV(Fisher Vector)编码可以应用于DCNNS学习的特征映射，而不是本地视觉 描述符(如SIFT和LBP)。Cimpoi等人将DCNN最后两层生成的特征图编码为FV 以进行纹理理解。Dixit等人提出了一种语义FV来编码DCNN的输出以进行场景分 类。Tang等人提出了FisherNet，该网络在CNN中添加了Fisher层以构建端到端可训 练系统，并且在PASCAL VOC数据集的分类准确性和计算效率方面具有明显的优势。 Simonyan等人pro145提出将FV堆叠在类似于神经网络的多层中，从而以明显更小的 计算成本实现深度卷积网络的竞争结果。Nagel等人引入了Event Fisher向量，编码预 先训练的DeepNets的特征，以描述图像集合或视频的顺序帧，以构建视觉图像流中事 件识别的紧凑表示。Liu等人提出了两种新的Fisher向量编码策略来编码预先训练的 CNN的激活，包括基于稀疏编码的Fisher向量编码(SCFVC)和基于混合稀疏编码的 Fisher向量编码(HSCFVC)，它们在各种图像分类任务中实现了优于经典Fisher向量 编码(FVC)的性能。

技术实现思路

[0009]为了克服现有技术的不足，本专利技术提供了一种基于深度残差网络和Fisher向量技 术的皮肤镜图像分类方法，首先使用数据集对预训练ResNet
‑
50模型进行训练，得到 ftResNet，再采用ftResNet进行特征提取，提取的特征视为视觉描述符；将获得的特视 觉描述符编码为FV；最后用得到的FV训练SVM对测试图像进行分类；本专利技术方法 能够大幅提供对皮肤病变分类的准确性。
[0010]本专利技术解决其技术问题所采用的技术方案包括如下步骤：
[0011]步骤1：使用数据集对预训练ResNet
‑
50模型进行训练；
[0012]使用在ImageNet数据库上预训练的ResNet
‑
50模型作进行特征提取；ResNet
‑
50 模型包括一个通用卷积层、一个最大池化层，多个残留块和一个全连接层，为了将预 先训练的ResNet
‑
50应用于皮肤病变分类，最后一个全连接层只保留前七个神经元， 并删除该层中的其他神经元和相关权重；
[0013]采用皮肤镜图像数据库作为数据集；将数据集中的图像进行随机裁剪，用于数据 增强；并将裁剪后的图片大小调整为224
×
224；使用批大小为32的随机梯度下降SGD 算法作为优化器，以最小化交叉熵损失对ResNet
‑
50模型进行训练，训练完成后得到 ftResNet；
[0014]步骤2：采用ftResNet进行特征提取，并进行缩放，不同的取值代表不同的缩放 大小；
[0015]用因子2
s
，s＝
‑
2，
‑
1.5，
···
，1，获得7个增强；
[0016]将增强后的图像输入ftResNet，将ftResNet中res5c_branch2a层的输出作为特征 图，该特征图被视为视觉描述符，其维度为D＝512；
[0017]步骤3：将获得的特征图编码为FV；
[0018]设X＝{x
k
∈R
D
；k＝1,...,K}为从K幅图像中获得描述符；
[0019]假设生成过程由X具有参数u
θ
的GMM建模θ＝{ω
l<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度残差网络和Fisher向量技术的皮肤镜图像分类方法，其特征在于，包括如下步骤：步骤1：使用数据集对预训练ResNet
‑
50模型进行训练；使用在ImageNet数据库上预训练的ResNet
‑
50模型作进行特征提取；ResNet
‑
50模型包括一个通用卷积层、一个最大池化层，多个残留块和一个全连接层，为了将预先训练的ResNet
‑
50应用于皮肤病变分类，最后一个全连接层只保留前七个神经元，并删除该层中的其他神经元和相关权重；采用皮肤镜图像数据库作为数据集；将数据集中的图像进行随机裁剪，用于数据增强；并将裁剪后的图片大小调整为224
×
224；使用批大小为32的随机梯度下降SGD算法作为优化器，以最小化交叉熵损失对ResNet
‑
50模型进行训练，训练完成后得到ftResNet；步骤2：采用ftResNet进行特征提取，并进行缩放，不同的取值代表不同的缩放大小；用因子2
s
，s＝
‑
2，
‑
1.5，
…
，1，获得7个增强；将增强后的图像输入ftResNet，将ftResNet中res5c_branch2a层的输出作为特征图，该特征图被视为视觉描述符，其维度为D＝512；步骤3：将获得的特征图编码为FV；设X＝{x
k
...

【专利技术属性】
技术研发人员：夏勇，胡航语，陈梓杨，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：