一种串联融合DenseNet和Transformer的皮肤图像特征提取方法技术

本发明专利技术提出了一种串联融合DenseNet和Transformer的皮肤图像特征提取方法，属于深度学习图像分类领域。所述方法包括对输入图片进行预处理，将输入的图片转换为张量，送入DenseNet部分进行特征提取，获得面部的局部特征；经过DenseNet后得到的特征图再送入Transformer获得面部的全局特征；对全局特征和局部特征进行信息融合，获得融合特征，通过融合特征来进行皮肤图像识别；Transformer输出的特征图还要经过Layer Noraml层、平均池化层和全连接层，最后输出预测类别和患病概率。本发明专利技术可充分利用全局特征和局部特征中所蕴含的皮肤信息，进而提高皮肤诊断的准确率，可以很好的判断皮肤病的类型和患病概率。以很好的判断皮肤病的类型和患病概率。

【技术实现步骤摘要】
一种串联融合DenseNet和Transformer的皮肤图像特征提取方法


[0001]本专利技术涉及深度学习图像分类领域，具体涉及一种通过串联融合DenseNet和Transformer来更充分的提取皮肤疾病图像特征的方法。

技术介绍

[0002]皮肤病是医学上的比较常见的多发性疾病，皮肤检测技术越来越受关注。传统人工诊断有着一定的主观性，无法满足复杂多样的皮肤病的检测要求。近年来，深度学习技术逐渐在更多熟知的领域都得以应用，在许多任务中，通过深度学习得到的特征被证明比传统方法构造的特征具有更强的表示能力。
[0003]深度学习的研究已然成为一种应用趋势，其中卷积神经网络(CNN)模型一直是CV领域的主流模型且最具有应用前景，渐渐变成了机器学习和计算机视觉领域中应用最广泛的对象，并取得了很好的成果。DenseNet卷积运算善于提取局部特征，却不具备提取全局表征的能力，为了感受图像全局信息必须依靠堆叠卷积层，采用池化操作来扩大感受野。而Transformer具备了全局、动态感受野的能力，则打破了CNN在视觉表征方面的垄断，在图像识别任务上取得了更好的结果。利用深度网络进行特征提取方法被广泛地应用于图像、语音、视频等各个方面。
[0004]包括皮肤诊断在内的医学图像分析领域，目前面临的一个困难就是高质量的医学图像数据量不足。面对数据量不足的图像，我们要更加充分的提取图像上的信息。在皮肤疾病图像辅助诊断方面，充分对CNN算法和Transformer进行融合，提升图像处理性能，提高诊断的准确率。
专利
技术实现思路

[0005]本专利技术的目的在于克服现有技术中的不足，提供一种利用串联融合DenseNet和Transformer针对ISIC2019数据集中黑色素瘤、黑素细胞痣、基底细胞癌、光化性角化病、良性角化病、皮肤纤维瘤、血管瘤、鳞状细胞癌8种皮肤病图像进行深度特征提取的方法。利用DenseNet擅长提取图像的局部特征，而Transformer结构更擅长提取图像的全局特征的优点，以及皮肤图像需要关注的病变区域的边缘和纹理等局部特征的特点，先使用DenseNet提取关键信息，再使用Transformer对这些信息进行全局分析，使其在皮肤图像中更好的提取病变特征，提高辅助诊断的准确率。
[0006]为达到上述目的，本专利技术是采用下述技术方案实现的：
[0007]步骤一、下载开源数据集ISIC2019，并将所有图片压缩到448*448大小；
[0008]步骤二、保留DenseNet中的第一个卷积层、池化层、第一个Transition Layer层和前两个Dense Block层，作为局部特征提取模块。输入的图片转换为张量，送入特征提取模块进行局部特征提取；
[0009]步骤三、图片张量经过局部特征提取模块后得到的特征向量经过一个卷积核大小
为1*1，卷积核个数为96的卷积层对DenseNet输出的特征图在通道数量上进行降维，以匹配Transformer中的第一个Stage对输入的向量在通道数量上的要求；
[0010]步骤四、降维后的特征图送入Transformer算法进行进一步的特征提取，Transformer算法选择Swin Transformer
‑
Tiny。该算法分为4个Stage，每个Stage中Swin Transformer Block的数目为2，2，6，2。
[0011]步骤五、经过Transformer提取后的特征向量经过Layer Noraml层、池化层和全连接层输出图像分类的预测结果。
附图说明
[0012]图1为本专利技术所述的算法的使用流程图。
[0013]图2为本专利技术提出算法的结构图。
[0014]图3为本专利技术中DenseNet Block内部结构图。
[0015]图4为本专利技术中Swin Transformer Blocks内部结构图。
具体实施方式
[0016]为进一步了解本专利技术的内容，结合附图对本专利技术作详细描述。本专利技术的具体使用过程由以下步骤实现：
[0017]步骤一、下载国际皮肤成像协作组织开源的数据集ISIC2019，数据集共25331张图片，共包含八种皮肤病类型：黑色素瘤、黑素细胞痣、基底细胞癌、光化性角化病、良性角化病、皮肤纤维瘤、血管瘤、鳞状细胞癌。将数据集中的每个类别的图片按照8:2的比例划分为训练集和测试集，皮肤病类型的标签按照0，1，2，3...排列，并将图片名称和标签信息保存在一个csv文件中，方便训练时的信息读取。为了缓解数据不平衡的问题和避免训练时的过拟合，对皮肤病图片进行数据增强处理，具体为使用旋转、平移等几何变换方法。由于该改进算法要求输入的图片尺寸为448*448*3，因此将数据集进行缩小分辨率处理，将数据集图片的分辨率缩小为48*448*3。
[0018]步骤二、对于皮肤病的检测，我们需要更加关注皮肤损伤的局部特征，比如损伤部分的边缘形状和损伤区域内的纹理。而损伤区域外面的皮肤表面的特征，我们并不需要考虑。DenseNet算法主要负责局部特征的提取。并不需要完整的DenseNet作为Swin Transformer的前置部分，只需要DenseNet中的第一个卷积层，池化层，前两个Dense Block和第一个Transition Layer来组成局部特征提取模块。利用该模块提取大量图像特征，得到图像的特征图。卷积的核心，其功能是对数据进行特征提取，一般由多个卷积核组成。每个卷积核与上一层特征图的局部区域相互连接，这部分区域即为卷积核在上一层的感受野，卷积核通过卷积操作能够得到新的特征图。特征图的计算一般分为2步：先通过卷积核对上一层数据进行卷积运算，之后对每个运算结果施加非线性函数。通常卷积层的形式为：
[0019][0020]式中，为第l层输出的第j个特征向量，f为激励函数，k为特征量个数，为第l
‑
1层输出的第i个特征量，*为卷积运算，为第i层输出的第j个卷积核的权重矩阵，为第i层输出的第j个卷积核的偏置矩。
[0021]首先448*448*3的图像经过DenseNet的第一个卷积层，得到224*224*3的特征向量，第一个卷积层的核大小7*7，64个卷积核，步长为2。输出的特征向量经过一个尺寸为3*3，步长为2的最大池化层，得到112*112*64的特征向量。然后进入第一个Dense Block模块，该模块内部含有可选层Bottleneck，每一层的输入是前面所有层的输出在通道上的拼接。第一个Dense Block中含有六组1*1的卷积层和3*3的卷积层。输入第一个Dense Block的112*112*64的特征向量首先经过Block中的Batch Normalization层和ReLU层，输出的特征向量维度不会发生改变，依然为112*112*64。然后进入可选层Bottleneck，该层为了减少向量在通道上的拼接造成的深度过大的现象，采用1*1的卷积核，输出为112*112*128。再经过一个卷积核本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种串联融合DenseNet和Transformer的皮肤图像特征提取方法，其特征在于，包括如下步骤：步骤一、下载开源数据集ISIC2019，并将所有图片压缩到448*448大小；步骤二、保留DenseNet中的第一个卷积层、池化层、第一个Transition Layer层和前两个Dense Block层，作为局部特征提取模块。输入的图片转换为张量，送入特征提取模块进行局部特征提取；步骤三、图片张量经过局部特征提取模块后得到的特征向量经过一个卷积核大小为1*1，卷积核个数为96的卷积层对DenseNet输出的特征图在通道数量上进行降维，以匹配Transformer中的第一个Stage对输入的向量在通道数量上的要求；步骤四、降维后的特征图送入Transformer算法进行进一步的特征提取，Transformer算法选择Swin Transformer
‑
Tiny。该算法分为4个stage，每个stage中block的数目为2，2，6，2。步骤五、经过Transformer提取后的特征向量经过LN层，池化层和全连接层输出图像分类的预测结果。2.根据权利要求1所述的一种串联融合DenseNet和Transformer的皮肤图像特征提取方法，其特征在于：先将输入的图片转换为张量，送入DenseNet部分进行特征提取，DenseNet部分主要负责局...

【专利技术属性】
技术研发人员：白雪梅，王帅，张晨洁，史新瑞，赵荟圆，侯聪聪，王澳，师宏锦，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：