基于卷积神经网络和多层感知机的轻量级皮肤病变分割方法及系统技术方案

基于卷积神经网络和多层感知机的轻量级皮肤病变分割方法及系统，涉及图像处理技术领域，前述的方法包括模型训练：载入训练皮肤图像并对其进行图像预处理与图像增强，然后经过编码器下采样提取特征，并通过解码器上采样恢复细节，再判断损失函数是否收敛，从而保存最优模型或者重新进入编码器下采样和解码器上采样环节；图像分割：载入待分割图像并对其进行图像预处理与图像增强，然后送入最优模型中进行编码器下采样提取特征，并通过解码器上采样恢复细节，输出预测的分割结果，再对预测的分割结果进行后处理从而输出完善后的最终分割图

【技术实现步骤摘要】
基于卷积神经网络和多层感知机的轻量级皮肤病变分割方法及系统


[0001]本专利技术涉及图像处理
，尤其指一种基于卷积神经网络和多层感知机的轻量级皮肤病变分割方法及系统
。

技术介绍

[0002]在大多数国家，皮肤癌是生长最快的癌症之一，其中黑色素瘤是皮肤癌死亡的主要原因
。
早期恶性黑色素瘤是可治愈的，5年生存率超过
95
％，而晚期恶性黑色素瘤的生存率低至
15
％
。
由于色素沉着病变发生在皮肤表面，因此专家的视觉检查可以早期发现黑色素瘤
。
皮肤镜是一种非侵入性的图像诊断技术，用于观察皮肤病学皮肤色素沉着
。
通过消除表面反射，可以增强深层皮肤的可视化，使皮肤科医生能够检测人眼不可见的早期黑色素瘤
。
目前的临床实践依赖于人工目视检查来检测早期黑色素瘤，这是主观的且耗时的
。
以往的研究表明，与标准摄影相比，皮肤镜可以提高诊断的准确性
。
然而，在临床实践中，由于皮损的复杂性和皮肤镜图像数量的显著增加，人工检查可能会很主观
、
耗时且不可重复
。
对于一些具有挑战性的病例，即使是经验丰富的皮肤科医生也很难仅靠人眼来判读黑色素瘤的皮肤镜图像
。
因此，从皮肤镜图像中自动分割和精确的皮肤病变是非常必要的
。
[0003]传统的皮肤病变分割方法通常依赖于手动特征选择和图像预处理以实现良好的分割结果<br/>。
深度学习模型可以在不进行太多人工干预的情况下自动分割皮肤病变，优于传统方法，成为标准的医学图像和皮肤病变分割方法
。
例如，
UNet
是一种基于全卷积网络编码器
‑
解码器网络，已被广泛使用
。
由于
UNet
结构的简单性和高可扩展性，一些研究人员在此结构基础上提出了许多改进的方法
。
但由于卷积操作的局限性，
UNet
及其一些变体方法只关注局部信息而忽略全局信息，缺乏显式建模长期依赖关系的能力
。
由于能够捕获远程依赖，
Transformer
的自我注意机制最近被广泛应用于医学图像分割中
。SwinUNet
和
TransUNet
尝试将
Transformer
结构引入
UNet
中，从而更好地提取全局信息
。
但是
Transformer
缺少卷积神经网络的归纳偏置，往往需要依赖大规模的数据以及预培训
。
医学图像由于标注样本时成本昂贵导致数据样本数量相对较少，使得难以训练应用于医学图像分割的
Transformer
，难于满足医学图像中准确和可靠的需求，这为进一步改进留下了很大的空间
。
尽管上述研究取得了一定的进展，但仍存在以下问题：
(1)
这些方法在提取和融合局部特征和全局特征方面没有做到很好的平衡；
(2)
复杂模块带来的计算成本限制了它们的实际应用
。
[0004]最近，基于多层感知机
(MLP)
的方法在计算机视觉领域受到了广泛关注，因为它们性能既能与卷积神经网络
(CNN)
和
Transformers
相媲美，又无需较高的计算复杂度
。UNext
首先将
MLP
结构引入到
UNet
中用于医学图像分割
。PHNet
提出了一种可置换的混合网络，该网络结合了
2D
和
3D CNN
和
MLP
，以实现精确的
3D
医学图像分割
。
但是基于
MLP
的模型在皮肤病变分割领域还有待进一步开发
。
开发一种性能与计算成本相平衡的轻量级皮肤病变分割方法是有必要的
。

技术实现思路

[0005]本专利技术的目的之一在于提供一种基于卷积神经网络和多层感知机的轻量级皮肤病变分割方法，以提高图像分割的精确率
。
[0006]为了解决上述技术问题，本专利技术采用如下技术方案：一种基于卷积神经网络和多层感知机的轻量级皮肤病变分割方法，包括以下步骤：
[0007]一
、
模型训练：载入训练皮肤图像并对其进行图像预处理与图像增强，然后经过编码器下采样提取特征，并通过解码器上采样恢复细节，再判断损失函数是否收敛，从而保存最优模型或者重新进入编码器下采样和解码器上采样环节
。
[0008]二
、
图像分割：载入待分割图像并对其进行图像预处理与图像增强，然后送入最优模型中进行编码器下采样提取特征，并通过解码器上采样恢复细节，输出预测的分割结果，再对预测的分割结果进行后处理从而输出完善后的最终分割图
。
[0009]优选地，所述编码器下采样提取特征，并通过解码器上采样恢复细节的方式是基于
U
型网络结构实现的，所述
U
型网络结构包括对称布置并形成
U
型结构的编码器模块和解码器模块，所述编码器模块和解码器模块均是由3个卷积模块组成前三层
、2
个双空间位移多层感知机模块组成后两层，所述编码器模块和解码器模块的瓶颈部位设置有用于获取更大的感受野并捕获整个数据集特征的多空间位移外部注意力模块
。
[0010]更优选地，所述3个卷积模块均为用于提取局部特征的
RepVGG
模块
。
[0011]更优选地，所述2个双空间位移多层感知机模块均为用于提取图像局部到全局特征信息的
DSS
‑
MLP
模块，所述
DSS
‑
MLP
模块通过在特征图上进行两次空间位移操作来增强不同位置间的通信
。
[0012]更优选地，所述两次空间位移操作的步骤包括：
[0013]第一次空间位移操作：将输入特征图沿通道维度分割为4个张量，每个张量分别分按照上下左右移动1行或1列的像素位置，4个张量合并后切分成多个图像补丁并扁平化为
N
个
Token
输入到
MLP
中，在
MLP
中增加
Depthwise
卷积保持位置信息，激活函数使用
GELU
；
[0014]第二次空间位移操作：与第一次空间位移操作的位移量相同，但是每组张量的位移方向相反
。
[0015]更优选地，所述多空间位移外部注意力模块使用多空间位移操作来捕获多尺度，并增强特征多样性，所述多空间位移操作的步骤包括：首本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于卷积神经网络和多层感知机的轻量级皮肤病变分割方法，其特征在于，包括以下步骤：一
、
模型训练：载入训练皮肤图像并对其进行图像预处理与图像增强，然后经过编码器下采样提取特征，并通过解码器上采样恢复细节，再判断损失函数是否收敛，从而保存最优模型或者重新进入编码器下采样和解码器上采样环节；二
、
图像分割：载入待分割图像并对其进行图像预处理与图像增强，然后送入最优模型中进行编码器下采样提取特征，并通过解码器上采样恢复细节，输出预测的分割结果，再对预测的分割结果进行后处理从而输出完善后的最终分割图
。2.
根据权利要求1所述的基于卷积神经网络和多层感知机的轻量级皮肤病变分割方法，其特征在于：所述编码器下采样提取特征，并通过解码器上采样恢复细节的方式是基于
U
型网络结构实现的，所述
U
型网络结构包括对称布置并形成
U
型结构的编码器模块和解码器模块，所述编码器模块和解码器模块均是由3个卷积模块组成前三层
、2
个双空间位移多层感知机模块组成后两层，所述编码器模块和解码器模块的瓶颈部位设置有用于获取更大的感受野并捕获整个数据集特征的多空间位移外部注意力模块
。3.
根据权利要求2所述的基于卷积神经网络和多层感知机的轻量级皮肤病变分割方法，其特征在于：所述3个卷积模块均为用于提取局部特征的
RepVGG
模块
。4.
根据权利要求2所述的基于卷积神经网络和多层感知机的轻量级皮肤病变分割方法，其特征在于：所述2个双空间位移多层感知机模块均为用于提取图像局部到全局特征信息的
DSS
‑
MLP
模块，所述
DSS
‑
MLP
模块通过在特征图上进行两次空间位移操作来增强不同位置间的通信
。5.
根据权利要求4所述的基于卷积神经网络和多层感知机的轻量级皮肤病变分割方法，其特征在于，所述两次空间位移操作的步骤包括：第一次空间位移操作：将输入特征图沿通道维度分割为4个张量，每个张量分别分按照上下左右移动1行或1列的像素位置，4个张量合并后切分成多个图像补丁并扁平化为
N
个
Token
输入到
MLP
中，在
MLP
中增加
Depthwise
卷积保持位置信息，激活函数使用
GELU
；第二次空间位移操作：与第一次空间位移操作的位移量相同，但是每组张量的位移方向相反
。6.
根据权利要求2所述的基于卷积神经网络和多层感知机的轻量级皮肤病变分割方法，其特征在于：所述多空间位移外部注意力模块使用多空间位移操作来捕获多尺度，并增强特征多样性，所述多空间位移操作的步骤包括：首先降低输...

【专利技术属性】
技术研发人员：陈灵娜，朱文豪，
申请(专利权)人：新疆理工学院，
类型：发明
国别省市：