一种基于边界引导Transformer的黑色素瘤皮肤病检测方法及系统技术方案

本发明专利技术公开了一种基于边界引导Transformer的黑色素瘤皮肤病检测方法及系统，包括获取待检测的皮肤镜图像数据集；构建黑色素瘤皮肤病检测方法；模型训练，将训练数据集中的数据输入检测模型中，得到区域预测图，并进行迭代训练；将模型训练中得到的区域预测图进行模型检测，并输出检测结果图。并设计了一个边界引导特征增强模块，利用边界信息引导浅级区域特征学习，增强特征表示能力；及一个互补融合模块，利用深层特征滤除浅层特征中的背景噪声，并逐层融合得到更清晰的预测；及一个细节细化模块，利用骨干网络最底层的特征来补充空间细节信息，细化预测结果。该模型检测精度高，实时性强，具有很好的临床应用价值。值。值。

【技术实现步骤摘要】
一种基于边界引导Transformer的黑色素瘤皮肤病检测方法及系统


[0001]本专利技术涉及皮肤病检测
，特别是一种基于边界引导Transformer的黑色素瘤皮肤病检测方法。

技术介绍

[0002]黑色素瘤皮肤病是致死率最高的皮肤癌之一。据统计，处于早期皮肤癌的患者生存率高达95％，而到达晚期后生存率已低至15％。黑色素瘤会导致病变皮肤表面色素沉着，尽管医生可以通过肉眼检查色素沉着区域，但病变的复杂性和肿瘤的不同特征，导致即使是经验丰富的医生也很难准确的诊断出黑色素瘤。所以，在临床实践中，应用皮肤镜技术筛查病变皮肤并尽早实施干预，可有效提高患者的生存率。然而，不同的病变大小、不同的皮肤颜色和不规则的病变边界，都极大的增加了从皮肤镜图像中发现黑色素瘤的难度。
[0003]传统的黑色素瘤皮肤病检测方法主要是基于阈值、边缘、区域等轮廓模型或聚类、监督学习，虽然这类方法能检测出病变的主要位置，但当出现皮肤镜图像不均匀或病变边界模糊等极端情况时，往往出现误检和漏检的情况，检测精度低。随着深度学习的发展，也出现了基于卷积神经网络的黑色素瘤皮肤病检测模型，但这类模型全局建模能力弱，对于病变边界的检测仍然不够准确。
[0004]虽然上述方法在黑色素瘤皮肤病的自动检测上取得了一定的进展，但想要真正应用于临床实践中，检测准确性和检测精确性仍然需要进一步提高。这主要受限于三个原因：一是病变的大小、颜色和形状不固定，二是病变区域的边界隐藏在复杂背景中，三是毛发的存在使病变区域存在遮挡。所以，目前的黑色素瘤皮肤病自动检测技术仍然存在一定的局限性。

技术实现思路

[0005]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0006]鉴于上述和/或现有的黑色素瘤皮肤病自动检测技术中存在的问题，提出了本专利技术。
[0007]因此，本专利技术所要解决的问题在于如何提供一种基于边界引导Transformer的黑色素瘤皮肤病检测方法。
[0008]为解决上述技术问题，本专利技术提供如下技术方案：一种基于边界引导Transformer的黑色素瘤皮肤病检测方法，其包括，获取待检测的皮肤镜图像数据集；构建黑色素瘤皮肤病检测方法；模型训练，将训练数据集中的数据输入检测模型中，得到区域预测图，并进行迭代训练；将模型训练中得到的区域预测图进行模型检测，并输出检测结果图。
[0009]作为本专利技术所述基于边界引导Transformer的黑色素瘤皮肤病检测方法，其中：所
述构建黑色素瘤皮肤病检测方法包括以下步骤：利用基于transformer的PVTv2作为模型的骨干网络对需要检测的皮肤镜图像进行编码，得到骨干网络的layer1
‑
layer4的侧输出特征；将得到的侧输出特征别送入卷积层进行压缩得到融合特征。
[0010]作为本专利技术所述基于边界引导Transformer的黑色素瘤皮肤病检测方法，其中：所述模型训练为将区域预测图上传并进行迭代训练，深度监督预测图与真实标注间的误差，并更新网络参数。
[0011]作为本专利技术所述基于边界引导Transformer的黑色素瘤皮肤病检测方法，其中：所述模型检测为将区域预测图通过激活函数归一化，并输出皮肤病检测结果图。
[0012]本专利技术的另一个目的是提供一种基于边界引导Transformer的黑色素瘤皮肤病检测系统，解决黑色素瘤皮肤病自动检测问题，其包括：边界引导特征增强模块，其包括边界引导特征增强模块1、边界引导特征增强模块2和边界引导特征增强模块3，用于增强模块挖掘隐藏的病变边界来引导区域预测的学习；互补融合模块，其包括互补融合模块1、互补融合模块2和互补融合模块3，用于滤除背景噪声并逐层融合特征；多尺度全局感知模块，用于在网络顶层扩大感受野，推断病变的初始位置；细节细化模块，用于提取到的特征补充空间细节信息，细化特征。
[0013]作为本专利技术所述基于边界引导Transformer的黑色素瘤皮肤病检测系统的一种优选方案，其中：所述边界引导特征增强模块包括以下步骤：
[0014]将深层特征F
i+1
上采样至与本层特征f
i
′
大小一致，具体计算公式为：
[0015][0016]其中，为上采样特征，F
i+1
为深层特征，i＝{1,2,3}，Up(a,b)表示双线性插值上采样操作，将a上采样至b相同大小。
[0017]将通过反向注意力来突出背景特征F
ibg
，并加权到f
i
′
上，利用直接加权f
i
′
以突出前景特征F
ifg
，并分别通过一个卷积层，所述卷积层后附有一个批归一化层BatchNorm和一个非线性激活层PReLU，具体公式为：
[0018][0019][0020]其中，F
ibg
为背景特征，F
ifg
为前景特征，卷积参数为{3
×
3，64，64}，RA(
·
)表示反向注意力，δ表示sigmoid激活函数。
[0021]将前景特征F
ifg
与背景特征F
ibg
沿通道维度拼接，具体计算公式为：
[0022]F
ifbg
＝Cat(F
ibg
,F
ifg
)
[0023]其中，Cat(f
a
,f
b
)表示concatenate操作，将f
a
和f
b
沿通道维度拼接。
[0024]沿通道维度计算统计数据，分别求通道维度空间信息的平均值和最大值，得到特征F
imean
和F
imax
，具体计算公式为：
[0025]F
imean
＝mean(F
ifbg
)
[0026]F
imax
＝max(F
ifbg
)
[0027]其中，i＝{1,2,3}，mean(
·
)表示沿通道维度求平均值，max(
·
)表示沿通道维度求最大值。
[0028]将特征F
imean
和F
imax
沿通道维度拼接，得到空间特征F
ispace
，具体计算公式为：
[0029]F
ispace
＝Cat(F
imean
+F
imax
)
[0030]其中，Cat(
·
)表示concatenate操作，F
ispace
为空间特征。
[0031]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边界引导Transformer的黑色素瘤皮肤病检测方法，其特征在于：包括，获取待检测的皮肤镜图像数据集；构建黑色素瘤皮肤病检测方法；模型训练，将训练数据集中的数据输入检测模型中，得到区域预测图，并进行迭代训练；将模型训练中得到的区域预测图进行模型检测，并输出检测结果图。2.如权利要求1所述的基于边界引导Transformer的黑色素瘤皮肤病检测方法，其特征在于：所述构建黑色素瘤皮肤病检测方法包括以下步骤：利用基于transformer的PVTv2作为模型的骨干网络对需要检测的皮肤镜图像进行编码，得到骨干网络的layer1
‑
layer4的侧输出特征；将得到的侧输出特征别送入卷积层进行压缩得到融合特征。3.如权利要求1所述的基于边界引导Transformer的黑色素瘤皮肤病检测方法，其特征在于：所述模型训练为将区域预测图上传并进行迭代训练，深度监督预测图与真实标注间的误差，并更新网络参数。4.如权利要求1所述的基于边界引导Transformer的黑色素瘤皮肤病检测方法，其特征在于：所述模型检测为将区域预测图通过激活函数归一化，并输出皮肤病检测结果图。5.一种基于边界引导Transformer的黑色素瘤皮肤病检测系统，其特征在于：包括权利要求1～4任一所述的基于边界引导Transformer的黑色素瘤皮肤病检测方法；以及，边界引导特征增强模块，其包括边界引导特征增强模块1、边界引导特征增强模块2和边界引导特征增强模块3，用于增强模块挖掘隐藏的病变边界来引导区域预测的学习；互补融合模块，其包括互补融合模块1、互补融合模块2和互补融合模块3，用于滤除背景噪声并逐层融合特征；多尺度全局感知模块，用于在网络顶层扩大感受野，推断病变的初始位置；细节细化模块，用于提取到的特征补充空间细节信息，细化特征。6.如权利要求5所述的基于边界引导Transformer的黑色素瘤皮肤病检测系统，其特征在于：所述边界引导特征增强模块包括以下步骤：将深层特征F
i+1
上采样至与本层特征f
i
′
大小一致，具体计算公式为：其中，为上采样特征，F
i+1
为深层特征，i＝{1,2,3}，Up(a,b)表示双线性插值上采样操作，将a上采样至b相同大小；将通过反向注意力来突出背景特征F
ibg
，并加权到f
i
′
上，利用直接加权f
i
′
以突出前景特征F
ifg
，并分别通过一个卷积层，所述卷积层后附有一个批归一化层BatchNorm和一个非线性激活层PReLU，具体公式为：一个非线性激活层PReLU，具体公式为：其中，F
ibg
为背景特征，F
ifg
为前景特征，卷积参数为{3
×
3，64，64}，RA(
·
)表示反向注意力，δ表示sigmoid激活函数；
将前景特征F
ifg
与背景特征F
ibg
沿通道维度拼接，具体计算公式为：F
ifbg
＝Cat(F
ibg
,F
ifg
)其中，Cat(f
a
,f
b
)表示concatenate操作，将f
a
和f
b
沿通道维度拼接；沿通道维度计算统计数据，分别求通道维度空间信息的平均值和最大值，得到特征F
imean
和F
imax
，具体计算公式为：F
imean
＝mean(F
ifbg
)F
imax
＝max(F
ifbg
)其中，i＝{1,2,3}，mean(
·
)表示沿通道维度求平均值，max(
·
)表示沿通道维度求最大值；将特征F
imean
和F
imax
沿通道维度拼接，得到空间特征F
ispace
，具体计算公式为：F
ispace
＝Cat(F
imean
+F
imax
)其中，Cat(
·
)表示concatenate操作，F
ispace
为空间特征；将空间特征F
ispace
通过反向注意力对F
ifbg
进行加权，得到提取的边界特征F
iB
，具体计算公式为：F
iB
＝RA(F
ifbg
,F
ispace
)其中，i＝{1,2,3}，RA(
·
)表示反向注意力；将边界特征F
iB
通过一个卷积层，所述卷积参数为{3
×
3，64，1}，卷积层后附有一个批归一化层BatchNorm和一个非线性激活层PReLU，得到边界预测图B
i
，具体计算公式为：B
i
＝Conv3×3(F
iB
)其中，i＝{1,2,3}，Conv3×3(
·
)表示3
×
3卷积层；将提取到的边界特征F
iB
分别与背景特征F
ibg
和前景特征F
ifg
沿通道维度拼接，再通过一个卷积层，所述卷积参数为{3
×
3，128，64}，卷积层后附有一个批归一化层BatchNorm和一个非线性激活层PReLU，具体计算公式为：个非线性激活层PReLU，具体计算公式为：其中，分别为引导特征，i＝{1,2,3}，Cat(
·
)表示concatenate操作，Conv3×3(
·
)表示3
×
3卷积层；将特征和特征相加得到边界引导特征增强模块的输出特征，具体计算公式为：其中，i＝{1,2,3}，F
i
为输出的特征；将特征F
i
通过一个卷积层，所述卷积参...

【专利技术属性】
技术研发人员：陈舒涵，陆露，徐祥桢，汤浩楠，俞锦豪，陈泽宇，
申请(专利权)人：扬州大学，
类型：发明
国别省市：