一种基于深度贝叶斯蒸馏网络的皮肤病变智能识别方法技术

本发明专利技术提出一种基于深度贝叶斯蒸馏网络的皮肤病变智能识别方法，在构建多尺度网络时，基于贝叶斯深度学习构建深度贝叶斯蒸馏网络，量化了模型的偶然不确定性与认知不确定性，通过多次采样分布拟合训练数据模型从而对不确定性进行更为精确的建模，降低了不确定性对结果的影响。进一步，引入了知识蒸馏对模型进行压缩，构建了一个学生网络模型拟合教师网络的输出，用教师网络的参数和真实值标签训练学生网络，从而对模型参数量与时间进行优化，减小了模型的规模与等待时间。本发明专利技术的识别准确率显著提高，同时在极少影响模型准确率情况下减少了模型参数量与运行时间。下减少了模型参数量与运行时间。下减少了模型参数量与运行时间。

【技术实现步骤摘要】
一种基于深度贝叶斯蒸馏网络的皮肤病变智能识别方法


[0001]本专利技术涉及人工智能与智慧医疗领域，尤其涉及一种基于深度贝叶斯蒸馏网络的皮肤病变智能识别方法。

技术介绍

[0002]皮肤病变具有分布人群广和分布年龄广的特点，全世界30％—70％的人口有与皮肤相关的健康问题。黑色素瘤等恶性皮肤癌，恶化速度快，死亡率高，对人类的生命安全造成很大威胁。黑色素瘤的早期诊断和及时治疗可以使患者的生存率提高到90％。因此，提高皮肤病变识别的准确性与效率具有重要的现实意义。借助卷积神经网络(Convolutional Neural Networks,CNN)，可实现基于图像的皮肤病的自动识别分类，提高诊断的效率和准确率。
[0003]当前主流CNN架构对皮肤病变识别准确率不足的主要原因在于，CNN设计存在缺陷，无法建模预测相关的不确定性，模型的输出通常为预测概率。预测概率代表了模型的置信度，但是置信度难以客观地反映模型的不确定性。因此，当前主流的CNN模型只能给出测试数据与训练数据拟合的偏差和置信度，但无法进一步提高CNN的预测准确率。而深度贝叶斯可以量化模型的不确定性，因此需要引入深度贝叶斯提高CNN的预测准确率。
[0004]当前，CNN辅助的识别皮肤病变类别，尤其是恶性皮肤病变识别，与贝叶斯深度学习结合的方案，主要分为优化超参数方法与优化结构方法。
[0005]优化超参数的方法：该类方法虽然在一定程度上缓解了由于CNN无法量化不确定性的缺陷导致的精度缺失问题，利用贝叶斯优化模型的超参数从而提高检测精度，但是没有从根本上解决CNN的结构缺陷。优化参数的方法的局限性较大，需要占用大量的计算资源训练，模型泛化能力差，实际应用成本高。
[0006]优化结构的方法：该类方法表明，将深度贝叶斯模型用于CNN可以显著提高模型精度，优化CNN的结构缺陷，使得模型量化不确定性能力提高。但是上述研究方案存在的问题是模型规模较大，训练占用的计算资源和时间长，模型部署占用资源大，运行等待时间长，实际应用价值低。

技术实现思路

[0007]为解决上述问题，本专利技术提出了一种基于深度贝叶斯蒸馏网络的皮肤病变识别方法，对比主流CNN无法量化模型不确定性，为了提高诊断结果的准确度，构建了一个深度贝叶斯网络，用贝叶斯深度学习量化了模型的偶然不确定性和认知不确定性，对不确定性进行更为精确的建模；引入了知识蒸馏对模型参数量和时间进行优化，构建了一个学生网络模型拟合教师网络的输出，用教师网络的参数和真实值标签训练学生网络的输出，从而减小模型的规模与等待时间。
[0008]本专利技术所述的一种基于深度贝叶斯蒸馏网络的皮肤病变智能识别方法，包括以下步骤：
[0009]步骤1、采集皮肤病变图像作为样本，对所述皮肤病变样本进行标注并构建皮肤病变样本集；
[0010]步骤2、将所述皮肤病变样本作为输入，构建基于深度残差金字塔多尺度编码网络的深度贝叶斯网络模型；通过先验分布刻画所述深度贝叶斯网络模型不确定性，同时基于似然函数对所述不确定性进行建模推导从而推导后验分布；
[0011]步骤3、所述深度贝叶斯网络模型包括教师模型及学生模型，基于知识蒸馏对所述深度贝叶斯网络模型进行压缩，构建学生模型拟合教师模型输出。
[0012]进一步的，所述于深度残差金字塔多尺度编码网络的深度贝叶斯网络模型，包括输入层、卷积层、激活层、池化层、瓶颈层与输出层；所述模型针对的不确定性包括偶然不确定性和认知不确定性，对于偶然不确定性，采用k折交叉验证法对数据进行训练；对于认知不确定性，采用深度贝叶斯蒸馏网络拟合训练数据模型。
[0013]进一步的，采用k折交叉验证法对数据进行训练的具体步骤为：
[0014]步骤2
‑1‑
1、预处理病变样本D，同时设置交叉验证子样本划分次数k，设置循环次数N并初始化N＝0；
[0015]步骤2
‑1‑
2、本轮迭代开始，当N<k时表示交叉验证没有执行完，进行迭代交叉验证，否则跳出迭代；
[0016]步骤2
‑1‑
3、采用深度贝叶斯网络模型，以第N个子样本作为验证集，其余N
‑
1个样本作为训练集，进行模型训练，输出评估指标J
N
，；
[0017]步骤2
‑1‑
4、迭代计数k＝k+1；
[0018]步骤2
‑1‑
5、本轮迭代结束，判断是否满足迭代停止条件，满足则停止迭代，否则重复步骤2
‑1‑
2到步骤2
‑1‑
4；
[0019]步骤2
‑1‑
6、输出评估结果的平均值N表示循环计数器，k表示交叉验证计数器。
[0020]进一步的，采用深度贝叶斯蒸馏网络拟合训练数据模型的具体步骤为：
[0021]步骤2
‑2‑
1、预处理病变样本D，同时设置交叉验证子样本划分次数k，设置循环次数N并初始化N＝0；
[0022]步骤2
‑2‑
2、本轮迭代开始，当N<k时表示交叉验证没有执行完，进行迭代交叉验证，否则跳出迭代；
[0023]步骤2
‑2‑
3、采用深度贝叶斯网络模型，以第N个子样本作为验证集，其余N
‑
1个样本作为训练集，进行模型训练，输出评估指标J
N
，求解样本的不确定分数I，对每个样本的多次预测先取平均再计算熵，求得H[y|x,D]，对每个样本的多次预测先计算熵再取平均，求得E
θ～p(θ∣D)
H[y|x,θ]，基于I调整训练，更新训练模型；D为标注样本，H为当前模型熵，θ为求解目标模型参数，x为网络输入，y为网络输出；
[0024]步骤2
‑2‑
4、迭代计数k＝k+1；
[0025]步骤2
‑2‑
5、本轮迭代结束，判断是否满足迭代停止条件，满足则停止迭代，否则重复步骤2
‑
4；
[0026]步骤2
‑2‑
6、输出评估结果的平均值N表示循环计数器，k表示交叉验证计数器。
[0027]进一步的，步骤2
‑2‑
3中，通过MC dropout训练标注样本D，最小化给定标注样本D下参数的不确定性，即最小化条件熵H，如公式(1)：
[0028]M＝argmin
D
H[θ|D]ꢀꢀꢀꢀꢀ
(1)
[0029]argmin
D
表示熵取最小值时变量D对应的取值；
[0030]实际训练时，用贪婪法求解，求得一个能使当前模型熵最大程度减少的样本点z，如公式(2)：
[0031][0032]argmax
x
表示熵取最大值时变量x对应的取值；
[0033]由于所述深度贝叶斯网络模型参数维度高，导致难以求解公式(2)，因此要求解公式(2)的等价问题本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度贝叶斯蒸馏网络的皮肤病变智能识别方法，其特征在于，包括以下步骤：步骤1、采集皮肤病变图像作为样本，对所述皮肤病变样本进行标注并构建皮肤病变样本集；步骤2、将所述皮肤病变样本作为输入，构建基于深度残差金字塔多尺度编码网络的深度贝叶斯网络模型；通过先验分布刻画所述深度贝叶斯网络模型不确定性，同时基于似然函数对所述不确定性进行建模推导从而推导后验分布；步骤3、所述深度贝叶斯网络模型包括教师模型及学生模型，基于知识蒸馏对所述深度贝叶斯网络模型进行压缩，构建学生模型拟合教师模型输出。2.根据权利要求1所述的一种基于深度贝叶斯蒸馏网络的皮肤病变智能识别方法，其特征在于，所述基于深度残差金字塔多尺度编码网络的深度贝叶斯网络模型，包括输入层、卷积层、激活层、池化层、瓶颈层与输出层；所述模型针对的不确定性包括偶然不确定性和认知不确定性，对于偶然不确定性，采用k折交叉验证法对数据进行训练；对于认知不确定性，采用深度贝叶斯蒸馏网络拟合训练数据模型。3.根据权利要求2所述的一种基于深度贝叶斯蒸馏网络的皮肤病变智能识别方法，其特征在于，采用k折交叉验证法对数据进行训练的具体步骤为：步骤2
‑1‑
1、预处理病变样本D，同时设置交叉验证子样本划分次数k，设置循环次数N并初始化N＝0；步骤2
‑1‑
2、本轮迭代开始，当N<k时表示交叉验证没有执行完，进行迭代交叉验证，否则跳出迭代；步骤2
‑1‑
3、采用深度贝叶斯网络模型，以第N个子样本作为验证集，其余N
‑
1个样本作为训练集，进行模型训练，输出评估指标J
N
，；步骤2
‑1‑
4、迭代计数k＝k+1；步骤2
‑1‑
5、本轮迭代结束，判断是否满足迭代停止条件，满足则停止迭代，否则重复步骤2
‑1‑
2到步骤2
‑1‑
4；步骤2
‑1‑
6、输出评估结果的平均值N表示循环计数器，k表示交叉验证计数器。4.根据权利要求2所述的一种基于深度贝叶斯蒸馏网络的皮肤病变智能识别方法，其特征在于，采用深度贝叶斯蒸馏网络拟合训练数据模型的具体步骤为：步骤2
‑2‑
1、预处理病变样本D，同时设置交叉验证子样本划分次数k，设置循环次数N并初始化N＝0；步骤2
‑2‑
2、本轮迭代开始，当N<k时表示交叉验证没有执行完，进行迭代交叉验证，否则跳出迭代；步骤2
‑2‑
3、采用深度贝叶斯网络模型，以第N个子样本作为验证集，其余N
‑
1个样本作为训练集，进行模型训练，输出评估指标J
N
，求解样本的不确定分数I，对每个样本的多次预测先取平均再计算熵，求得H[y|x,D]，对每个样本的多次预测先计算熵再取平均，求得E
θ～p(θ∣D)
H[y|x,θ]，基于I调整训练，更新训练模型；D为标注样本，H为当前模型熵，θ为求解目标模型参数，x为网络输入，y为网络输出；
步骤2
‑2‑
4、迭代计数k＝k+1；步骤2
‑2‑
5、本轮迭代结束，判断是否满足迭代停止条件，满足则停止迭代，否则重复步骤2
‑
4；步骤2<...

【专利技术属性】
技术研发人员：陈思光，董春序，欧译丹，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：