一种基于深度学习的肠道息肉检测系统和方法技术方案

本发明专利技术公开了一种基于深度学习的肠道息肉检测系统和方法，通过将真实边界框标注区域作为先验信息，结合对比学习方法，增强模型对息肉区域和非息肉区域的判别能力，提高息肉检测的准确率并降低了息肉检测的漏检率；基于传统的目标检测框架CenterNet进行改进，加入针对小息肉目标设计的级联结构，不仅提高了模型对小息肉的检测准确率，而且模型简单，训练与检测过程简单高效，检测速度快；提出自适应难样本挖掘技术能够找出训练数据中潜在的困难样本并让模型对其给予更强的关注，能够有效提高模型对于实际情况中出现的困难样本的检测能力，自适应难样本挖掘函数简单有效，且不消耗额外计算量。耗额外计算量。耗额外计算量。

【技术实现步骤摘要】
一种基于深度学习的肠道息肉检测系统和方法


[0001]本专利技术属于医学图像计算机处理
，具体涉及一种基于深度学习的肠道息肉检测系统和方法。

技术介绍

[0002]结直肠癌(CRC)全球第三大癌症，而结直肠息肉被视为结直肠癌的主要癌前疾病，因此及时识别息肉并由医生针对息肉类别进行相应的诊断和治疗可以有效降低基于结直肠癌的死亡率。准确的息肉诊断方法对结直肠癌的临床治疗具有重要意义。目前对结直肠息肉的检测方法主要还是医生通过临床经验配合内窥镜影像人工进行判断，导致诊断效率低下。并且由于肠道内环境比较复杂，息肉和周围正常组织难以区分，容易出现息肉漏检和误检的情况，对患者造成二次伤害。
[0003]所以一个精准客观的计算机辅助检测系统是非常必要的；息肉检测是一项常规的计算机视觉任务，基于目标检测算法，可以将图像或视频中的息肉检测出来并在相应位置显示矩形边界框。基于计算机辅助的息肉检测技术可以帮助医生在诊断过程中做出正确的判断，从而节省了医生的精力，同时也降低了漏检和误检的可能。
[0004]随着信息技术的发展，计算机辅助下的结直肠息肉分类任务实现了较为理想的效果，传统方法中通常使用手工提取的特征参与神经网络的学习，其效率低下；现有技术中通过深度学习的人工智能技术促进医学研究与应用的发展，例如专利号为CN202111488122.6的《一种基于深度学习的结直肠息肉检测方法》专利技术专利申请，首先使用图像处理技术从图像中提取感兴趣区域(ROI)，再使用现有的深度卷积神经网络模型进行检测，虽然有一定改进效果，但仍然存在以下三个问题：
[0005](1)息肉和结直肠壁具有相似的颜色和纹理，检测模型难以准确关注息肉特征；
[0006](2)息肉区域较小或者扁平，模型容易被无关信息干扰；
[0007](3)影像数据集中简单样本和困难样本分布不平衡；
[0008]以上三个问题阻碍导致息肉检测准确率无法进一步提升。

技术实现思路

[0009]为了解决现有技术存在的上述问题，本专利技术目的在于提供一种基于深度学习的肠道息肉检测系统和方法，将真实边界框标注区域作为先验信息，结合对比学习方法，增强模型对息肉区域和非息肉区域的判别能力，提高息肉检测的准确率，并降低息肉检测的漏检率。
[0010]本专利技术所采用的技术方案为：
[0011]一种基于深度学习的肠道息肉检测系统，包括有图像预处理模块、神经网络训练模块、自适应困难样本挖掘模块、关注度分配模块和息肉检测模块；
[0012]所述图像预处理模块用于接收训练集中的结直肠原始图像和真实边界框标注,并进行预处理后输出结直肠训练图像和训练标注；
[0013]所述神经网络训练模块用于输入预处理后的结直肠训练图像和训练标注，根据预处理后的结直肠训练图像和训练标注建立神经网络模型，进行神经网络模型训练，并输出训练完成的神经网络模型权重；
[0014]所述自适应困难样本挖掘模块用于加载训练完成的神经网络模型权重，输入预处理后的结直肠训练图像，通过自适应难样本挖掘技术对结直肠训练图像进行分析，并输出调整后的结直肠训练图像重要性；
[0015]所述关注度分配模块用于加载训练完成的神经网络模型权重，输入预处理后的结直肠训练图像、训练标注和结直肠训练图像重要性，对神经网络模型权重进行微调，并输出微调完成的神经网络模型权重；
[0016]所述息肉检测模块用于获取测试集中的结直肠图像；加载训练完成的模型，输入待检测的测试图像，输出测试图像中息肉的位置和边缘，完成检测。
[0017]进一步地，所述预处理包括对结直肠原始图像行正则化、翻转、裁剪和热力图转换；对真实边界框标注进行二值掩码转换，使用真实边界框的内部区域生成二值掩码图像；
[0018]翻转包括随机翻转和随机旋转；
[0019]热力图转换包括使用真实边界框生成表示息肉中心点的热力图。
[0020]进一步地，所述神经网络训练模块包括有第一损失函数和第二损失函数，所述神经网络训练模块通过第一损失函数和第二损失函数监督神经网络模型训练；并且收集测试集中的结直肠测试图像和真实测试边界框标注，输入神经网络模型，验证神经网络模型的识别检测准确率。
[0021]进一步地，所述神经网络训练模块还包括有：
[0022]主干神经网络：主干神经网络为主流深度神经网络，用于输入预处理后的结直肠训练图像，输出结直肠训练图像中的特征信息；
[0023]级联检测器：用于输入来自主干神经网络的特征信息，输出用于监督学习的边界框中心点位置特征、边界框宽度特征和中心点偏移度特征；级联检测器包括有边界框中心点检测器、边界框中心点偏移度检测器、边界框宽度检测器和辅助边界框中心点检测器；每个检测器分别包括两个卷积层和一个批量正则化层；每个检测器用于生成解析边界框所需的特征信息；
[0024]对比学习模块：用于输入来自主干神经网络的特征信息，通过第二损失函数监督网络学习息肉特征与背景特征的差异性，输出对比学习损失值。
[0025]再进一步地，所述对比学习模块还用于利用二值掩码图像和特征信息得到息肉特征信息和背景特征信息；将息肉特征信息作为正样本，并将所述的背景特征信息作为负样本输入第二损失函数，所述第二损失函数基于InfoNCE损失函数去约束正样本和负样本在高等语义表示空间的分布差异，从而让网络学习到正样本之间的相似性和正负样本之间的差异性。
[0026]再进一步地，所述神经网络训练模块的总训练损失函数为第一损失函数与第二损失函数之和；
[0027]所述第一损失函数为
[0028][0029]其中为中心损失函数，为辅助中心损失函数，L
o
为中心偏移损失函数，L
s
为宽度损失函数。λ表示平衡损失函数权重的超参数；
[0030]所述中心损失函数为
[0031][0032]所述辅助中心损失函数为
[0033][0034]其中真实的中心点热力图，Y
xy
是边界框中心点检测器预测的中心点热力图，是辅助边界框中心点检测器预测的中心点热力图。是对象大小自适应标准偏差；
[0035]所述中心偏移损失函数为
[0036][0037]其中是边界框中心点偏移度检测器预测的中心点偏移特征，是真实的中心点坐标
[0038]所述宽度损失函数为
[0039][0040]其中是边界框宽度检测器预测的第k个物体的边界框宽度特征，是真实的第k个物体的边界框宽度特征。
[0041]所述第二损失函数为
[0042][0043][0044]其中q
i
是进行对比学习的查询样本，i
+
是与查询样本相似的正样本，i
‑
是与查询样本不相似的负样本。τ是温度系数。
[0045]再进一步地，所述的自适应困难样本挖掘技术还包括：加载训练完成的神经网络模型权重，输入结直肠训练图像，输出每张图片的交并比值IoU；通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的肠道息肉检测系统，其特征在于：包括有图像预处理模块、神经网络训练模块、自适应困难样本挖掘模块、关注度分配模块和息肉检测模块；所述图像预处理模块用于接收训练集中的结直肠原始图像和真实边界框标注,并进行预处理后输出结直肠训练图像和训练标注；所述神经网络训练模块用于输入预处理后的结直肠训练图像和训练标注，根据预处理后的结直肠训练图像和训练标注建立神经网络模型，进行神经网络模型训练，并输出训练完成的神经网络模型权重；所述自适应困难样本挖掘模块用于加载训练完成的神经网络模型权重，输入预处理后的结直肠训练图像，通过自适应难样本挖掘技术对结直肠训练图像进行分析，并输出调整后的结直肠训练图像重要性；所述关注度分配模块用于加载训练完成的神经网络模型权重，输入预处理后的结直肠训练图像、训练标注和结直肠训练图像重要性，通过结直肠训练图像重要性微调神经网络模型权重，并输出微调完成的神经网络模型权重；所述息肉检测模块用于获取测试集中的结直肠图像；加载训练完成的模型，输入待检测的测试图像，输出测试图像中息肉的位置和边缘，完成检测。2.根据权利要求1所述基于深度学习的肠道息肉检测系统，其特征在于：所述预处理包括对结直肠原始图像进行正则化、翻转、裁剪和热力图转换；对真实边界框标注进行二值掩码转换，使用真实边界框的内部区域生成二值掩码图像；翻转包括随机翻转和随机旋转；热力图转换包括使用真实边界框生成表示息肉中心点的热力图。3.根据权利要求1所述基于深度学习的肠道息肉检测系统，其特征在于：所述神经网络训练模块包括有第一损失函数和第二损失函数，所述神经网络训练模块通过第一损失函数和第二损失函数监督神经网络模型训练；并且收集测试集中的结直肠测试图像和真实测试边界框标注，输入神经网络模型，验证神经网络模型的识别检测准确率。4.根据权利要求3所述基于深度学习的肠道息肉检测系统，其特征在于：所述神经网络训练模块还包括有：主干神经网络：所述主干神经网络为主流深度神经网络，用于输入预处理后的结直肠训练图像，输出结直肠训练图像中的特征信息；级联检测器：用于输入来自主干神经网络的特征信息，输出用于监督学习的边界框中心点位置特征、边界框宽度特征和中心点偏移度特征；级联检测器包括有边界框中心点检测器、边界框中心点偏移度检测器、边界框宽度检测器和辅助边界框中心点检测器；每个检测器分别包括两个卷积层和一个批量正则化层；每个检测器用于生成解析边界框所需的特征信息；对比学习模块：用于输入来自主干神经网络的特征信息，通过第二损失函数监督网络学习息肉特征与背景特征的差异性，输出对比学习损失值。5.根据权利要求4所述基于深度学习的肠道息肉检测系统，其特征在于：所述对比学习模块还用于利用二值掩码图像和特征信息得到息肉特征信息和背景特征信息；将息肉特征信息作为正样本，并将所述的背景特征信息作为负样本输入第二损失函数，所述第二损失函数基于InfoNCE损失函数去约束正样本和负样本在高等语义表示空间的分布差异，从而
让网络学习到正样本之间的相似性和正负样本之间的差异性。6.根据权利要求5所述基于深度学习的肠道息肉检测系统，其特征在于：所述神经网络训练模块的总训练损失函数为第一损失函数与第二损失函数之和；所述第一损失函数为其中为中心损失函数，为辅助中心损失函数，L
o
为中心偏移损失函数，L
s
为宽度损失函数；λ表示平衡损失函数权重的超参数；所述中心损失函数为所述辅助中心损失函数为其中真实的中心点热力图，Y
xy
是边界框中心点检测器预测的中心点热力图，是辅助边界框中心点检测器预测的中心点热力图；是对象大小自适应标准偏差；所述中心偏移损失函数为其中是边界框中心点偏移度检测器预测的中心点偏移特征，是真实的中心点坐标所述宽度损失函数为其中是边界框宽度检测器预测的第k个物体的边界框宽度特征，是真实的第k个物体的边界框宽度特征；所述第二损失函数为所述第二损失函数为其中q
i
是进行对比学习的查询样本，i
+
是与查询样本相似的正样本，i
‑
是与查询样本不相似的负样本；τ是温度系数。7.根据权利要求1所述基于深度学习的肠道息肉检测系统，其特征在于：所述的自适应
困难样本挖掘技术还包括：加载训练完成的神经网络模型权重，输入结直肠训练图像，输出每张图片的交并比值IoU；通过自适应重要性分配函数根据交并比值为每张结直肠训练图像分配重要性；所述的...

【专利技术属性】
技术研发人员：蒋云丞，张子逊，胡译文，李镇，李冠彬，万翔，崔曙光，
申请(专利权)人：深圳市大数据研究院，
类型：发明
国别省市：