一种基于空洞残差特征金字塔的咽喉器官分割方法技术

本发明专利技术公开了一种基于空洞残差特征金字塔的咽喉器官分割方法，涉及计算机视觉和模式识别领域,现有技术中存在图像分割精度低，边界不清晰，不利于较小尺度物体分割的问题，本发明专利技术提供的一种基于空洞残差特征金字塔的咽喉器官分割方法包含以下步骤：步骤1：采用DRP

【技术实现步骤摘要】
一种基于空洞残差特征金字塔的咽喉器官分割方法


[0001]本专利技术属于计算机视觉和模式识别领域，具体涉及一种基于空洞残差特征金字塔的咽喉器官分割方法。

技术介绍

[0002]近年来鼻咽喉疾病发病率日趋升高，电子喉镜作为观察空腔脏器黏膜最直接有效的手段，其影像已成为临床医生对鼻咽喉疾病诊断和微创诊疗的重要参考依据。对鼻咽喉器官分割从而进行进行定性和定量化分析，是医生进行诊断并制定治疗计划的重要辅助手段。但是临床诊断中图像数据量巨大，人工诊断方式时间成本高，并且容易出现漏检、误检等情况，因此需要借助计算机辅助医生进行诊断。如鼻咽癌是我国常见的十大恶性肿瘤之一，由于发病部位隐蔽，症状和体征多变，早期病症在内镜图像上常被忽视，待发现癌变时，已错过了最佳的治疗时间。
[0003]鼻咽喉器官处在复杂多变的灰度信息混淆背景下，且器官边界模糊，与背景灰度相似，使得器官分割难度增加。由于鼻咽喉器官的复杂性，使得基于电子内窥镜图像的多器官分割具有较大难度，传统的Unet和DeepLab系列网络在鼻咽喉多器官分割上存在分割精度偏低的问题。而Mask R
‑
CNN以及一些改进的Mask R
‑
CNN分割算法在内窥镜图像分割上表现出很大的潜力，但是其中的FPN网络，在连续卷积操作中不可避免地造成的图像信息丢失，不利于对边界不清晰且较小尺度物体的分割。

技术实现思路

[0004]本专利技术的目的是提供一种基于空洞残差特征金字塔(Dilated Residual Pyramid
>‑
Mask，DRP
‑
Mask)的咽喉器官分割方法，以克服现有技术存在的在连续卷积操作中不可避免地造成的图像信息丢失，不利于对边界不清晰且较小尺度物体的分割的问题。
[0005]为实现上述目的，本专利技术的具体技术方案如下：
[0006]一种基于空洞残差特征金字塔的咽喉器官分割方法，所述方法包括以下步骤：
[0007]步骤1：采用DRP
‑
FPN网络提取咽喉器官特征，在FPN中每个横向连接引入残差空洞卷积模块感知不同大小的感受野,然后与不同尺度特征层进行融合,得到包含全局信息的特征图；
[0008]步骤2：采用RPN网络，对特征图的每个特征点设定预定个先验框，同时对各个先验框判断包含目标的可能性，在特征图上生成不同尺寸和长宽比的anchor，然后采用非极大值抑制算法筛选出可能性最大位置信息anchor，得到精确的proposals框；
[0009]步骤3：采用ROI Align方法，根据proposals框从特征图中提取候选区域，使用双线性内插法从候选区域中生成尺寸相等且固定的ROI区域；
[0010]步骤4：采用分类网络和边框回归网络，对ROI区域计算分类损失和边界框回归损失，确定精确的proposals框的位置和类别；同时采用FCN网络对ROI区域进行分割生成掩图。
[0011]进一步地，步骤1中，所述残差空洞卷积模块包含空洞卷积结构和残差结构，其中空洞卷积结构对每个横向连接使用三个并行空洞卷积操作，卷积核为3
×
3，空洞率分别为2、4、8，然后使用一个3x3的卷积层合并空洞卷积操作得到的特征，最后采用残差结构将空洞卷积后的特征与横向连接特征进行组合得到新的横向特征。
[0012]与现有技术相比，本专利技术的有益效果是：
[0013]本专利技术采用DRP
‑
FPN网络，对FPN中每个横向连接引入DR模块感知不同大小的感受野,然后与不同尺度特征层进行融合,极大提升全局信息提取，空洞卷积通过空洞率控制卷积核所能影响到的像素区域,在保证计算量不增加的前提下,扩大感受野，有效提高了图像分割的平均精度、mDice系数和mIoU的值，不会造成的图像信息丢失，边界清晰且可实现对较小尺度物体的分割。
附图说明
[0014]图1为本专利技术实施例中基于空洞残差特征金字塔的咽喉器官分割方法的框架图；
[0015]图2中(a)、(b)分别为本专利技术实施例中用于多尺度特征提取的DRP
‑
FPN框架图、特征提取阶段的结构图；
[0016]图3为本专利技术实施例中区域生成模块anchor覆盖图；
[0017]图4为本专利技术实施例中区域生成网络结构图；
[0018]图5为本专利技术实施例中不同网络的可视化结果。
具体实施方式
[0019]下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
[0020]本专利技术提出了一个two
‑
stage实例分割模型DRP
‑
Mask，第一个阶段通过提出的DRP模块提取图像特征并生成proposals，第二阶段对proposals进行分类并生成边界框和掩图。
[0021]如图1所示，本专利技术提供的一种基于空洞残差特征金字塔(Dilated Residual Pyramid
‑
Mask，DRP
‑
Mask)的咽喉器官分割方法，包括以下步骤：
[0022]步骤1：采用DRP
‑
FPN网络提取咽喉器官特征，在FPN中每个横向连接引入残差空洞卷积模块感知不同大小的感受野,然后与不同尺度特征层进行融合,极大提升全局信息提取；
[0023]所述融合多尺度特征具体操作为：通过融合上采样，下采样以及对应层的横向连接三部分特征，得到包含细节语义信息和空间信息的特征图，将上采样过程中得到的每一个尺度的特征都与下采样时对应尺度的特征相融合，即横向连接，从而极大提高网络对特征学习能力。
[0024]所述残差空洞卷积模块包含空洞卷积结构和残差结构，其中空洞卷积结构对每个横向连接使用三个并行空洞卷积操作，卷积核为3
×
3，空洞率分别为2、4、8，然后使用一个3x3的卷积层合并空洞卷积操作得到的特征，最后采用残差结构将空洞卷积后的特征与横向连接特征进行组合得到新的横向特征。
[0025]步骤2：采用RPN网络，对特征图的每个特征点设定预定个先验框，同时对各个先验
框判断包含目标的可能性，在特征图上生成不同尺寸和长宽比的anchor，然后采用非极大值抑制算法筛选出可能性最大位置信息anchor，得到精确的proposals框；
[0026]步骤3：采用ROI Align方法，根据proposals框从特征图中提取候选区域，使用双线性内插法从候选区域中生成尺寸相等且固定的ROI区域；
[0027]步骤4：采用分类网络和边框回归网络，对ROI区域计算分类损失和边界框回归损失，确定精确的proposals框的位置和类别；同时采用FCN网络对ROI区域进行分割生成掩图。
[0028]在上述实施例的基础上，进一步详述描述如下，给定一张鼻咽喉图像，我们使用DRP
‑
FPN网络提取丰富的语义和空间特征来表示图像。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空洞残差特征金字塔的咽喉器官分割方法，其特征在于，所述方法包括以下步骤：步骤1：采用DRP
‑
FPN网络提取咽喉器官特征，在FPN中每个横向连接引入残差空洞卷积模块感知不同大小的感受野,然后与不同尺度特征层进行融合,得到包含全局信息的特征图；步骤2：采用RPN网络，对特征图的每个特征点设定预定个先验框，同时对各个先验框判断包含目标的可能性，在特征图上生成不同尺寸和长宽比的anchor，然后采用非极大值抑制算法筛选出可能性最大位置信息anchor，得到精确的proposals框；步骤3：采用ROIAlign方法，根据proposals框从特征图中提取候选区域，使用双线性内插法...

【专利技术属性】
技术研发人员：潘晓英，马晨阳，白伟栋，代栋，王昊，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：