一种基于deeplabv3+网络的咽部图像分割及定位方法技术

本发明专利技术公开了一种基于deeplabv3+网络的咽部图像分割及定位方法，包括：利用深度相机获取咽部的彩色图和深度图；基于彩色图，利用基于deeplabv3+网络构建的分割模型进行处理，得到图像分割结果；使用边界检测算子得到咽部在图像分割结果中的像素坐标；基于深度图，根据咽部的像素坐标得到咽部的深度值；根据深度相机的标定参数，基于咽部的像素坐标和深度值得到咽部在世界坐标系下的位置信息，完成定位。本发明专利技术可提高图像分割及定位精度。本发明专利技术可提高图像分割及定位精度。本发明专利技术可提高图像分割及定位精度。

【技术实现步骤摘要】
一种基于deeplabv3+网络的咽部图像分割及定位方法


[0001]本专利技术属于深度学习医学影像分割
，具体涉及一种基于deeplabv3+网络的咽部图像分割及定位方法。

技术介绍

[0002]目前对冠状病毒最准确有效的检测手段是核酸检测，核酸检测包括鼻咽拭子，咽拭子相较于鼻拭子更为普遍，而目前核酸采集手段多数是人工采集，大规模高强度的工作量会存在风险。第一，医护人员存在交叉感染的风险；第二，高强度的工作量会影响医护人员的身心健康。面对上述问题促进核酸采样自动化是必不可少的，使用机械臂或机器人部分代替医护人员进行采样，并且建立一种咽部图像的分割模型辅以检测采样部位并实施采样。
[0003]针对咽部图像分割技术研究，从数据集方面来看，当前咽部图像公开数据集较少，且咽部图像分割场景常常存在光线、棉签遮挡等干扰，所以需要建立一套标准数据集；从图像分割领域来看，当前主要存在使用Mask RCNN与unet两种分割模型进行实例分割的研究，然而上述实例分割方法存在着一些问题，例如：使用Mask RCNN进行分割时，虽然检测速度快但对于噪声大的图像分割效果不佳，使用Mask RCNN的相关研究中分割目标为扁桃体(体积小)，忽略了扁桃体疾病对于分割效果的干扰；使用unet的相关研究中未考虑检测速度这一指标，且unet对于多尺度信息提取效果也不佳。因此目前亟需一种有效的分割模型来应对咽部图像的分割定位，这不仅能够快速促进核酸采样自动化的发展，而且在常规医学领域(例如鼻咽癌图像分割、喉咽内镜检测等领域)也将具有较大的应用前景。

技术实现思路

[0004]本专利技术的目的在于提供一种基于deeplabv3+网络的咽部图像分割及定位方法，提高图像分割及定位精度。
[0005]为实现上述目的，本专利技术所采取的技术方案为：
[0006]一种基于deeplabv3+网络的咽部图像分割及定位方法，所述基于deeplabv3+网络的咽部图像分割及定位方法，包括：
[0007]步骤1、利用深度相机获取咽部的彩色图和深度图；
[0008]步骤2、基于彩色图，利用基于deeplabv3+网络构建的分割模型进行处理，得到图像分割结果；
[0009]步骤3、使用边界检测算子得到咽部在图像分割结果中的像素坐标；
[0010]步骤4、基于深度图，根据咽部的像素坐标得到咽部的深度值；
[0011]步骤5、根据深度相机的标定参数，基于咽部的像素坐标和深度值得到咽部在世界坐标系下的位置信息，完成定位。
[0012]以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方
案进行组合，还可以是多个可选方式之间进行组合。
[0013]作为优选，所述基于彩色图，利用基于deeplabv3+网络构建的分割模型进行处理，得到图像分割结果，包括：
[0014]对deeplabv3+网络进行训练得到分割模型，所述deeplabv3+网络主体为编码器解码器结构；
[0015]在编码器部分采用深度可分离卷积，主干网络提取特征得到初步图像特征，再通过加强特征提取ASPP模块中的并行空洞卷积层提取初步图像特征不同的空间信息并进行特征融合，得到多尺度特征；
[0016]在解码器部分首先通过对加强特征提取ASPP模块提取到的多尺度特征进行双线性插值4倍上采样，再与主干网络中提取到的初步图像特征进行拼接、特征融合，最后采用双线性插值4倍上采样恢复至高层特征图，得到最终的图像分割结果。
[0017]作为优选，所述主干网络为改进MobilenetV2网络，该改进MobilenetV2网络采用原MobilenetV2网络的Bottleneck结构，且在stride＝1的倒残差结构中添加注意力机制，在stride＝2的线性瓶颈结构中加入不同膨胀率的并行分支以获得多尺度特征。
[0018]作为优选，所述在stride＝1的倒残差结构中添加注意力机制，包括：
[0019]在stride＝1的倒残差结构的输出端以并联的方式添加通道注意力机制和空间注意力机制两个分支，对stride＝1的倒残差结构输出的特征图分别生成两个注意力特征图，将两个分支的注意力特征图进行融合，然后通过sigmod激活函数得到最终输出的注意力特征图。
[0020]作为优选，所述在stride＝2的线性瓶颈结构中加入不同膨胀率的并行分支以获得多尺度特征，包括：
[0021]在stride＝2的线性瓶颈结构中，首先将第三层卷积替换为平均池化，然后在线性瓶颈结构的输出端添加三条膨胀系数分别为2、4、6的3
×
3卷积并行分支进行多尺度特征提取，将得到的多尺度特征图进行融合，得到最终的多尺度特征图。
[0022]作为优选，所述对deeplabv3+网络进行训练得到分割模型，包括：
[0023]采集咽部图像生成训练数据集，所述咽部图像包括咽部正常图像和咽部感染图像；
[0024]使用Adam优化器进行deeplabv3+网络训练，在训练过程中，当求得的损失值在连续多个迭代次数内收敛时，停止模型的训练，输出作为分割模型；
[0025]其中，所述损失值计算时采用的损失函数Loss如下：
[0026]Loss＝λLoss
FL
+(1
‑
λ)Loss
DSC
[0027]其中，Loss
FL
表示Focal Loss损失函数，Loss
DSC
表示DSC损失函数，λ为权重因子。
[0028]作为优选，所述采集咽部图像生成训练数据集，包括：
[0029]对咽部图像进行去反光处理；
[0030]对去反光处理后的咽部图像进行裁剪，保留分割区域；
[0031]对分割区域进行标注，在标注后进行数据增强处理，得到训练数据集。
[0032]作为优选，所述对咽部图像进行去反光处理，包括：
[0033]对咽部图像进行反光检测，得到咽部图像中的高光区域；
[0034]对检测出的高光区域用其周围一圈半径为2和4像素的圆形形成的圆环区域的像
素平均值进行填充，得到填充图像；
[0035]对填充图像做中值滤波，得到平滑非反光区域颜色图像，将原始的咽部图像中每个像素与平滑非反光区域颜色图像中对应像素进行比较，得到反光区域；
[0036]用反光区域周围一圈半径为2和4像素的圆形形成的圆环区域的像素平均值对反光区域进行填充，然后对填充图片进行高斯模糊处理得到非反光强平滑图像，完成咽部图像的去反光处理。
[0037]本专利技术提供的一种基于deeplabv3+网络的咽部图像分割及定位方法，与现有技术相比，具有以下有益效果：
[0038]1)数据集的采集考虑到咽部感染等因素，增强了算法的抗干扰能力。
[0039]2)在损失函数的设计中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于deeplabv3+网络的咽部图像分割及定位方法，其特征在于，所述基于deeplabv3+网络的咽部图像分割及定位方法，包括：步骤1、利用深度相机获取咽部的彩色图和深度图；步骤2、基于彩色图，利用基于deeplabv3+网络构建的分割模型进行处理，得到图像分割结果；步骤3、使用边界检测算子得到咽部在图像分割结果中的像素坐标；步骤4、基于深度图，根据咽部的像素坐标得到咽部的深度值；步骤5、根据深度相机的标定参数，基于咽部的像素坐标和深度值得到咽部在世界坐标系下的位置信息，完成定位。2.如权利要求1所述的基于deeplabv3+网络的咽部图像分割及定位方法，其特征在于，所述基于彩色图，利用基于deeplabv3+网络构建的分割模型进行处理，得到图像分割结果，包括：对deeplabv3+网络进行训练得到分割模型，所述deeplabv3+网络主体为编码器解码器结构；在编码器部分采用深度可分离卷积，主干网络提取特征得到初步图像特征，再通过加强特征提取ASPP模块中的并行空洞卷积层提取初步图像特征不同的空间信息并进行特征融合，得到多尺度特征；在解码器部分首先通过对加强特征提取ASPP模块提取到的多尺度特征进行双线性插值4倍上采样，再与主干网络中提取到的初步图像特征进行拼接、特征融合，最后采用双线性插值4倍上采样恢复至高层特征图，得到最终的图像分割结果。3.如权利要求2所述的基于deeplabv3+网络的咽部图像分割及定位方法，其特征在于，所述主干网络为改进MobilenetV2网络，该改进MobilenetV2网络采用原MobilenetV2网络的Bottleneck结构，且在stride＝1的倒残差结构中添加注意力机制，在stride＝2的线性瓶颈结构中加入不同膨胀率的并行分支以获得多尺度特征。4.如权利要求3所述的基于deeplabv3+网络的咽部图像分割及定位方法，其特征在于，所述在stride＝1的倒残差结构中添加注意力机制，包括：在stride＝1的倒残差结构的输出端以并联的方式添加通道注意力机制和空间注意力机制两个分支，对stride＝1的倒残差结构输出的特征图分别生成两个注意力特征图，将两个分支的注意力特征图进行融合，然后通过sigmod激活函数得到最终输出的注意力特征图。5.如权利要求3所述的基于dee...

【专利技术属性】
技术研发人员：赵伯栋，李博文，李宏，
申请(专利权)人：杭州百桥医疗技术有限公司，
类型：发明
国别省市：