基于图像处理的鼻咽镜下腭咽闭合度的全自动检测方法技术

本发明专利技术公开了一种基于图像处理的鼻咽镜下腭咽闭合度全自动检测方法，该检测方法包括获取目标图像，对图像帧进行预处理，去除图像中的文字信息和黑色区域，计算图像中的黑腔位置，计算黑腔区域的面积占比，对腭咽口边界状态做初步判断，在确定腭咽口为张开状态下，基于水平集计算腭咽口的初始轮廓，并对上下左右边界进行修正得到相应的腭咽口边界，对腭咽口边界分割后计算腭咽口面积并计算腭咽闭合度。相比于现有技术，检测结果客观准确，实现较高程度的自动测量，在临床上对腭咽闭合功能的数字化评估提供可靠的参考数据，符合精准医疗的发展需求，提高目标区域的提取准确度和降低算法开销。

【技术实现步骤摘要】
基于图像处理的鼻咽镜下腭咽闭合度的全自动检测方法
本专利技术涉及图像处理领域，尤其是一种基于图像处理的鼻咽镜下腭咽闭合度的全自动检测方法。
技术介绍
腭咽闭合功能的评估是腭裂手术效果评价的核心。对于腭裂的治疗不同于唇裂，不单纯以形态恢复为评判标准，而是以重建的腭部形态下的腭咽闭合功能为准，所以，临床上以腭咽闭合度作为效果评价的关键指标。根据美国颅颌面协会(ACPA)建议，腭裂手术前需进行语音和腭咽功能评估，医生根据评估结果结合专业知识和临床经验判断是否需要手术。因此，临床上以腭咽闭合率作为二期手术选择的标准参考。通常腭咽闭合度的计算方法是由专业言语治疗师使用鼻咽内镜观测患者的腭咽口从静息状态到连续性发音状态下收缩关闭的最大程度的比值进行主观估算，根据闭合率的数值结果作为参考，而选择不同的手术方式矫正腭咽闭合不全。在发音时，腭咽口的运动包括软腭、两侧咽侧壁和咽后壁的整体收缩运动。其运动方向为：软腭向咽后壁方向移动，两咽侧壁向中心方向移动。若软腭与咽后壁接触，腭咽口没有空隙，则腭咽完全关闭，如若软腭不能与咽后壁接触，两咽侧壁也不能靠拢接触，腭咽口余留间隙，则视为腭咽闭合不全。尽管鼻咽内镜为目前医疗界首选的客观测量仪器，但由于发音运动为持续性运动，腭咽口开放与关闭呈瞬时交替变化，目前现有技术中尚无可靠的客观测量软件，均以治疗医师的手工测绘为主，具有相当的主观性和不稳定性，其结果甚至会造成误差导致过度医疗。为适应精准医疗的发展需求，临床需要更准确的数字化评估技术，因此实现鼻咽镜下腭咽闭合功能的自动测量，将大大提升腭咽功能诊断的准确性和标准化。本专利技术提供的方法采用基于图像处理的全自动分割，实现对腭咽口边界的提取，及腭咽闭合度的计算，为临床医生提供检测数据参考。
技术实现思路
本专利技术针对现有技术存在的上述技术问题，提供一种基于图像处理的鼻咽镜下腭咽闭合度全自动检测方法，为克服人工查看和测绘计算腭咽口闭合度误差大的缺陷，利用图像处理的方法对鼻咽内镜下的腭咽图像进行全自动的分割和提取，从而实现对腭咽闭合度的数字化准确计算和评估。本专利技术采用以下技术方案：一种基于图像处理的鼻咽镜下腭咽闭合度全自动检测方法，具体包括以下步骤：(1)获取目标图像，由内镜主机采集录制整个检查过程的视频，截取被测者发音稳定状态下的视频段，提取该视频中的所有图像帧Ii(i＝1,2,3…,N)，其中Ii为第i帧图像，N为视频中包含的所有图像帧的总数；(2)对图像帧进行预处理，去除图像中的文字信息和黑色区域；(2a)首先对视频中的每一帧图像，去除左右及上下边界的黑色区域；(2b)对图像Ii1中的白色区域求取连通域并计算连通域面积，找到面积最大的白色区域，求取该白色区域横坐标的最小值Lmin与最大值Lmax，求取白色区域纵坐标的最小值Hmin与最大值Hmax；(2c)在原彩色图像Ii中，截取图像，满足坐标点的横坐标范围为[Lmin,Lmax]，纵坐标的范围为[Hmin,Hmax]，截取的图像为Ii2；(2d)对视频中的每帧图像，去除四个角的黑色区域；(2e)采用相同的方法对其余三个角的填充方法相同，填充后的图像为Ii3；(3)计算图像中的黑腔位置：对预处理后的图像Ii3在腭咽处的黑腔计算黑腔区域位置；(3a)对提取的彩色图像帧Ii，对彩色图像的三个图像通道R、G、B设定灰度阈值条件Thre1，通过对像素点进行灰度值筛选计算出黑腔区域的位置，得到预处理后的图像Ii3中黑腔轮廓点集合Pi3，并同时确定黑腔区域的左端点Li和左端点Ri；(4)计算黑腔区域的面积占比：在确定黑腔区域的初步位置后，计算该黑腔轮廓点集合中的像素点个数，所述像素点个数表征对应图像区域面积的参数，进而通过计算黑腔区域中像素点个数与整幅图像像素点个数的比值来计算黑腔面积占整幅图像面积的百分比Tarea；(5)对腭咽口边界状态做初步判断；(5a)若黑腔区域面积占整幅图像面积的百分比Tarea≤4.5％，则认为此时腭咽口是闭合状态，此时将黑腔像素点的边界连接起来并作为腭咽口边界输出；(5b)若黑腔区域面积占整幅图像面积的百分比Tarea＞4.5％，则认为此时腭咽口是张开状态，还需要对腭咽口边界做进一步筛选；(6)在确定腭咽口为张开状态下，基于水平集计算腭咽口的初始轮廓，并对上下左右边界进行修正得到相应的腭咽口边界；(7)对腭咽口边界分割后计算腭咽口面积；对于第i帧图像，计算其腭咽口面积Ai：计算腭咽口边界区域内像素点个数即为腭咽口面积面积Ai；(8)计算腭咽闭合度；对视频中的所有图像帧Ii(i＝1,2,3…,N)计算对应的腭咽口面积Ai后，求取并确定腭咽口面积最大的图像帧，设该帧图像为Imax，其对应的腭咽口面积为Amax，按照公式(1)计算每帧图像的腭咽闭合度Bi：Bi＝Ai/Amax(i＝1,2,3…,N)(1)。所述步骤6具体包括以下步骤：(6a)基于水平集计算初始轮廓：对选定的第i帧经过预处理后的基准图像Ii3，确定距离图像边界10像素的矩形框内的点集合，对其进行水平集演化得到最优Wn值下的初始水平集轮廓Cfi；(6b)对初始轮廓的上边界进行修正：将水平集找到的上边缘强行拉回到检测出的黑腔的上边沿，具体为首先将黑腔边界的上边界Pi-up提取出来，同时把水平集初始轮廓的上边界Cfi-up提取出来，比较水平集上边缘Cfi-up和黑腔上边缘Pi-up里横坐标相同的点所对应的纵坐标，选择两者较小的点作为最终确定的上边界点；(6c)对初始轮廓的下边界进行修正：在图像的下半部分中寻找最亮的区域，将其边界作为下边界；(6d)对初始轮廓的左右边界进行修正：上边界和下边界确定后，将上下边界的左右两端互相连接得到轮廓的左右边界，如果经过上下边界的修正后上边界和下边界已经互相连接，这时左右边界便自动确定了。所述步骤6c具体计算步骤如下：(6c1)对图像Ii进行对比度拉伸，将图像的R、G、B通道同时进行拉伸，得到拉伸后的图像；(6c2)在拉伸后的图像中找到图像中较亮的区域，其方法为设置灰度阈值条件Thre2，并基于图像区域像素灰度值与阈值条件比较进行筛选，得到较亮区域AreaL；(6c3)找到较亮区域AreaL中最上面的一点A，所述最上面一点即为较亮区域AreaL中纵坐标位置为最高所在的像素点，即为对应的点A；(6c4)计算黑腔区域质点Q，以及点Q分别和黑腔左右边界点(Li和Ri)的连线L1和L2，分别计算这两条线L1、L2的斜率k1、k2；(6c5)以步骤(6c3)中的A点为中心，画两条线L11和L12，其斜率分别为步骤(6c4)中的斜率k2和k1，以这两条线作为下边界，其中L11和L12分别与L1和L2平行。进一步的，灰度阈值条件为：Thre1＝R<100&G<80&B<80，Thre2＝200<R<255&85<G<255&85<B<255。综上所述，由于采用了上述技术方案，本专利技术的有益效果是：1、本专利技术提供的鼻咽镜下腭咽闭合度全自动检测方法，可以基于鼻咽内镜获取的腭咽图像进行全自动检测，利用图像处理的方法提取和分割腭咽闭合区域，相比于现有技术中的人工测绘和估算，本专利技术的检测方法检测结果客观准确，实现较高程度的本文档来自技高网...

【技术保护点】
1.一种基于图像处理的鼻咽镜下腭咽闭合度全自动检测方法，其特征在于，具体包括以下步骤：(1)获取目标图像，由内镜主机采集录制整个检查过程的视频，截取被测者发音稳定状态下的视频段，提取该视频中的所有图像帧Ii(i＝1,2,3…,N)，其中Ii为第i帧图像，N为视频中包含的所有图像帧的总数；(2)对图像帧进行预处理，去除图像中的文字信息和黑色区域；(2a)首先对视频中的每一帧图像，去除左右及上下边界的黑色区域；(2b)对图像Ii1中的白色区域求取连通域并计算连通域面积，找到面积最大的白色区域，求取该白色区域横坐标的最小值Lmin与最大值Lmax，求取白色区域纵坐标的最小值Hmin与最大值Hmax；(2c)在原彩色图像Ii中，截取图像，满足坐标点的横坐标范围为[Lmin,Lmax]，纵坐标的范围为[Hmin,Hmax]，截取的图像为Ii2；(2d)对视频中的每帧图像，去除四个角的黑色区域；(2e)采用相同的方法对其余三个角的填充方法相同，填充后的图像为Ii3；(3)计算图像中的黑腔位置：对预处理后的图像Ii3在腭咽处的黑腔计算黑腔区域位置；(3a)对提取的彩色图像帧Ii，对彩色图像的三个图像通道R、G、B设定灰度阈值条件Thre1，通过对像素点进行灰度值筛选计算出黑腔区域的位置，得到预处理后的图像Ii3中黑腔轮廓点集合Pi3，并同时确定黑腔区域的左端点Li和左端点Ri；(4)计算黑腔区域的面积占比：在确定黑腔区域的初步位置后，计算该黑腔轮廓点集合中的像素点个数，所述像素点个数表征对应图像区域面积的参数，进而通过计算黑腔区域中像素点个数与整幅图像像素点个数的比值来计算黑腔面积占整幅图像面积的百分比Tarea；(5)对腭咽口边界状态做初步判断；(5a)若黑腔区域面积占整幅图像面积的百分比Tarea≤4.5％，则认为此时腭咽口是闭合状态，此时将黑腔像素点的边界连接起来并作为腭咽口边界输出；(5b)若黑腔区域面积占整幅图像面积的百分比Tarea＞4.5％，则认为此时腭咽口是张开状态，还需要对腭咽口边界做进一步筛选；(6)在确定腭咽口为张开状态下，基于水平集计算腭咽口的初始轮廓，并对上下左右边界进行修正得到相应的腭咽口边界；(7)对腭咽口边界分割后计算腭咽口面积；对于第i帧图像，计算其腭咽口面积Ai：计算腭咽口边界区域内像素点个数即为腭咽口面积面积Ai；(8)计算腭咽闭合度；对视频中的所有图像帧Ii(i＝1,2,3…,N)计算对应的腭咽口面积Ai后，求取并确定腭咽口面积最大的图像帧，设该帧图像为Imax，其对应的腭咽口面积为Amax，按照公式(1)计算每帧图像的腭咽闭合度Bi：Bi＝Ai/Amax(i＝1,2,3…,N)    (1)。...

【技术特征摘要】
1.一种基于图像处理的鼻咽镜下腭咽闭合度全自动检测方法，其特征在于，具体包括以下步骤：(1)获取目标图像，由内镜主机采集录制整个检查过程的视频，截取被测者发音稳定状态下的视频段，提取该视频中的所有图像帧Ii(i＝1,2,3…,N)，其中Ii为第i帧图像，N为视频中包含的所有图像帧的总数；(2)对图像帧进行预处理，去除图像中的文字信息和黑色区域；(2a)首先对视频中的每一帧图像，去除左右及上下边界的黑色区域；(2b)对图像Ii1中的白色区域求取连通域并计算连通域面积，找到面积最大的白色区域，求取该白色区域横坐标的最小值Lmin与最大值Lmax，求取白色区域纵坐标的最小值Hmin与最大值Hmax；(2c)在原彩色图像Ii中，截取图像，满足坐标点的横坐标范围为[Lmin,Lmax]，纵坐标的范围为[Hmin,Hmax]，截取的图像为Ii2；(2d)对视频中的每帧图像，去除四个角的黑色区域；(2e)采用相同的方法对其余三个角的填充方法相同，填充后的图像为Ii3；(3)计算图像中的黑腔位置：对预处理后的图像Ii3在腭咽处的黑腔计算黑腔区域位置；(3a)对提取的彩色图像帧Ii，对彩色图像的三个图像通道R、G、B设定灰度阈值条件Thre1，通过对像素点进行灰度值筛选计算出黑腔区域的位置，得到预处理后的图像Ii3中黑腔轮廓点集合Pi3，并同时确定黑腔区域的左端点Li和左端点Ri；(4)计算黑腔区域的面积占比：在确定黑腔区域的初步位置后，计算该黑腔轮廓点集合中的像素点个数，所述像素点个数表征对应图像区域面积的参数，进而通过计算黑腔区域中像素点个数与整幅图像像素点个数的比值来计算黑腔面积占整幅图像面积的百分比Tarea；(5)对腭咽口边界状态做初步判断；(5a)若黑腔区域面积占整幅图像面积的百分比Tarea≤4.5％，则认为此时腭咽口是闭合状态，此时将黑腔像素点的边界连接起来并作为腭咽口边界输出；(5b)若黑腔区域面积占整幅图像面积的百分比Tarea＞4.5％，则认为此时腭咽口是张开状态，还需要对腭咽口边界做进一步筛选；(6)在确定腭咽口为张开状态下，基于水平集计算腭咽口的初始轮廓，并对上下左右边界进行修正得到相应的腭咽口边界；(7)对腭咽口边界分割后计算腭咽口面积；对于第i帧图像，计算其腭咽口面积Ai：计算腭咽口边界区域内像素点个数即为腭咽口面积面积Ai；(8)计算腭咽闭合度；对视频中的所有图像帧Ii(i＝1,2,3…,N)计算对应的腭咽口面积Ai后，求取并确定腭咽口面积最大的图像帧，设该帧图像...

【专利技术属性】
技术研发人员：何凌，黄毅鹏，王熙月，尹恒，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川,51