本申请公开了基于深度摄像信息的咽喉图像分割定位方法、系统及终端，方法包括：获取人脸图片，使用人脸识别技术对人脸图片上所有的关键点进行检测和定位，并根据所有关键点对口腔区域进行分割，提取口腔区域的深度信息；对深度信息进行二分法处理，分割得到口腔区域的咽喉区域；计算咽喉区域的极远点坐标，根据极远点坐标对咽喉后壁的中心点进行定位；获取第一数量的人脸图片，根据视觉判断对第一数量的人脸图片中的咽喉后壁的中心点进行人工标注，得到人工标注点；获取咽喉后壁的中心点与人工标注点之间的欧氏距离，根据欧氏距离对咽喉后壁的中心点的定位进行优化，实现对咽喉后壁中心点的精确定位。
【技术实现步骤摘要】
本申请涉及图像分割，特别是涉及一种基于深度摄像信息的咽喉图像分割定位方法、系统、终端及计算机可读存储介质。
技术介绍
1、在机器人视觉领域，能够精确地定位关键点对于机器人在咽喉区域动作的准确性至关重要。
2、在现有技术中，传统方法一般采用彩色摄像头对咽喉内的区域进行机器人视觉识别，但是在口内光线不足的情况下，彩色摄像头也会出现成像效果不佳的现象，使得机器人在咽喉区域视觉识别的定位精度难以保证，且在可靠性方面的具有一定的局限性。
技术实现思路
1、有鉴于此，本申请提供了一种基于深度摄像信息的咽喉图像分割定位方法、系统、终端及计算机可读存储介质，以解决现有技术中使用彩色摄像头对咽喉内区域进行机器人视觉识别，在口内光线不足时，带来的成像效果不佳、定位精度难以保证、以及可靠性差的问题。
2、本申请提出一种基于深度摄像信息的咽喉图像分割定位方法，所述基于深度摄像信息的咽喉图像分割定位方法包括：
3、获取人脸图片，使用人脸识别技术对所述人脸图片上所有的关键点进行检测和定位，并根据所有所述关键点对口腔区域进行分割，提取所述口腔区域的深度信息；
4、对所述深度信息进行二分法处理，分割得到所述口腔区域的咽喉区域；
5、计算所述咽喉区域的极远点坐标，根据所述极远点坐标对咽喉后壁的中心点进行定位；
6、获取第一数量的所述人脸图片，根据视觉判断对所述第一数量的所述人脸图片中的所述咽喉后壁的中心点进行人工标注，得到人工标注点；
<
p>7、获取所述咽喉后壁的中心点与所述人工标注点之间的欧氏距离，根据所述欧氏距离对所述咽喉后壁的中心点的定位进行优化。8、可选地，所述基于深度摄像信息的咽喉图像分割定位方法还包括：
9、计算所述口腔区域的深度梯度，并对梯度值大于预设梯度值的像素区域施加高斯噪声，以对所述口腔区域的边缘区域进行扩张；
10、所述口腔区域的深度梯度计算公式为：
11、
12、其中，e(p)代表经过处理后点p的新区域类别，i(p)表示点p的原始深度值，表示点p在深度图像中的梯度，n(σ)表示以σ为标准差的高斯噪声，h(·)表示以0为界限的越阶函数，tg是深度梯度的阈值。
13、可选地，所述获取人脸图片，使用人脸识别技术对所述人脸图片上所有的关键点进行检测和定位，并根据所有所述关键点对口腔区域进行分割，提取所述口腔区域的深度信息，具体包括：
14、获取人脸图片，使用人脸识别技术对所述人脸图片上所有的关键点进行检测和定位；
15、识别所有的关键点中的所有的面部关键点，从所有的所述面部关键点中提取嘴唇区域的关键点；
16、根据所述嘴唇区域的关键点，提取所述人脸图片上环绕所述嘴唇区域的若干点，统计所述若干点的所有坐标值，根据所述坐标值得到所述嘴唇区域的四个极远点；
17、根据四个所述极远点的坐标，框定所述人脸图片上的口腔区域，并提取所述口腔区域的深度信息。
18、可选地，所述嘴唇区域的关键点的判断公式为：
19、
20、其中，r(p)表示点p是否属于口腔区域的概率；p(x,y)表示人脸图像中的像素点，x,y代表像素点的坐标；m,n表示邻域值，ωij用于调整邻近像素对中心点的影响程度，k(p,pij)用于衡量中心点与邻域之间空间关系的核函数，i(pij)代表点pij的像素强度。
21、可选地，所述对所述深度信息进行二分法处理，分割得到所述口腔区域的咽喉区域，具体包括：
22、使用分水岭算法将所述口腔区域的深度信息分类为口腔外区域、舌头区域、咽喉区域和边缘过渡区域；
23、剔除所述人脸图片中除所述口腔区域之外的面部区域，并保留所述口腔区域的深度信息；
24、对所述口腔区域的深度信息进行二分法处理，以分割出所述口腔区域的咽喉区域。
25、可选地，所述分水岭算法的公式为：
26、w(p)＝watershed(g(s(d(p))),t)；
27、其中，w(p)表示点p经过分水岭处理后的类别标签，d(p)代表该点的原始深度，s(·)代表平滑函数用于处理深度信息中的突变值和毛刺，g(·)表示梯度计算公式，t代表分水岭算法中的阈值。
28、可选地，所述获取所述咽喉后壁的中心点与所述人工标注点之间的欧氏距离，根据所述欧氏距离对所述咽喉后壁的中心点的定位进行优化，具体包括：
29、通过比较算法获取所述咽喉后壁的中心点与人工标注点之间的欧氏距离，根据所述欧氏距离对所述咽喉后壁的中心点的定位精度进行评估；
30、以减小欧氏距离为目标，调整所述比较算法中的第一阈值和第二阈值，使用贝叶斯算法进行迭代，得到第三阈值，使用所述第三阈值进行计算以迭代所述欧氏距离，直至结果收敛。
31、本申请还提出一种基于深度摄像信息的咽喉图像分割定位系统，所述基于深度摄像信息的咽喉图像分割定位系统包括：
32、口腔深度信息提取模块，用于获取人脸图片，使用人脸识别技术对所述人脸图片上所有的关键点进行检测和定位，并根据所有所述关键点对口腔区域进行分割，提取所述口腔区域的深度信息；
33、咽喉区域分割模块，用于对所述深度信息进行二分法处理，分割得到所述口腔区域的咽喉区域；
34、咽喉后壁中心点定位模块，用于计算所述咽喉区域的极远点坐标，根据所述极远点坐标对咽喉后壁的中心点进行定位；
35、咽喉后壁中心点人工标注模块，用于获取第一数量的所述人脸图片，根据视觉判断对所述第一数量的所述人脸图片中的所述咽喉后壁的中心点进行人工标注，得到人工标注点；
36、咽喉后壁中心点定位优化模块，用于获取所述咽喉后壁的中心点与所述人工标注点之间的欧氏距离，根据所述欧氏距离对所述咽喉后壁的中心点的定位进行优化。
37、本申请还提出一种终端，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度摄像信息的咽喉图像分割定位程序，所述基于深度摄像信息的咽喉图像分割定位程序被所述处理器执行时实现如所述的基于深度摄像信息的咽喉图像分割定位方法的步骤。
38、本申请还提出一种计算机可读存储介质，所述计算机可读存储介质存储有基于深度摄像信息的咽喉图像分割定位程序，所述基于深度摄像信息的咽喉图像分割定位程序被处理器执行时实现如所述的基于深度摄像信息的咽喉图像分割定位方法的步骤。
39、本申请的有益效果是：区别于现有技术，本申请通过获取人脸图片，使用人脸识别技术对人脸图片上所有的关键点进行检测和定位，是口腔区域精确分割的前提，并根据关键点进行口腔区域分割，提取口腔区域的深度信息，对于后续步骤中的咽喉后壁的中心点的定位至关重要；其次，本申请通过对口腔区域的深度信息进行二分法处理，以分割出口腔区域的咽喉区域，在分割出咽喉区域后，通过计算咽喉区域的极远点的坐标对本文档来自技高网
...
【技术保护点】
1.一种基于深度摄像信息的咽喉图像分割定位方法，其特征在于，包括：
2.根据权利要求1所述的基于深度摄像信息的咽喉图像分割定位方法，其特征在于，所述基于深度摄像信息的咽喉图像分割定位方法还包括：
3.根据权利要求1所述的基于深度摄像信息的咽喉图像分割定位方法，其特征在于，所述获取人脸图片，使用人脸识别技术对所述人脸图片上所有的关键点进行检测和定位，并根据所有所述关键点对口腔区域进行分割，提取所述口腔区域的深度信息，具体包括：
4.根据权利要求3所述的基于深度摄像信息的咽喉图像分割定位方法，其特征在于，所述嘴唇区域的关键点的判断公式为：
5.根据权利要求1所述的基于深度摄像信息的咽喉图像分割定位方法，其特征在于，所述对所述深度信息进行二分法处理，分割得到所述口腔区域的咽喉区域，具体包括：
6.根据权利要求5所述的基于深度摄像信息的咽喉图像分割定位方法，其特征在于，所述分水岭算法的公式为：
7.根据权利要求1所述的基于深度摄像信息的咽喉图像分割定位方法，其特征在于，所述获取所述咽喉后壁的中心点与所述人工标注点之间的欧氏距离，根据所述欧氏距离对所述咽喉后壁的中心点的定位进行优化，具体包括：
8.一种基于深度摄像信息的咽喉图像分割定位系统，其特征在于，所述基于深度摄像信息的咽喉图像分割定位系统包括：
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度摄像信息的咽喉图像分割定位程序，所述基于深度摄像信息的咽喉图像分割定位程序被所述处理器执行时实现如权利要求1-7任一项所述的基于深度摄像信息的咽喉图像分割定位方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于深度摄像信息的咽喉图像分割定位程序，所述基于深度摄像信息的咽喉图像分割定位程序被处理器执行时实现如权利要求1-7任一项所述的基于深度摄像信息的咽喉图像分割定位方法的步骤。
...
【技术特征摘要】
1.一种基于深度摄像信息的咽喉图像分割定位方法，其特征在于，包括：
2.根据权利要求1所述的基于深度摄像信息的咽喉图像分割定位方法，其特征在于，所述基于深度摄像信息的咽喉图像分割定位方法还包括：
3.根据权利要求1所述的基于深度摄像信息的咽喉图像分割定位方法，其特征在于，所述获取人脸图片，使用人脸识别技术对所述人脸图片上所有的关键点进行检测和定位，并根据所有所述关键点对口腔区域进行分割，提取所述口腔区域的深度信息，具体包括：
4.根据权利要求3所述的基于深度摄像信息的咽喉图像分割定位方法，其特征在于，所述嘴唇区域的关键点的判断公式为：
5.根据权利要求1所述的基于深度摄像信息的咽喉图像分割定位方法，其特征在于，所述对所述深度信息进行二分法处理，分割得到所述口腔区域的咽喉区域，具体包括：
6.根据权利要求5所述的基于深度摄像信息的咽喉图像分割定位方法，其特征在于，所述分水岭算法的公式为：
...
【专利技术属性】
技术研发人员：唐晓颖，孟庆虎，王仲华，孟令啸，
申请(专利权)人：南方科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。