基于视频的深度神经网络回归模型的斜视判别方法及系统技术方案

本发明专利技术公开了一种基于视频的深度神经网络回归模型的斜视判别方法和系统。其中，斜视判别方法从当前简易儿童斜视判断方法的空缺出发，提出利用个人移动设备，拍摄斜视儿童正面转动眼球的视频，交给计算机视觉、深度神经网络相关技术处理的解决方案，并实际解决了方案中最重要的瞳孔关键点定位问题。斜视判别系统包括输入模块、人脸数据采集模块、眼部数据采集模块、标准化处理模块、瞳孔中心标注模块、模型建立模块、图片转化模块、归一化处理模块、坐标回归模块、图片映射模块、距离计算模块、向量处理模块和分类模块，脱离了各种专业斜视检查仪器的限制，利用计算机系统即可完成整套斜视判别工作流程。

【技术实现步骤摘要】
基于视频的深度神经网络回归模型的斜视判别方法及系统
本专利技术涉及斜视判别
，具体涉及基于视频的深度神经网络回归模型的斜视判别方法及系统。
技术介绍
斜视是儿童常见眼部疾病之一，具体表现为双眼不能同时注视目标，其患病率居于常见儿童眼病第三位。据分析，学龄前儿童是眼部疾病高发群体，斜视就是在人出生后不同年龄阶段逐渐展示出来，虽因类型不同而在年龄段上有所区别，但仍是以儿童时期为主。同时儿童时期也是治疗斜视等眼部疾病的黄金时期，2岁儿童已具备配合眼部检查与纠正的能力，通过早期干预性治疗，将大大提高治疗眼病的效果。相反，如果不能及时得到治疗，可能导致视觉障碍和外观异常，引起复视、混淆视与弱视等并发症，并在心理上引起儿童低自尊感、自卑、社交障碍等性格缺陷，从而严重影响其生存质量。当前斜视筛查方法仍以传统方法为主，如角膜映光法、视野计检查法、交替遮盖法、单眼遮盖-去遮盖法、双Maddox杆试验法等，而传统医学方法由于小儿眼科医生紧缺、另外儿童的眼球处于动态发育状态，需要多次检查随访才能准确诊断，又因儿童的配合度差完成眼科检查具有一定难度。在计算机视觉已发展成一门学科，技术越来越成熟的当下，逐渐出现了基于图像处理的筛查方法，此方法往往需要借助各种硬件设备，常见的有眼瞬息图像筛查仪，眼底照相机，红外灯照相机，裂隙灯照相机，眼瞳摄像机等。基于图像处理的筛查方法基本是通过眼瞬息图像筛查仪得到眼部角膜图像后，经过边缘检测等图像处理方法后得到瞳孔与角膜的定位与特征参数数据，再基于角膜映光法的判断条件进行图像分析与处理。诸如中国专利文献CN111973146A中公开了一种斜视检测装置，包括人体固定椅、测量杆和九方位照相仪；其装置可以对患者的头部进行固定，避免其检测过程移位，同时获取检测所需的33cm间距的图像；诸如中国专利文献CN110288567A提供了一种针对眼部的图像分析方法，包括：获取用户的眼部图像；对所获取的眼部图像进行图像分析，获得相应的眼部状态信息。在所得人脸图像上用矩形框标记眼部区域，将所述标记的眼部区域进行截取，形成眼部图像，并基于所述眼部图像，生成眼部图像训练集，包括左眼训练集和右眼训练集，再基于眼部深度学习模型对眼球的倾斜方向点进行判断，确定眼球的倾斜方向点与所述斜视检测模型中的预设方向点之间的差值绝对值是否小于预设差值以判断用户有无斗鸡眼；诸如中国专利文献CN110288567A公开了一种眼瞳图像预处理装置，通过对原始数字图像进行传统图像处理方法如归一化、边缘检测等处理和分析后，提取原始数字图像中的新月形亮区域的面积、角膜映光点与瞳孔的偏移距离以及瞳孔及角膜反光点的边缘，以计算斜视程度。这些解决方案都需要眼瞳摄像仪、视网膜扫描仪等仪器采集清晰眼底图像再用于模型训练。且任然需要线下诊疗，不易于推广。而有遮挡、光照等复杂场景的斜视检测和判定研究，还停留在比较落后的阶段。加之斜视眼病的判别复杂，须医生多次检测观察眼动轨迹等才能进行诊断，因此依靠单一图片进行斜视眼病的判定，准确性存疑。因此，提供一种能够脱离各种专业斜视检查仪器的限制，而利用个人移动设备，拍摄斜视儿童正面转动眼球的视频，交给计算机视觉、深度神经网络相关技术处理的解决方案，并给出一种便于使用的完整的斜视判别系统具有很大的研究价值。
技术实现思路
本专利技术所要解决的技术问题是克服目前对斜视判别方法的研究仍集中在泛化的人脸识别和物体识别上的缺陷，目的是提供基于视频的深度神经网络回归模型的斜视判别方法和系统，从而实现对现有的斜视判别方法进行改进。本专利技术通过下述技术方案实现：一种基于视频的深度神经网络回归模型的斜视判别方法，包括如下步骤：步骤1：获取人脸图片样本；步骤2：根据所述人脸图片样本获取双眼眼周关键点坐标数据集和眼部图片样本；步骤3：根据所述眼部图片样本利用瞳孔中心标注工具获取双眼的瞳孔检测数据集；步骤4：根据所述瞳孔检测数据集建立深度神经网络回归模型，并利用所述深度神经网络回归模型计算得到瞳孔中心相对坐标数据集；步骤5：将所述眼部图片样本映射回所述人脸图片样本中，获得瞳孔中心实际坐标数据集；步骤6：计算步骤2所述的关键点坐标数据集相对于所述步骤5所述的瞳孔中心实际坐标数据集之间的欧式距离，得到双眼特征向量集合，并将所述双眼特征向量集合用特征向量A和特征向量B表示；步骤7：将所述特征向量A和特征向量B合并为特征向量C，作为所述步骤1所述的人脸图片样本的特征向量集；步骤8：对所述特征向量C进行降维处理，得到低维的特征向量C1；步骤9：建立数据集分类模型，将所述特征向量C1代入所述数据分类模型计算得出分类结果，根据所述分类结果对正常人和斜视患者进行判别。本专利技术与现有的斜视判别技术相比，其改进点在于充分利用了计算机视觉和深度神经网络相关技术来实现瞳孔关键点定位，克服了泛化的人脸识别、物体识别的缺陷。其中，步骤3获取双眼的瞳孔检测数据集的关键在于利用瞳孔中心标注工具可以标注瞳孔边缘的三个不在同一平面的点，得到一个三角形。通过求得三角形的外接圆及外接圆圆心以得到准确地定位瞳孔中心坐标。作为对本专利技术的进一步描述，步骤1所述获取人脸图片样本的方法为：步骤1.1：利用普通的可移动拍摄工具拍摄获取多个人脸视频；步骤1.2：对所述多个人脸视频进行视频帧提取，得到人脸图片样本。作为对本专利技术的进一步描述，步骤2所述关键点坐标数据集和眼部图片样本的获取方法为：步骤2.1：针对所述人脸图片样本，利用人脸检测算法得到人脸关键点坐标数据集，并根据所述人脸坐关键点标数据集建立人脸坐标系；步骤2.2：根据所述人脸关键点坐标数据集对双眼进行关键点定位，得到双眼眼周的关键点坐标数据集；步骤2.3：根据所述双眼眼周关键点坐标数据集，从所述人脸图片样本中提取出双眼的眼部图片样本。作为对本专利技术的进一步改进，在步骤3之前，对所述眼部图片样本进行标准化处理，使所述眼部图片样本中的每张图片具有统一的尺寸，得到标准化眼部图片样本；并记录所述标准化眼部图片样本中每张图片的缩放比例。作为对本专利技术的进一步描述，步骤4所述深度神经网络回归模型的建立方法为：步骤4.1：根据所述瞳孔检测数据集建立初始深度神经网络回归模型；步骤4.2：将所述瞳孔检测数据集对应的眼部图片样本转化为用张量集表示，得到图像张量集；步骤4.3：将所述图像张量集和所述图像张量集对应的标注数据输入所述初始深度神经网络回归模型进行训练，计算得到模型参数；将所述模型参数代入所述初始深度神经网络回归初始化模型，得到最终的深度神经网络回归模型。作为对本专利技术的进一步描述，步骤5所述瞳孔中心相对坐标数据集的获取方法为：将所述步骤4.2所述的归一化向量集代入所述深度神经网络回归模型中，计算得到瞳孔中心相对坐标数据集。作为对本专利技术的进一步改进，在步骤7之前对步骤6所述的特征向量A和特征向量B进行归一化处理，消除图片分辨率、人脸与摄像头的拍摄距离影响因本文档来自技高网...

【技术保护点】
1.基于视频的深度神经网络回归模型的斜视判别方法，其特征在于，包括以下步骤：/n步骤1：获取人脸图片样本；/n步骤2：根据所述人脸图片样本获取双眼眼周关键点坐标数据集和眼部图片样本；/n步骤3：根据所述眼部图片样本利用瞳孔中心标注工具获取双眼的瞳孔检测数据集；/n步骤4：根据所述瞳孔检测数据集建立深度神经网络回归模型，并利用所述深度神经网络回归模型计算得到瞳孔中心相对坐标数据集；/n步骤5：将所述眼部图片样本映射回所述人脸图片样本中，获得瞳孔中心实际坐标数据集；/n步骤6：计算步骤2所述的关键点坐标数据集相对于所述步骤5所述的瞳孔中心实际坐标数据集之间的欧式距离，得到双眼特征向量集合，并将所述双眼特征向量集合用特征向量A和特征向量B表示；/n步骤7：将所述特征向量A和特征向量B合并为特征向量C，作为所述步骤1所述的人脸图片样本的特征向量集；/n步骤8：对所述特征向量C进行降维处理，得到低维的特征向量C1；/n步骤9：建立数据集分类模型，将所述特征向量C1代入所述数据分类模型计算得出分类结果，根据所述分类结果对正常人和斜视患者进行判别。/n

【技术特征摘要】
1.基于视频的深度神经网络回归模型的斜视判别方法，其特征在于，包括以下步骤：
步骤1：获取人脸图片样本；
步骤2：根据所述人脸图片样本获取双眼眼周关键点坐标数据集和眼部图片样本；
步骤3：根据所述眼部图片样本利用瞳孔中心标注工具获取双眼的瞳孔检测数据集；
步骤4：根据所述瞳孔检测数据集建立深度神经网络回归模型，并利用所述深度神经网络回归模型计算得到瞳孔中心相对坐标数据集；
步骤5：将所述眼部图片样本映射回所述人脸图片样本中，获得瞳孔中心实际坐标数据集；
步骤6：计算步骤2所述的关键点坐标数据集相对于所述步骤5所述的瞳孔中心实际坐标数据集之间的欧式距离，得到双眼特征向量集合，并将所述双眼特征向量集合用特征向量A和特征向量B表示；
步骤7：将所述特征向量A和特征向量B合并为特征向量C，作为所述步骤1所述的人脸图片样本的特征向量集；
步骤8：对所述特征向量C进行降维处理，得到低维的特征向量C1；
步骤9：建立数据集分类模型，将所述特征向量C1代入所述数据分类模型计算得出分类结果，根据所述分类结果对正常人和斜视患者进行判别。


2.根据权利要求1所述的基于视频的深度神经网络回归模型的斜视判别方法，其特征在于，所述步骤1所述获取人脸图片样本的方法为：
步骤1.1：利用普通的可移动拍摄工具拍摄获取多个人脸视频；
步骤1.2：对所述多个人脸视频进行视频帧提取，得到人脸图片样本。


3.根据权利要求1或2所述的基于视频的深度神经网络回归模型的斜视判别方法，其特征在于，所述步骤2所述双眼眼周关键点坐标数据集和眼部图片样本的获取方法为：
步骤2.1：针对所述人脸图片样本，利用人脸检测算法得到人脸关键点坐标数据集，并根据所述人脸坐关键点标数据集建立人脸坐标系；
步骤2.2：根据所述人脸关键点坐标数据集对双眼进行关键点定位，得到双眼眼周的关键点坐标数据集；
步骤2.3：根据所述双眼眼周关键点坐标数据集，从所述人脸图片样本中提取出双眼的眼部图片样本。


4.根据权利要求1所述的基于视频的深度神经网络回归模型的斜视判别方法，其特征在于，在所述步骤3之前，对所述眼部图片样本进行标准化处理，使所述眼部图片样本中的每张图片具有统一的尺寸，得到标准化眼部图片样本；并记录所述标准化眼部图片样本中每张图片的缩放比例。


5.根据权利要求1所述的基于视频的深度神经网络回归模型的斜视判别方法，其特征在于，所述步骤4所述深度神经网络回归模型的建立方法为：
步骤4.1：根据所述瞳孔检测数据集建立初始深度神经网络回归模型；
步骤4.2：将所述瞳孔检测数据集对应的眼部图片样本转化为用张量集表示，得到图像张量集；
步骤4.3：将所述图像张量集和所述图像张量集对应的标注数据输入所述初始深度神经网络回归模型进行训练，计算得到模型参数；将所述模型参数代入所述初始深度神经网络回归初始化模型，得到最终的深度神经网络回归模型。


6.根据权利要求5所述的基于视频的深度神经网络回归模型的斜视判别方法，其特征在于，所述步骤4所述瞳孔中心相对坐标数据集的获取方法为：将所述步骤2所述的眼部图像样本转换为张量后输入所述深度神经网络回归模型中，计算得到瞳孔中心相对坐标数据集。


7.根据...

【专利技术属性】
技术研发人员：米建勋，张寒梅，陈涛，向菲，钱基业，江金洋，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50