一种基于深度学习的斜视识别系统技术方案

本发明专利技术公开了一种基于深度学习的斜视识别系统，两个拍摄装置；坐标转换模型；眼部感兴趣区域提取单元；虹膜分割单元；中心点检测单元，由基于改进的ResNet的网络结构训练生成，用于输入虹膜图像，输出瞳孔中心点和反射光中心点的坐标；输出单元，将中心点检测单元获取的两个拍摄装置拍摄的人脸图像的瞳孔中心点和反射光中心点，利用坐标转换模型获得瞳孔中心点和反射光中心点在三维空间中的坐标，并利用该坐标计算眼睛的瞳孔和反射点的距离和方向，并输出该结果。采用双拍摄装置，通过拍摄装置的标定得到其内外参数矩阵，从而能算出图像中的点到真实世界点的映射关系，进而得到真实世界的距离，更有利于判定患者是否患有斜视和斜视的种类，且其准确性更高。且其准确性更高。且其准确性更高。

【技术实现步骤摘要】
一种基于深度学习的斜视识别系统


[0001]本专利技术具体涉及一种基于深度学习的斜视识别系统。

技术介绍

[0002]通常人工实施对受试者斜视的检测。在这种情况下，受过训练的临床医师使用“赫斯伯格测试法(Hirschberg test)”对受试者的眼睛进行评估，“赫斯伯格测试法”是用于检查眼睛的瞳孔在聚焦和注视到置于其正前方的目标上时是否对称的一项公认的、但是粗略的测试法。
[0003]从广义上而言，赫斯伯格测试法通过下述来实行，即在受试者的眼睛处照射来自位于眼睛正前方的光源的光，让患者聚焦于光或恰好紧靠其的对象，以及观察在两只眼睛中光的反射点(reflection)和瞳孔的中心之间的距离在大小和方向上是否显现得相同。
[0004]而人工进行斜视测试，其准确性较大程度上依赖于医生的经验，因此其对专业医生的资源需求较高，不能很好地满足庞大的斜视患者人群。对此，中国专利CN 104661580 A公开了斜视检测，其具体公开了所述至少一个图像使用包括光源和从光源偏移的目标的设备来获得，所述方法对于受试者的左眼和右眼中的每一个而言包括：从图像确定反射偏移距离，其是眼睛的参考点和光源在眼睛上的反射点之间的距离；针对相应的左眼或右眼确定反射偏移距离和参考反射偏移距离之间的差异，其中参考反射偏移距离基于光源、目标和受试者的头部的相对位置来确定；以及确定所述差异是否小于差异阈值以便确定受试者是否具有斜视，该专利公开了可通过计算机图像处理技术和分析技术来使该过程自动化完成。
[0005]但是目前基于图像来确定偏移距离的方式多是基于传统的单目相机，采用单目相机无法获得真实的偏移距离，只能得到像素距离来做一定的估算，这样极大的增加了判定的难度，也导致了斜视判定时可能会存在偏差的问题出现。

技术实现思路

[0006]针对现有技术存在的不足，本专利技术的目的在于提供一种基于深度学习的斜视识别系统。
[0007]为实现上述目的，本专利技术提供了如下技术方案：
[0008]一种基于深度学习的斜视识别系统，其包括：
[0009]两个拍摄装置，用于获取患者的人脸图像；
[0010]坐标转换模型，基于两个拍摄装置的内参矩阵及外参矩阵，用于图像坐标点输入转换为三维坐标输出；
[0011]眼部感兴趣区域提取单元，对拍摄装置获取的人脸图像进行人脸关键点检测，并将人脸图像转换为特征点式图像，并提取包含眼部感兴趣区域的图像；
[0012]虹膜分割单元，由基于改进的U
‑
Net的网络结构训练生成，用于输入眼部感兴趣区域的图像，输出虹膜图像；
[0013]中心点检测单元，由基于改进的ResNet网络结构训练生成，用于输入虹膜图像，输出瞳孔中心点和反射光中心点的坐标；
[0014]输出单元，将中心点检测单元获取的两个拍摄装置拍摄的人脸图像的瞳孔中心点和反射光中心点，利用坐标转换模型获得瞳孔中心点和反射光中心点在三维空间中的坐标，并利用该坐标计算眼睛的瞳孔和反射点的距离和方向，并输出该结果。
[0015]所述坐标转换模型的内参矩阵通过网格标定法获取，借助标准的棋盘网格作为标定板，每个相机拍下若干张各个角度的网格图像，将图像输入到标定算法就获得相机的内参矩阵和畸变系数。
[0016]所述坐标转换模型的外参矩阵获取方法如下，通过两个拍摄装置同时拍摄同一个标定板画面获取外参矩阵，以第一个拍摄装置的原点作为世界坐标系的原点位置，获取第一个拍摄装置的外参矩阵，同时拍摄的同一个标定板画面图像计算得到第一个拍摄装置到第二个拍摄装置的偏移和旋转矩阵，求得的第一个拍摄装置到第二个拍摄装置的偏移和旋转矩阵就是第二个拍摄装置的外参矩阵。
[0017]眼部感兴趣区域提取单元基于下述步骤进行，
[0018]一、通过人脸检测获取目标人脸图像；
[0019]二、对目标人脸图像进行特征点检测；
[0020]三、对完成特征点检测的人脸图像进行对齐处理，使人脸图像变化成特征点形式图像，并且将其对齐到基准人脸上；
[0021]四、根据眼睛的关键点进一步截取出感兴趣的眼部区域。
[0022]所述基于改进的U
‑
Net的网络结构包括：
[0023]位于左侧的编码器，由两个3x3的卷积层+激活层，再加上一个2x2的下采样层组成一个下采样模块；
[0024]位于右侧的解码器，由一个上采样的卷积层+特征拼接+两个3x3的卷积层和激活层反复构成；
[0025]不同膨胀系数的膨胀卷积，设置在编码器的底部，用于在不缩小特征图分辨率的情况下增加网络模型的感受野。
[0026]所述基于改进的ResNet的网络结构在残差连接中引入空洞卷积替代池化层。
[0027]所述基于改进的ResNet的网络结构包含12个串接的残差模块，每个残差模块由2个卷积层构成，每个卷积层由批量归一化和激活层修正线性单元激活，其中第9个和第10个残差模块采用系数为3的空洞卷积，第8个和第11个残差模块采用系数为2的空洞卷积，其他残差模块的残差连接采用普通的卷积层；第3个和第6个残差模块对特征图进行了系数为2的下采样，并把第5个、第9个和第12个残差模块的输出引出，用反卷积进行放大因子分别为2、4和4的上采样，使从3个分支引出的特征图与输入图像大小一致后进行通道连接实现多尺度融合，连接后的特征图再经过一个卷积层得到瞳孔的特征图和反射点的特征图。
[0028]基于瞳孔的特征图获取瞳孔分割的损失函数DSC，基于反射点的特征图获取反射点定位的损失函数MSE，获取基于改进的ResNet网
络结构的损失为Loss＝DSC+αMSE。
[0029]通过反向传播算法进行不断迭代优化卷积神经网络的预测精度。
[0030]本专利技术的有益效果：采用双拍摄装置，通过拍摄装置的标定得到其内外参数矩阵，从而能算出图像中的点到真实世界点的映射关系，进而得到真实世界的距离。得到瞳孔中心点和反射中心点在现实世界中的距离和偏移的角度，更有利于判定患者是否患有斜视和斜视的种类，且其准确性更高。
附图说明
[0031]图1为本专利技术的拍摄装置的标定原理示意图。
[0032]图2为传统的U
‑
Net网络结构图。
[0033]图3为改进的U
‑
Net的网络结构图。
[0034]图4为基于改进的ResNet的网络结构图。
[0035]图5为脸部关键点检测示意图。
具体实施方式
[0036]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0037]需要说明，本专利技术实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的斜视识别系统，其特征在于：其包括：两个拍摄装置，用于分别获取患者的人脸图像；坐标转换模型，基于两个拍摄装置的内参矩阵及外参矩阵，用于图像坐标点输入转换为三维坐标输出；眼部感兴趣区域提取单元，对拍摄装置获取的人脸图像进行人脸关键点检测，并将人脸图像转换为特征点式图像，并提取包含眼部感兴趣区域的图像；虹膜分割单元，由基于改进的U
‑
Net的网络结构训练生成，用于输入眼部感兴趣区域的图像，输出虹膜图像；中心点检测单元，由基于改进的ResNet的网络结构训练生成，用于输入虹膜图像，输出瞳孔中心点和反射光中心点的坐标；输出单元，将中心点检测单元获取的两个拍摄装置拍摄的人脸图像的瞳孔中心点和反射光中心点，利用坐标转换模型获得瞳孔中心点和反射光中心点在三维空间中的坐标，并利用该坐标计算眼睛的瞳孔和反射点的距离和方向，并输出该结果。2.根据权利要求1所述的一种基于深度学习的斜视识别系统，其特征在于：所述坐标转换模型的内参矩阵通过网格标定法获取，借助标准的棋盘网格作为标定板，每个相机拍下若干张各个角度的网格图像，将图像输入到标定算法就获得相机的内参矩阵和畸变系数。3.根据权利要求1所述的一种基于深度学习的斜视识别系统，其特征在于：所述坐标转换模型的外参矩阵获取方法如下，通过两个拍摄装置同时拍摄同一个标定板画面获取外参矩阵，以第一个拍摄装置的原点作为世界坐标系的原点位置，获取第一个拍摄装置的外参矩阵，同时拍摄的同一个标定板画面图像计算得到第一个拍摄装置到第二个拍摄装置的偏移和旋转矩阵，求得的第一个拍摄装置到第二个拍摄装置的偏移和旋转矩阵就是第二个拍摄装置的外参矩阵。4.根据权利要求1所述的一种基于深度学习的斜视识别系统，其特征在于：眼部感兴趣区域提取单元基于下述步骤进行，一、通过人脸检测获取目标人脸图像；二、对目标人脸图像进行特征点检测；三、对完成特征点检测的人脸图像进行对齐处理，使人脸图像变化成特征点形式...

【专利技术属性】
技术研发人员：卓然，侯立杰，叶欣杰，蔡伟军，
申请(专利权)人：温州医科大学附属眼视光医院，
类型：发明
国别省市：