基于视线估计和双目深度估计的眼镜设计方法及其眼镜技术

本发明专利技术提供一种基于视线估计和双目深度估计的眼镜设计方法，其包括眼睛使用状态判定子步骤和眼镜系统。眼睛使用状态判定子步骤是通过视线估计判定人眼注视的位置，然后通过双目摄像头估计所注视位置的距离，从而精准的判断出眼睛是在看近处的紧张状态还是在看远处的放松状态；保障科学使用眼睛的智能眼镜系统是根据眼睛使用状态判定子步骤，分别对眼睛处于紧张和放松状态进行计时，达到设定时长震动提醒，从而保障眼睛在设定的使用和休息时长之间科学使用，达到保护眼睛的效果。本发明专利技术通过视线跟踪判断眼睛注视目标并用双目相机估计深度的方式，进一步保障了用户的视力健康，解决了用户因长时间近距离用眼导致视力受损的问题。

【技术实现步骤摘要】
基于视线估计和双目深度估计的眼镜设计方法及其眼镜
本专利技术涉及佩戴设备领域，特别涉及一种基于视线估计和双目深度估计的眼镜设计方法及其眼镜。
技术介绍
眼疲劳是一种常见的病状，这种症状往往伴随眼干、眼涩、眼酸胀甚至视力低下，直接影响着人们的学习工作生活。随着时代的电子化信息化的发展，手机和电脑逐渐成为人们的生活的必需品，无论是上班族还是老人小孩，人们都容易高时长高频率的使用手机和电脑，而用眼习惯不良是造成眼疲劳的主要原因，我国大部分群体对于用眼卫生和保护眼睛都缺乏一个足够的意识，另外学习工作中人们往往难以意识到自己的眼部疲劳，容易造成用眼过度。近年我国近视比率居高不下。眼睛疲劳健康的问题引起广泛关注。现有的视力保护子步骤通过都是从用眼的姿势，环境及镜片调节入手，来保障眼睛的健康，然而好的眼睛使用状态只是保护眼睛的一部分，长时间用眼没有放松损害眼健康的问题难以得到有效解决，对眼镜疲劳状态的判断也是一大难题，现有的通过眨眼频率、传感器检测外部环境等方式误差大不精准不及时，对眼疲劳防护的效果比较有限。
技术实现思路
针对现有技术存在的问题，本专利技术提供一种基于视线估计和双目深度估计的眼镜设计方法，主要是将视线估计和双目深度估计技术结合，判断用户眼睛的使用状态，通过震动提醒与解除的方式，控制用户眼紧张和放松的时长，从而精确的保障用户在科学的使用和放松时长之间科学用眼，以达到视力保护的效果。本专利技术提供了一种基于视线估计和双目深度估计的眼镜设计方法，其包括眼睛使用状态判定子步骤和眼镜系统。所述眼睛使用状态判定子步骤是通过视线估计判定人眼注视的位置，然后通过双目摄像头估计所注视位置的距离，从而精准的判断出眼睛是在看近处的紧张状态还是在看远处的放松状态；所述保障科学使用眼睛的智能眼镜系统是根据所述眼睛使用状态判定子步骤，分别对眼睛处于紧张和放松状态进行计时，达到设定时长震动提醒，从而保障眼睛在设定的使用和休息时长之间科学使用，达到保护眼睛的效果，眼镜设计方法的具体实施步骤如下：S1、基于视线估计和双目深度估计的眼睛使用状态判别方法：S11、用两个相同的左红外光源发射器和右红外光源发射器的红外光源分别对用户左右眼球发射红外光，并分别用左红外光源发射器和右红外光源发射器对应的红外相机接收；S12、采用瞳孔角膜反射法进行视线估计，并将估计的视线与眼镜上的场景相机采集的图像的交点对比，确定用户眼球注视的区域；S13、双目相机采用双目立体匹配算法(SGBM)计算出视差图，然后检测视差图的空洞区域，用附近可靠视差值得均值填充，从而得到良好的视差图，再根据视差和深度的转换表达式计算得到深度图；S14、将双目相机计算的深度图与场景相机采集的图像进行配准，其中，将深度图的平面像素坐标转换到场景相机图像像素坐标系下，分为三小步；S141、将双目相机的像素坐标变换到其相机坐标系下，其变换公式为：式中，uL、vL、zL分别用来表示双目相机最终图像像素的横坐标、纵坐标和深度值，xL、yL、zL分别表示对应在双目相机坐标系下三个方向的坐标，f表示相机焦距，dx、dy分别代表横纵方向上，相机坐标变换到像素坐标的缩放比例。从而双目相机的像素坐标到其相机坐标系的变换公式为：式中，LR为双目相机标定的相机内参矩阵。S142、将场景相机的像素坐标变换到其相机坐标系下，其变换公式为：式中，uR、vR、zR则分别表示场景相机图像像素的横坐标，纵坐标和深度值，xR、yR、zR分别表示对应在场景相机坐标系下三个方向的坐标，f表示相机焦距，dx、dy分别代表横纵方向上，相机坐标变换到像素坐标的缩放比例。从而世界坐标系到场景相机坐标系的变换公式为：式中，RR为场景相机标定的内参矩阵；S143、求出双目相机坐标系到场景相机坐标系的变换，从而将双目相机得到的深度图的平面像素坐标转换到场景相机图像像素坐标，其变换公式为：双目相机坐标系到场景相机坐标系的变换公式为：式中，M为两个相机光心的外参矩阵；分别将步骤S141和步骤S142中，双目相机和场景相机像素坐标变换为相机坐标的式子，带入步骤S143中的式子中，整理得到：式中，W为最终整理得到的4×4参数矩阵，将其展开列出：由此双目相机深度图的平面像素坐标转换到场景相机像素坐标的表达式为：S15、选取视线估计所估计的用户眼球注视区域中心的二维坐标，在对应深度图中获取深度值；S151、若深度值大于最大设定值，判定用户眼睛是放松状态；S152、若深度值小于设定的最小值，则认为用户眼睛是紧张状态。S2、基于步骤S1的保障科学使用眼睛的智能眼镜的系统：S21、对视线估计的初始化值进行校准，同时设定眼睛紧张状态和放松状态的设定值；S22、设定护眼模式和等待模式，所述护眼模式主要设置用户眼睛的使用时长以及休息时长，同时根据用户所处的环境设定用户眼睛的远眺距离；S23、用户开启使用后，激活智能眼镜系统中的视线估计和双目深度估计，若检测到用户眼睛注视目标距离小于设定的规定值，满足眼睛紧张状态的情况达到30秒后，视为眼睛进入紧张状态，触发系统的计时程序，开始计时；S24、计时程序达到设定时长，给震动马达一电信号，震动马达启动，持续震动，提醒用户休息；S25、用户远眺，开始放松眼睛；S251、智能眼镜系统中的传感器检测到用户眼睛所注视目标距离满足规定的远眺距离，给震动马达电信号，震动马达停止震动，同时触发系统的计时程序，开始计时；S252、若用户眼睛未达到规定休息时长，震动马达继续震动，智能眼镜系统中的传感器检测到用户眼睛所注视距离满足规定的远眺距离，震动马达停止震动；S26、若用户眼睛达到规定休息时长，解除震动马达的震动提醒；S27、若检测用户眼睛注视目标距离小于规定的远眺距离为30秒，进入下步骤S22的等待模式。可优选的是，在步骤S13中，所述视差和深度的转换表达式为：式中，D为深度值；f表为归一化后的焦距，即内参中的fx；b为两相机光心之间距离，即基线距离；d为视差值。可优选的是，本专利技术通过视线估计和双目深度估计，提出一种精准估计眼睛使用状态的判别方法；本专利技术通过对眼睛紧张和放松状态时长的科学控制，实现了一种较为准确有效的眼镜系统。本专利技术的另一方面，提供一种基于视线估计和双目深度估计的眼镜设计方法的眼镜，其包括双目相机、右红外光源发射接收器、左红外光源发射接收器和场景相机，所述双目相机位于眼镜框的上部的中心，所述场景相机位于鼻托的中心，所述左红外光源发射接收器和所述右红外光源发射接收器分别位于眼镜框的左右两端。可优选的是，所述左红外光源发射接收器的发射接收中心和所述右红外光源发射接收器的发射接收中心分别与左右眼球的中心在同一直线上。本专利技术与现有技术相比，具有如下优点：...

【技术保护点】
1.一种基于视线估计和双目深度估计的眼镜设计方法，其包括眼睛使用状态判定子步骤和视力保护子步骤，其特征在于，所述眼睛使用状态判定子步骤是通过视线估计判定人眼注视的位置，然后通过双目摄像头估计所注视位置的距离，从而判断出眼睛是在看近处的紧张状态还是在看远处的放松状态；所述视力保护子步骤是根据所述眼睛使用状态判定子步骤，分别对眼睛处于紧张和放松状态进行计时，达到设定时长震动提醒，从而保障眼睛在设定的使用和休息时长之间使用，所述眼镜设计方法的具体实施步骤如下：/nS1、基于视线估计和双目深度估计的眼睛使用状态判别方法：/nS11、用两个相同的左红外光源发射器和右红外光源发射器的红外光源分别对用户左右眼球发射红外光，并分别用左红外光源发射器和右红外光源发射器对应的红外相机接收；/nS12、采用瞳孔角膜反射法进行视线估计，并将估计的视线与眼镜上的场景相机采集的图像的交点对比，确定用户眼球注视的区域；/nS13、双目相机采用双目立体匹配算法SGBM计算出视差图，然后检测视差图的空洞区域，用附近可靠视差值得均值填充，从而得到视差图，再根据视差和深度的转换表达式计算得到深度图；/nS14、将双目相机计算的深度图与场景相机采集的图像进行配准，其中，将深度图的平面像素坐标转换到场景相机图像像素坐标系下，分为三小步；/nS141、将双目相机的像素坐标变换到其相机坐标系下，其变换公式为：/n...

【技术特征摘要】
1.一种基于视线估计和双目深度估计的眼镜设计方法，其包括眼睛使用状态判定子步骤和视力保护子步骤，其特征在于，所述眼睛使用状态判定子步骤是通过视线估计判定人眼注视的位置，然后通过双目摄像头估计所注视位置的距离，从而判断出眼睛是在看近处的紧张状态还是在看远处的放松状态；所述视力保护子步骤是根据所述眼睛使用状态判定子步骤，分别对眼睛处于紧张和放松状态进行计时，达到设定时长震动提醒，从而保障眼睛在设定的使用和休息时长之间使用，所述眼镜设计方法的具体实施步骤如下：
S1、基于视线估计和双目深度估计的眼睛使用状态判别方法：
S11、用两个相同的左红外光源发射器和右红外光源发射器的红外光源分别对用户左右眼球发射红外光，并分别用左红外光源发射器和右红外光源发射器对应的红外相机接收；
S12、采用瞳孔角膜反射法进行视线估计，并将估计的视线与眼镜上的场景相机采集的图像的交点对比，确定用户眼球注视的区域；
S13、双目相机采用双目立体匹配算法SGBM计算出视差图，然后检测视差图的空洞区域，用附近可靠视差值得均值填充，从而得到视差图，再根据视差和深度的转换表达式计算得到深度图；
S14、将双目相机计算的深度图与场景相机采集的图像进行配准，其中，将深度图的平面像素坐标转换到场景相机图像像素坐标系下，分为三小步；
S141、将双目相机的像素坐标变换到其相机坐标系下，其变换公式为：



式中，uL、vL、zL分别用来表示双目相机最终图像像素的横坐标、纵坐标和深度值，xL、yL、zL分别表示对应在双目相机坐标系下三个方向的坐标，f表示相机焦距，dx、dy分别代表横纵方向上，相机坐标变换到像素坐标的缩放比例；
从而双目相机的像素坐标到其相机坐标系的变换公式为：



式中，LR为双目相机标定的相机内参矩阵；
S142、将场景相机的像素坐标变换到其相机坐标系下，其变换公式为：



式中，uR、vR、zR则分别表示场景相机图像像素的横坐标，纵坐标和深度值，xR、yR、zR分别表示对应在场景相机坐标系下三个方向的坐标，f表示相机焦距，dx、dy分别代表横纵方向上，相机坐标变换到像素坐标的缩放比例；
从而世界坐标系到场景相机坐标系的变换公式为：



式中，RR为场景相机标定的内参矩阵；
S143、求出双目相机坐标系到场景相机坐标系的变换，从而将双目相机得到的深度图的平面像素坐标转换到场景相机图像像素坐标，其变换公式为：
双目相机坐标系到场景相机坐标系的变换公式为：



式中，M为两个相机光心的外参矩阵；
分别将步骤S141和步骤S142中，双目相机和场景相机像素坐标变换为相机坐标的式子，带入步骤S143中的式子中，整理得到：



式中，W为最终整理得到的4×4参数矩阵，将其展开列出：

...

【专利技术属性】
技术研发人员：金梅，李清天，张立国，杨曼，胡林，李翔宇，刘强，刘海博，
申请(专利权)人：燕山大学，
类型：发明
国别省市：河北;13