终端及其遥控的方法技术

本发明专利技术公开了一种终端及其遥控的方法，方法包括：获取设定区域内用户的至少两帧图像，对图像人脸定位；根据预先创建的双眼基准位置，对人脸图像进行瞳孔定位，根据瞳孔的位置确定瞳孔的运动情况；从操作策略中查找并执行与瞳孔的运动情况对应的遥控指令，实现对应的操作功能；双眼基准位置创建过程：获取设定区域内的用户的双眼睁图像和双眼闭图像，根据双眼睁图像与双眼闭图像的垂直灰度投影直方图的差异创建双眼基准位置。本发明专利技术所提供终端及方法，相比现有瞳孔跟踪技术，提高了瞳孔定位的准确度，在通过瞳孔运动遥控终端过程中可防止因瞳孔定位不准确，使终端识别瞳孔运动错误的问题，减少了终端因识别错误而误操作，提高了用户的体验效果。

【技术实现步骤摘要】
终端及其遥控的方法
本专利技术涉及人机交互
，尤其是涉及一种基于瞳孔跟踪技术的终端及其遥控的方法。
技术介绍
目前，对电视的遥控可以分为两类，一类是基于设备的，如遥控/手机/点读笔等；另一类是基于用户身体和行为本身的，即不需要借助外部设备，如手势/语音/意念等。基于设备的遥控涉及与设备直接的牵涉，没有设备就无法进行任何遥控，具有强制性的前提条件，这样的模式已越来越不太适应现代的智能家具生活中；基于用户本身的遥控是现在的研究热点，但各种方法各有利弊，其中基于手势的遥控，用户一直抬手容易疲劳，语音操作容易受到环境干扰，意念遥控存在技术瓶颈，还未出现真正的产品。随着科技的发展，特别是人脸检测和人眼检测技术的成熟为人机交互提供了更多的可能。如果能够直接通过人眼（瞳孔）完成对显示设备的遥控，则使我们的智能家居生活更加智能化，更加便捷化，更具有人性化。申请号为201210333443.3专利申请文献公开了一种移动终端及其遥控方法，具体公开了一种检测用户瞳孔运动轨迹，根据该运动轨迹相应发出控制指令的技术方案。即现有技术中已存在通过瞳孔运动实现对显示设备的遥控技术。现有的这种通过瞳孔运动实现对移动设备遥控技术，需进行两次人眼定位，其具体人眼定位方式为：首先根据脸部肤色的聚类特性检测用户脸部位置，即在人脸检测的基础上，根据眼睛在人脸上的几何位置分布，确定眼睛的大概位置，缩小眼部检测的区域范围；其次，在缩小的眼部搜索区域范围内，利用Sobel边缘检测算法对眼部区域进行边缘检测，提取眼部的边缘信息，进行人眼精确检测。现有这种进行两次人眼定位的方法，在确定人眼的大概位置时，仅根据眼睛与周围肤色的不同来确定，并不很准确，也即现有技术仅能确定肤色不同的地方不是用户脸皮，却不能确定该地方一定是眼睛，因为很可能会由于眉毛、较长的头发或化妆效果等干扰因素导致检测不准确。
技术实现思路
本专利技术的主要目的在于提供一种基于瞳孔跟踪技术的终端及其遥控的方法，提高瞳孔定位的准确度，在通过瞳孔运动实现遥控终端的过程，防止因瞳孔定位不准确，使终端识别瞳孔运动错误，导致终端误操作现象的发生，提高用户体验效果。本专利技术提出一种终端遥控的方法，包括：获取设定区域内用户的至少两帧图像，对每帧图像进行人脸定位，获得人脸图像；根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼瞳孔定位，根据每帧人脸图像中人眼瞳孔的位置确定瞳孔的运动情况；从预设的操作策略中查找并执行与所述瞳孔的运动情况对应的遥控指令，实现对应的操作功能；所述用户的双眼基准位置创建过程为：获取设定区域内所述用户的双眼睁图像和双眼闭图像，根据双眼睁图像的垂直灰度投影直方图与双眼闭图像的垂直灰度投影直方图之间的差异创建所述用户的双眼基准位置。优选地，所述根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼瞳孔定位，根据每帧人脸图像中人眼瞳孔的位置确定瞳孔的运动情况包括：根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼定位，获得对应的第一人眼图像；对每帧第一人眼图像进行边缘提取和阈值分割计算，根据计算结果确定人眼在对应的人脸图像中的精确位置，获取第二人眼图像；对每帧第二人眼图像进行瞳孔定位，根据每帧第二人眼图像中瞳孔的位置确定瞳孔的运动情况。优选地，所述对每帧第二人眼图像进行瞳孔定位具体包括：对每帧第二人眼图像进行灰度值比较，将每帧第二人眼图像中灰度值低的区域的重心位置定位为瞳孔位置。优选地，所述获取设定区域内用户的至少两帧图像之后还包括：对所述至少两帧图像中的每帧图像分别进行光照校正和降噪处理；所述获取设定区域内所述用户的双眼睁图像和双眼闭图像之后还包括：对所述双眼睁图像和双眼闭图像分别进行光照校正和降噪处理。优选地，所述对每帧图像进行人脸定位具体包括：采用AdaBoost算法或肤色检测算法对每帧图像进行人脸定位。本专利技术另提出一种终端，包括：人脸定位模块，用于获取设定区域内用户的至少两帧图像，对每帧图像进行人脸定位，获得人脸图像；人眼瞳孔定位模块，用于根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼瞳孔定位，根据每帧人脸图像中人眼瞳孔的位置确定瞳孔的运动情况；执行模块，用于从预设的操作策略中查找并执行与所述瞳孔的运动情况对应的遥控指令，实现对应的操作功能；双眼基准位置创建模块，用于获取设定区域内的所述用户的双眼睁图像和双眼闭图像，根据双眼睁图像的垂直灰度投影直方图与双眼闭图像的垂直灰度投影直方图之间的差异创建所述用户的双眼基准位置。优选地，所述人眼瞳孔定位模块，具体还用于根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼定位，获得对应的第一人眼图像；对每帧第一人眼图像进行边缘提取和阈值分割计算，根据计算结果确定人眼在对应的人脸图像中的精确位置，获取第二人眼图像；以及对每帧第二人眼图像进行瞳孔定位，根据每帧人眼图像中瞳孔的位置确定瞳孔的运动情况。优选地，所述人眼瞳孔定位模块，具体用于对每帧第二人眼图像进行灰度值比较，将每帧第二人眼图像中灰度值低的区域的重心位置定位为瞳孔位置。优选地，所述的终端还包括：图像预处理模块，用于对所述至少两帧图像中的每帧图像、所述双眼睁图像、以及双眼闭图像分别进行光照校正和降噪处理。优选地，所述人脸定位模块，具体用于采用AdaBoost算法或肤色检测算法对每帧图像进行人脸定位。本专利技术所提供的一种终端及其遥控的方法，通过根据预先创建的所述用户的双眼基准位置，对获取的用户的每帧人脸图像进行人眼瞳孔定位，根据每帧人脸图像中人眼瞳孔的位置确定瞳孔的运动情况；从预设的操作策略中查找并执行与所述瞳孔的运动情况对应的遥控指令，实现对应的操作功能的方式，其中通过获取设定区域内的所述用户的双眼睁图像和双眼闭图像，根据双眼睁图像的垂直灰度投影直方图与双眼闭图像的垂直灰度投影直方图之间的差异创建所述用户的双眼基准位置；因双眼睁图像和双眼闭图像差异之处仅在于人眼图像，不会受眉毛、较长的头发或化妆效果等因素所干扰，因此相比现有的瞳孔跟踪技术，大大地提高了瞳孔定位的准确度，在用户通过瞳孔运动遥控终端过程中可防止因瞳孔定位不准确，使终端识别瞳孔运动错误的问题，大大减少了终端因瞳孔运动识别错误而导致误操作现象的发生，提高了用户的体验效果。附图说明图1是本专利技术的终端的遥控方法一实施例的流程图；图2是本专利技术的终端一实施例的结构示意图；图3是本专利技术的终端另一实施例的结构示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。参见图1，图1是本专利技术的一种终端遥控的方法一实施例的流程图，所述终端遥控的方法包括：步骤S101、获取设定区域内用户的至少两帧图像，对每帧图像进行人脸定位，获得人脸图像。本实施例中，所述设定区域指：用户通过身体动作（如控制瞳孔运动）实现遥控终端，用户所应处的有效区域。本步骤中，所述至少两帧图像具体是通过摄像头获取的。在获取所述用户后续的至少两帧图像后，还分别对每帧图像进行图像预处理，以达到提高双眼睁图像和双眼闭图像的信噪比，抑制背景噪声，最真实的还原原始双眼睁图像和双眼闭图像信息。所述图像预处理包括：对图像进行光照校正和降噪处理。即本文档来自技高网...

【技术保护点】
一种终端遥控的方法，其特征在于，包括：获取设定区域内用户的至少两帧图像，对每帧图像进行人脸定位，获得人脸图像；根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼瞳孔定位，根据每帧人脸图像中人眼瞳孔的位置确定瞳孔的运动情况；从预设的操作策略中查找并执行与所述瞳孔的运动情况对应的遥控指令，实现对应的操作功能；所述用户的双眼基准位置创建过程为：获取设定区域内所述用户的双眼睁图像和双眼闭图像，根据双眼睁图像的垂直灰度投影直方图与双眼闭图像的垂直灰度投影直方图之间的差异创建所述用户的双眼基准位置。

【技术特征摘要】
1.一种终端遥控的方法，其特征在于，包括：获取设定区域内用户的至少两帧图像，对每帧图像进行人脸定位，获得人脸图像；根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼瞳孔定位，根据每帧人脸图像中人眼瞳孔的位置确定瞳孔的运动情况；从预设的操作策略中查找并执行与所述瞳孔的运动情况对应的遥控指令，实现对应的操作功能；所述用户的双眼基准位置创建过程为：获取设定区域内所述用户的双眼睁图像和双眼闭图像，根据双眼睁图像的垂直灰度投影直方图与双眼闭图像的垂直灰度投影直方图之间的差异创建所述用户的双眼基准位置；其中，所述根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼瞳孔定位，根据每帧人脸图像中人眼瞳孔的位置确定瞳孔的运动情况包括：根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼定位，获得对应的第一人眼图像；对每帧第一人眼图像进行边缘提取和阈值分割计算，根据计算结果确定人眼在对应的人脸图像中的精确位置，获取第二人眼图像；对每帧第二人眼图像进行瞳孔定位，根据每帧第二人眼图像中瞳孔的位置确定瞳孔的运动情况。2.根据权利要求1所述的终端遥控的方法，其特征在于，所述对每帧第二人眼图像进行瞳孔定位具体包括：对每帧第二人眼图像进行灰度值比较，将每帧第二人眼图像中灰度值低的区域的重心位置定位为瞳孔位置。3.根据权利要求1所述的终端遥控的方法，其特征在于，所述获取设定区域内用户的至少两帧图像之后还包括：对所述至少两帧图像中的每帧图像分别进行光照校正和降噪处理；所述获取设定区域内所述用户的双眼睁图像和双眼闭图像之后还包括：对所述双眼睁图像和双眼闭图像分别进行光照校正和降噪处理。4.根据权利要求1至3任一项所述的终端遥控的方法，...

【专利技术属性】
技术研发人员：赵波，
申请(专利权)人：深圳TCL新技术有限公司，
类型：发明
国别省市：