通过眼动跟踪技术进行功能键操作的方法和装置制造方法及图纸

本发明专利技术公开了一种通过眼动跟踪技术进行功能键操作的方法和装置，涉及移动终端应用领域。本发明专利技术利用眼动跟踪技术，通过边缘检测方法在人脸图像中识别眼部区域，在眼部区域中定位出眼球区域，根据各帧图像中定位出的眼球区域，建立眼部运动轨迹，将眼部初始位置与移动终端屏幕中的预设位置相对应，根据眼部运动轨迹确定用户注视的功能键，按照用户注视的功能键进行相应的功能操作，例如电话呼出功能，本发明专利技术不同于传统拨号方式，是一种全新的用户体验，并且拨号效果不受噪杂环境的影响，适用于不能发出声音的特定人群和上肢行动不便的特定人群，提供人道主义便利，增加用户的黏着性，为运营商提供差异化营销、发展和保留用户资源的有效手段。

【技术实现步骤摘要】
通过眼动跟踪技术进行功能键操作的方法和装置
本专利技术涉及移动终端应用领域，特别涉及一种通过眼动跟踪技术进行功能键操作的方法和装置。
技术介绍
电话拨号功能是手机等移动终端经常使用的基本功能之一。传统的电话拨号方式包括键盘按键式拨号、触摸菜单式拨号、语音识别拨号等方式。传统的电话拨号方式对于特定场景、或者特定人群来说不能实使用或效果较差。例如，语音识别拨号方式在噪杂环境下语音识别率差，不能发出声音的特定人群甚至无法使用语音识别拨号方式。再例如，对于上肢残障人士、自理能力差的老人等特殊人群，无法使用键盘按键式拨号或触摸菜单式拨号。另外，传统的电话拨号方式给用户千篇一律的体验，感知度较差，用户黏着性较差。鉴于以上原因，有必要提出一种实用的、有特色的通信技术，可以适用于特定场景或特定人群，增加户的黏着性，为运营商提供差异化营销、发展和保留用户资源的有效手段。
技术实现思路
本专利技术实施例所要解决的一个技术问题是：提出一种实用的、有特色的电话拨号方式。根据本专利技术实施例的一个方面，提出一种通过眼动跟踪技术进行功能键操作的方法，包括：利用移动终端的前置摄像头采集人脸图像；通过边缘检测方法在人脸图像中识别眼部区域；在眼部区域中定位出眼球区域；根据各帧图像中定位出的眼球区域，建立眼部运动轨迹；将眼部初始位置与移动终端屏幕中的预设位置相对应，根据眼部运动轨迹确定用户注视的功能键，按照用户注视的功能键进行相应的功能操作。根据本专利技术实施例的另一方面，提出一种通过眼动跟踪技术进行功能键操作的装置，包括：图像采集模块，用于利用移动终端的前置摄像头采集人脸图像；眼部识别模块，用于通过边缘检测方法在人脸图像中识别眼部区域；眼球定位模块，用于在眼部区域中定位出眼球区域；眼部轨迹建立模块，用于根据各帧图像中定位出的眼球区域，建立眼部运动轨迹；通信模块，用于将眼部初始位置与移动终端屏幕中的预设位置相对应，根据眼部运动轨迹确定用户注视的功能键，按照用户注视的功能键进行相应的功能操作。本专利技术利用眼动跟踪技术，通过边缘检测方法在人脸图像中识别眼部区域，在眼部区域中定位出眼球区域，根据各帧图像中定位出的眼球区域，建立眼部运动轨迹，将眼部初始位置与移动终端屏幕中的预设位置相对应，根据眼部运动轨迹确定用户注视的功能键，按照用户注视的功能键进行相应的功能操作，例如电话呼出功能，这种使用眼动跟踪技术进行功能键操作的方法不同于传统拨号方式，可以为用户提供全新的体验，并且拨号效果不受噪杂环境的影响，可以适用于不能发出声音的特定人群以及上肢行动不便的特定人群，为这些特定人群提供人道主义便利，从而增加用户的黏着性，为运营商提供差异化营销、发展和保留用户资源的有效手段。通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术通过眼动跟踪技术进行功能键操作的方法一个实施例的流程示意图。图2为本专利技术通过眼动跟踪技术进行功能键操作的方法另一实施例的流程示意图。图3为本专利技术通过眼动跟踪技术进行功能键操作的装置一个实施例的结构示意图。图4为本专利技术通过眼动跟踪技术进行功能键操作的装置另一实施例的装置示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。近年来，面部识别与眼动跟踪技术不断发展，随着智能手机的普及，前置摄像头和大屏幕已成为移动终端的主流配置，因此，本专利技术提出一种通过眼动跟踪技术进行功能键操作的技术。图1为本专利技术通过眼动跟踪技术进行功能键操作的方法一个实施例的流程示意图。如图1所示，本实施例的通过眼动跟踪技术进行功能键操作的方法包括以下步骤：步骤S101，利用移动终端的前置摄像头采集人脸图像；具体地，可以采用人脸特征点识别算法、神经网络识别算法、模版识别算法、整幅人脸图像识别算法等公知算法来识别人脸。步骤S102，通过边缘检测方法在人脸图像中识别眼部区域；一种示例性的实施方式为：计算人脸图像数据的亮度梯度；按照模值最大的亮度梯度的一定比例，确定门槛下限；以模值最大的亮度梯度对应的像素为开始点，逐点跟踪边缘路径，当亮度大于或等于门槛下限时一直记录眼部区域边缘位置，直到亮度小于门槛下限时停止记录。步骤S103，在眼部区域中定位出眼球区域；一种示例性的实施方式为：以最高的梯度幅值作为阈值，寻找瞳孔区域的线段；以瞳孔为圆心，根据瞳孔周边像素的差异定位出眼球区域。进一步地，为了减少干扰，还可以对识别出的眼部区域图像进行滤波；和/或通过计算梯度幅值，确定脸部图像各点邻域强度的变化值，将邻域强度变化值大于预设范围的点突显出来。步骤S104，根据各帧图像中定位出的眼球区域,建立眼部运动轨迹；一种示例性的实施方式为：将眼部区域图像缩小为预设尺寸；简化眼部区域图像的色彩，转换为预设级数的灰度图像；从灰度图像中确定差异点，并记录差异点的位置信息，包括差异点的坐标、差异点在水平方向和竖直方向的距离、以及两个差异点之间的夹角和距离；根据差异点的位置信息，确定眼部运动轨迹。步骤S105，将眼部初始位置与移动终端屏幕中的预设位置相对应，根据眼部运动轨迹确定用户注视的功能键，按照用户注视的功能键进行相应的功能操作。在按照用户注视的功能键进行相应的功能操作时，判断用户注视功能键的时间是否达到预设时间，如果用户注视功能键的时间达到预设时间，再按照用户注视的功能键进行相应的功能操作。图2为本专利技术通过眼动跟踪技术进行功能键操作的方法另一实施例的流程示意图。如图2所示，本实施例的通过眼动跟踪技术进行功能键操作的方法包括以下步骤：步骤S201，利用移动终端的前置摄像头采集人脸图像，并识别人脸。具体地，可以采用人脸特征点识别算法、神经网络识别算法、模版识别算法、整幅人脸图像识别算法等公知算法来识别人脸。由于人类的脸、眼部器官的结构外形都很相似，通过人脸就能找出眼部大致区域。但是，眼轮匝肌等肌肉群运动导致的眨眼、瞪眼等表情，以及不同的拍摄角度、不同背景光照条件，以及使用者佩戴口罩、眼镜、头发、胡须等，都会影响眼球运动捕捉的效果。因此，本专利技术提出边缘检测法进行局部图像处理，标识出数字图像中亮度变化明显的点，以更好地反映出眼部运动的实际变化。步骤S202，通过边缘检测方法在人脸中识别眼部区域，从而圈出眼部肌肉群对象与背景间的交界线。具体可以采用以下步骤实现：（1）计算人脸图像数据的亮度梯度；具体地，可以通过亮度变化的一阶导数求导来获得亮度梯度，例如可以采用如下公式计算：I′(x)=-1/2×I(x-1)+0×I(x)+12×I(x+1)其中，I(x)表示像素点x的亮度，I′(x)表示像素点x本文档来自技高网...

【技术保护点】
一种通过眼动跟踪技术进行功能键操作的方法，包括：利用移动终端的前置摄像头采集人脸图像；通过边缘检测方法在人脸图像中识别眼部区域；在眼部区域中定位出眼球区域；根据各帧图像中定位出的眼球区域，建立眼部运动轨迹；将眼部初始位置与移动终端屏幕中的预设位置相对应，根据眼部运动轨迹确定用户注视的功能键，按照用户注视的功能键进行相应的功能操作。

【技术特征摘要】
1.一种通过眼动跟踪技术进行功能键操作的方法，包括：利用移动终端的前置摄像头采集人脸图像；通过边缘检测方法在人脸图像中识别眼部区域；在眼部区域中定位出眼球区域；根据各帧图像中定位出的眼球区域，建立眼部运动轨迹；将眼部初始位置与移动终端屏幕中的预设位置相对应，根据眼部运动轨迹确定用户注视的功能键，按照用户注视的功能键进行相应的功能操作；其中，所述通过边缘检测方法在人脸图像中识别眼部区域包括：计算人脸图像数据的亮度梯度；按照模值最大的亮度梯度的一定比例，确定门槛下限；以模值最大的亮度梯度对应的像素为开始点，逐点跟踪边缘路径，当亮度大于或等于门槛下限时一直记录眼部区域边缘位置，直到亮度小于门槛下限时停止记录。2.根据权利要求1所述的方法，其特征在于，所述在眼部区域中定位出眼球区域包括：以最高的梯度幅值作为阈值，寻找瞳孔区域的线段；以瞳孔为圆心，根据瞳孔周边像素的差异定位出眼球区域。3.根据权利要求1所述的方法，其特征在于，所述根据各帧图像中定位出的眼球区域，建立眼部运动轨迹包括：将眼部区域图像缩小为预设尺寸；简化眼部区域图像的色彩，转换为预设级数的灰度图像；从灰度图像中确定差异点，并记录差异点的位置信息，包括差异点的坐标、差异点在水平方向和竖直方向的距离、以及两个差异点之间的夹角和距离；根据差异点的位置信息，确定眼部运动轨迹。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：对识别出的眼部区域图像进行滤波，以减少干扰；和/或通过计算梯度幅值，确定脸部图像各点邻域强度的变化值，将邻域强度变化值大于预设范围的点突显出来。5.根据权利要求1所述的方法，其特征在于，所述按照用户注视的功能键进行相应的功能操作包括：判断用户注视功能键的时间是否达到预设时间，如果用户注视功能键的时间达到预设时间，再按照用户注视的功能键进行相应的功能操作。6.一种通过眼动跟踪技术进行功能键操作的...

【专利技术属性】
技术研发人员：黄挺，孙隆，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：北京;11