本发明专利技术中公开了基于ＳＯＣ的视线跟踪人机交互方法及装置。该方法包括：摄像头将采集到的数字图像输入到ＳＯＣ平台，采用硬件逻辑模块实现基于ｈａａｒ特征的Ａｄａｂｏｏｓｔ检测算法，对所述数字图像进行人眼区域的检测；根据检测到的人眼区域，利用视线方向判别算法，判别出用户视线，再将用户视线方向转化为鼠标控制信号通过ＵＳＢ传输给计算机，实现人机交互。所述装置包括ＳＯＣ平台、用于采集人眼图像的摄像头、计算机、安装在计算机显示屏上四个角且排列成矩形的四个ＬＥＤ，ＳＯＣ平台包括人眼区域检测硬件逻辑模块、处理器和存储器。本发明专利技术通过硬件实现人眼区域检测、视线方向判别，最终实现人机交互，具有使用方便，准确度高的优点。
【技术实现步骤摘要】
本专利技术涉及SOC (片上系统)设计技术，视觉跟踪算法属于图像处理和模式识别技 术领域，具体是一种基于SOC的视线跟踪人机交互装置。
技术介绍
人眼视线在人机交互中扮演重要角色，它具有直接、自然和双向等优点。目前视 线跟踪技术刚起步，未达到实用阶段，成功的实用性项目很少并且价格昂贵，对硬件的要求 高。视觉跟踪技术一般可以分为两类，接触式和非接触式。接触式的精度高，但用户须穿戴 特殊器具，这会给用户带来很大的不舒适。非接触式一般采用基于视频图像处理的办法，通 过分析人眼部分图像判定视线方向，不对用户产生干扰，使用更加方便。基于视线跟踪的人机交互装置，目前研究的主要方向是基于计算机平台或性能较 高的嵌入式处理器，纯软件运行的，但由于其算法计算复杂度高，占用系统资源多，不利于 用户利用此系统在计算机上做其他复杂的操作。鉴于纯软件实现视线跟踪算法在人机交互 装置上的局限性，可利用硬件逻辑的并行性及流水线操作，将视线跟踪算法中计算量较大 部分用硬件实现，大大提高算法的执行效率。经对现有技术文献的检索发现，尚未有报道过 有基于SOC的视线跟踪人机交互方法及装置。
技术实现思路
本专利技术克服现有视线跟踪技术中的不足，提供基于SOC的视线跟踪人机交互方法 及装置。本专利技术通过合理的软硬件划分，在SOC平台上实现，把复杂度较高部分即人眼区域 检测部分用硬件实现，大大提高算法的执行效率。本专利技术通过如下技术方案实现一种基于SOC的视线跟踪人机交互方法，该方法包括如下步骤(1)摄像头将采集到的数字图像输入到SOC平台，采用硬件逻辑模块实现基于 haar特征的Adaboost检测算法，对所述数字图像进行人眼区域的检测；(2)根据检测到的人眼区域，利用视线方向判别算法，判别出用户视线，再将用户 视线方向转化为鼠标控制信号通过USB传输给计算机，实现人机交互。上述的人机交互方法中，所述硬件逻辑模块包括如下模块积分模块，完成数字图像的积分与平方积分的计算，并将计算结果存放在存储器 上；子窗口扫描模块，对整帧数字图像子窗口的横坐标和纵坐标按设定步长进行遍历，得出 待测子窗口的坐标及长宽；子窗口处理模块，判定待测子窗口是否为人眼子窗口 ；子窗口融合模块，对判定出的所有人眼子窗口进行融合处理，即整合位置相近的 窗口，然后重新调整人眼窗口位置，确定人眼区域。上述的人机交互方法中，所述子窗口处理模块是根据采用Modesto CastriΙ η训 练的右眼分类器，运用Cascade级联方法实现子窗口处理，具体步骤包括首先提取右眼分 类器的haar特征参数；将haar特征参数具体化，即将haar特征参数与扫描后的子窗口大小进行匹配，再根据具体化后haar特征参数中矩形区域的位置读取积分模块计算出的积分数据，最后运用Cascade级联方法确定人眼子窗口。上述的人机交互方法中，所述运用Cascade级联方法确定人眼子窗口是将多个右 眼弱分类器加权组成右眼强分类器，再将20级右眼强分类器串联完成人眼子窗口的确定， 具体步骤包括首先根据每个右眼弱分类器中的haar特征参数及从积分模块中读取的积 分数据，计算出实际子窗口的haar特征值，再与当前右眼弱分类器的阈值进行比较，确定 此右眼弱分类器的权值，最后将这些右眼弱分类器的权值进行累加，再与右眼强分类器的 阈值做比较，如果大于此阈值，则通过此级右眼强分类器的验证，进入下一级右眼强分类器 的判别，如果小于此阈值，则认为此子窗口为非人眼区域；当子窗口通过20级右眼强分类 器的验证，则可确定为人眼子窗口。上述的人机交互方法中，所述视线方向判别算法是根据位于计算机屏幕四个角上 的四个LED红外光源在人眼角膜上形成的四个反射亮点，即普尔钦斑点，与瞳孔中心之间 的几何位置关系计算视线方向。上述的人机交互方法中，所述视线方向判别算法具体步骤包括首先采用灰度投 影方法定位瞳孔中心，在以瞳孔中心为中心，在其上下左右30个像素的区域内搜索普尔钦 斑点，计算瞳孔中心与所述四个反射亮点的关系，确定其视线方向。实现上述的人机交互方法的基于SOC的人机交互装置，该装置包括SOC平台、用于 采集人眼图像的摄像头、计算机、安装在计算机显示屏上四个角且排列成矩形的四个LED， SOC平台包括人眼区域检测硬件逻辑模块、处理器和存储器；所述摄像头将采集到的数字 图像输入到SOC平台上的存储器；计算机通过USB与SOC平台连接；人眼区域检测硬件逻辑 模块完成人眼区域的检测，处理器根据检测出的人眼区域，结合视线方向判别算法识别出 用户视线方向，将与用户视线方向对应的控制信号转化为鼠标控制信号通过USB传输给计 算机。上述装置中，所述计算机的显示屏由两条对角线分为四个区域，SOC平台的处理器 根据用户眼睛所注视的区域，将用户视线分为上、下、左、右四个方向，模拟鼠标移动功能， 作为用户输入的控制信息，并通过眨眼动作用来确认视线控制信息、模拟鼠标单击并输入 用户确认信息。上述装置中，所述眨眼动作是将1 3秒的眨眼动作用来发出确认命令信息。本专利技术将基于SOC的视线跟踪技术应用于人机交互装置，填补了我国这方面的空 白。通过连接于SOC平台的摄像头跟踪人眼注视视线，由于屏幕两条对角线可以把屏幕分 成四个区域，则将人眼注视这四个区域的四种不同视线方向作为用户发出的四种控制信 息，同时将1 3秒的闭眼这个眨眼动作用来发出确认命令信息，再将此平台连接到计算 机，实现鼠标的基本操作功能。与现有技术相比，本专利技术的优点与积极效果在于1、对于计算复杂度高的视线跟踪算法，通过合理的软硬件划分，在SOC平台上，充 分运用硬件逻辑的并行性以及流水线等操作，把整个系统算法运算量大的模块运用硬件逻 辑模块(即人眼区域检测IP核)实现，大大提高算法的执行效率，解决了纯软件实现算法 占用系统资源多，效率较低的缺陷。2、采用本专利技术的视线跟踪技术，实现了一个占用资源小，实时性高的人机交互装置，具体功能有可以用视线实现计算机的基本操作，如打开网页，电子书的上下翻页等；可以作为虚拟现实的人机交互装置，在虚拟现实环境中，根据用户当前的注视状 态，提供给用户相应注视方位的场景信息，这样用户在不同的方位就会看到不同的场景，达 到身临其境的效果。使人与计算机间的交互与现实世界中的交互方式趋于一致，更为简单、 自然、高效。附图说明图1是本专利技术实施方式中的基于SOC的视线跟踪人机交互装置构成框图。图2是本专利技术实施方式中显示屏、红外光源与摄像头的布置示意图。图3是本专利技术实施方式中视线跟踪方法的流程示意图。图4是本专利技术实施方式中人眼区域检测IP核的流程示意图。图5是本专利技术实施方式中子窗口处理流水线示意图。图6a 图6c分别是本专利技术实施方式中haar特征的三种示意图。图7是本专利技术实施方式中haar特征求法示意图。图8是本专利技术实施方式中普尔钦斑点构成矩形的对角线交点示意图。具体实施例方式下面结合附图对本专利技术的具体实施方式做进一步说明。如图1、图2所示，基于SOC的视线跟踪人机交互装置，包括SOC平台、用于采集人 眼图像的摄像头、计算机、安装在计算机显示屏上四个角且排列成矩形的四个LED(红外光 源)，S0C平台包括人眼区域检测硬件逻辑模块(即人眼区域检测IP核)、处理器和存储器； 所述摄像头将采集到的数字本文档来自技高网...
【技术保护点】
一种基于ＳＯＣ的视线跟踪人机交互方法，其特征在于该方法包括如下步骤：（１）摄像头将采集到的数字图像输入到ＳＯＣ平台，采用硬件逻辑模块实现基于ｈａａｒ特征的Ａｄａｂｏｏｓｔ检测算法，对所述数字图像进行人眼区域的检测；（２）根据检测到的人眼区域，利用视线方向判别算法，判别出用户视线，再将用户视线方向转化为鼠标控制信号通过ＵＳＢ传输给计算机，实现人机交互。
【技术特征摘要】
【专利技术属性】
技术研发人员：秦华标，陈荣华，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：81[中国|广州]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。