基于阵列镜头的兴趣点关注度测试方法及装置制造方法及图纸

本发明专利技术公开一种基于阵列镜头的兴趣点关注度测试方法及装置，装置包括人眼活动轨迹检测模块，人脸表情识别模块，关注度检测模块；人眼活动轨迹检测模块，用于检测人眼活动轨迹，得到人眼注视位置；人脸表情识别模块，用于识别人脸表情；兴趣点关注度检测模块，用于根据人眼注视位置及人脸表情，确定对象的兴趣点关注程度。本发明专利技术可检测人眼活动轨迹，识别人脸表情，在此基础上，根据人眼注视位置及相应位置的人脸表情，确定对象的兴趣点关注程度，识别准确度较高。

Method and device of interest point measurement based on array lens

\u672c\u53d1\u660e\u516c\u5f00\u4e00\u79cd\u57fa\u4e8e\u9635\u5217\u955c\u5934\u7684\u5174\u8da3\u70b9\u5173\u6ce8\u5ea6\u6d4b\u8bd5\u65b9\u6cd5\u53ca\u88c5\u7f6e\uff0c\u88c5\u7f6e\u5305\u62ec\u4eba\u773c\u6d3b\u52a8\u8f68\u8ff9\u68c0\u6d4b\u6a21\u5757\uff0c\u4eba\u8138\u8868\u60c5\u8bc6\u522b\u6a21\u5757\uff0c\u5173\u6ce8\u5ea6\u68c0\u6d4b\u6a21\u5757\uff1b\u4eba\u773c\u6d3b\u52a8\u8f68\u8ff9\u68c0\u6d4b\u6a21\u5757\uff0c\u7528\u4e8e\u68c0\u6d4b\u4eba\u773c\u6d3b\u52a8\u8f68\u8ff9\uff0c\u5f97\u5230\u4eba\u773c\u6ce8\u89c6\u4f4d\u7f6e\uff1b\u4eba\u8138\u8868\u60c5\u8bc6\u522b\u6a21\u5757\uff0c\u7528\u4e8e\u8bc6\u522b\u4eba\u8138\u8868\u60c5\uff1b\u5174\u8da3\u70b9\u5173\u6ce8\u5ea6\u68c0\u6d4b\u6a21\u5757\uff0c\u7528\u4e8e\u6839\u636e\u4eba\u773c\u6ce8\u89c6\u4f4d\u7f6e\u53ca\u4eba\u8138\u8868\u60c5\uff0c\u786e\u5b9a\u5bf9\u8c61\u7684\u5174\u8da3\u70b9\u5173\u6ce8\u7a0b\u5ea6\u3002 The invention can detect eye movements and recognize facial expressions. On the basis of it, the interest points of objects are determined according to the human eye gaze position and the corresponding facial expression, and the recognition accuracy is high.

【技术实现步骤摘要】
基于阵列镜头的兴趣点关注度测试方法及装置
本专利技术涉及一种基于阵列镜头的兴趣点关注度测试方法及装置，属于图像处理及计算机视觉处理

技术介绍
人脸表情携带着很大的信息量，通过分析人脸表情，进而分析对象的兴趣点所在，具有广泛的应用前景，目前已在互动游戏平台、安全驾驶提醒、远程教育系统、智能交通、辅助医护等方面取得了良好的应用效果。目前最为火热的兴趣度关注方法是通过眼动跟踪实现的。眼动追踪是通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。眼动的本质是人注意力资源的主动或被动分配，选择更有用或吸引力的信息。运用眼动追踪方法收集详细的技术信息，并记录用户观看(和没有观看)的位置，以及观看的时间。在用户读取图像和视频时，眼动追踪记录了注视和扫视的过程，并完整地判断出眼睛浏览和停留的位置。这种技术清晰地解释用户的眼睛看过哪些位置，没有看哪些位置，从而眼动跟踪可以测试出用户的视线在浏览时移动的轨迹和关注的重点部位。眼动跟踪无法帮助研究人员直接了解用户动机，进行信息处理或信息理解。因此，建议它与其他验证或互补的研究方法结合使用，配合其他用研方法使用。
技术实现思路
鉴于上述原因，本专利技术的目的在于提供一种基于阵列镜头的兴趣点关注度测试方法及装置，能够根据人眼注视位置及相应位置的人脸表情，确定对象的兴趣点关注度，测试结果较为准确。为实现上述目的，本专利技术采用以下技术方案：一种基于阵列镜头的兴趣点关注度测试装置，包括人眼活动轨迹检测模块，人脸表情识别模块，关注度检测模块；人眼活动轨迹检测模块，用于检测人眼活动轨迹，得到人眼注视位置；人脸表情识别模块，用于识别人脸表情；兴趣点关注度检测模块，用于根据人眼注视位置及人脸表情，确定对象的兴趣点关注程度。所述检测人眼活动轨迹的方法是：利用红外镜头采集瞳孔具有光斑的人脸图像；从该人脸图像中提取出人眼区域图像；从该人眼区域图像中提取瞳孔图像、光斑图像；确定瞳孔、光斑的中心坐标，确定瞳孔、光斑的中心坐标与注视点坐标的关系；根据连续的注视点坐标，得到人眼活动轨迹。识别人脸表情的方法是：利用阵列式镜头采集人脸图像；从人脸图像中识别人脸区域图像；将人脸区域图像调整为正面人脸姿态的人脸区域图像；将调整后的人脸区域图像输入卷积神经网络模型，输出人脸表情识别结果。一种基于阵列镜头的兴趣点关注度测试方法，包括：检测人眼活动轨迹，确定人眼注视位置；识别人脸表情；根据人眼注视位置及相应位置的人脸表情，确定兴趣点关注程度。所述检测人眼活动轨迹的方法是：利用红外镜头采集瞳孔具有光斑的人脸图像；从该人脸图像中提取出人眼区域图像；从该人眼区域图像中提取瞳孔图像、光斑图像；确定瞳孔、光斑的中心坐标，确定瞳孔、光斑的中心坐标与注视点坐标的关系；根据连续的注视点坐标，得到人眼活动轨迹。从所述人眼区域图像中提取瞳孔图像的方法是：利用梯度算法确定所述人眼区域图像中像素值变化最大的点，作为瞳孔点；以该瞳孔点为中心，划分一个瞳孔区域；对该瞳孔区域利用OTSU算法，生成瞳孔图像。从所述人眼区域图像中提取光斑图像的方法是：对所述人眼区域图像进行取反处理，生成取反后的人眼区域图像；利用梯度算法确定取反后的人眼区域图像中像素值变化最大的点，作为光斑点；以该光斑点为中心，划分一个光斑区域；对该光斑区域依次利用OTSU算法，生成光斑图像。利用瞳孔-角膜向量反射法，建立所述瞳孔及光斑的中心坐标与注视点的映射关系为，其中，(Xgaze，Ygaze)为注视点坐标，其中，(xp，yp)为瞳孔的中心坐标，(xc，yc)为光斑的中心坐标，利用重心法确定所述瞳孔、光斑的中心坐标。所述识别人脸表情的方法是：利用阵列式镜头采集人脸图像；从人脸图像中识别人脸区域图像；将人脸区域图像调整为正面人脸姿态的人脸区域图像；将调整后的人脸区域图像输入卷积神经网络模型，输出人脸表情识别结果。所述卷积神经网络模型包括依序连接的2个卷积层、1个池化层、2个卷积层、1个池化层和2个全连接层；1)卷积层I，卷积核大小为11*11，步长为4，卷积核个数为96，无填充；2)卷积层II，卷积核大小为3*3，步长为2，卷积核个数为128，填充为2：3)池化层I，卷积核大小为3*3，步长为2，无填充；4)卷积层III，卷积核大小为3*3，步长为1，卷积核个数为256，无填充；5)卷积层IV，卷积核大小为2*2，步长为2，卷积核个数为256，无填充；6)池化层II，卷积核大小为2*2，步长为2，无填充；7)全连接层I，将池化层II输出的特征图转换为一维特征向量；8)全连接层II，对全连接层I中的神经元进行全链接，得到7个预测值，输入到Softmax分类器。本专利技术的优点是：本专利技术的兴趣点关注度测试方法及装置，可检测人眼活动轨迹，识别人脸表情，在此基础上，根据人眼注视位置及相应位置的人脸表情，确定对象的兴趣点关注程度，识别准确度较高。附图说明图1是本专利技术的装置结构框图。图2是本专利技术的方法流程示意图。具体实施方式以下结合附图和实施例对本专利技术作进一步详细的描述。如图1所示，本专利技术公开的基于阵列镜头的兴趣点关注度测试装置，包括人眼活动轨迹检测模块，人脸表情识别模块，关注度检测模块。人眼活动轨迹检测模块，用于检测人眼活动轨迹，得到人眼注视位置；人脸表情识别模块，用于识别人脸表情；兴趣点关注度检测模块，用于根据人眼注视位置及人脸表情，确定对象的兴趣点关注程度。如图2所示，本专利技术公开的基于阵列镜头的兴趣点关注度测试方法，包括：S1、人眼活动轨迹检测，确定人眼注视位置；具体包括：S11：采集瞳孔具有光斑的人脸图像；可利用红外摄像头或加入红外滤波片的普通光学镜头采集人脸图片，得到瞳孔具有光斑的人脸图像。S12：对该人脸图像进行处理，得到人眼区域图像；可利用人眼提取算法或深度学习方法从人脸图像中提取出人眼感兴趣区域，得到人眼区域图像。S13：基于人眼区域图像，分别提取出瞳孔图像及光斑图像；S131：基于人眼区域图像，提取瞳孔图像利用梯度算法确定人眼区域图像中像素值变化最大的点，作为瞳孔点；以该瞳孔点为中心，划分一个瞳孔区域；对该瞳孔区域利用OTSU算法，生成瞳孔图像。S132：基于人眼区域图像，提取光斑图像对人眼区域图像进行取反处理，生成取反后的人眼区域图像；利用梯度算法确定取反后的人眼区域图像中像素值变化最大的点，作为光斑点；以该光斑点为中心，划分一个光斑区域；对该光斑区域依次利用OTSU算法，生成光斑图像。S14：基于瞳孔图像及光斑图像，分别确定瞳孔及光斑的中心坐标；利用重心法分别求解瞳孔的中心坐标与光斑的中心坐标。S141：计算瞳孔的中心坐标计算公式为：其中(xp，yp)为瞳孔的中心坐标，xn、yn分别的像素值为In的横、纵坐标，n为像素个数。S142：计算光斑的中心坐标计算公式为：其中(xc，yc)为光斑的中心坐标。S15：建立瞳孔及光斑的中心坐标与注视点的映射关系；利用瞳孔-角膜向量反射法，建立瞳孔及光斑的中心坐标与注视点的映射关系。包括：首先，计算瞳孔的中心坐标与光斑的中心坐标之间的P-CR向量：其中，(xp，yp)为瞳孔的中心坐标，(xc，yc)为光斑的中心坐标，(xe，ye)为P-CR(PupilCornealReflex)向量。然后，利用六参数的瞳孔-角膜本文档来自技高网...

【技术保护点】
基于阵列镜头的兴趣点关注度测试装置，其特征在于，包括人眼活动轨迹检测模块，人脸表情识别模块，关注度检测模块；人眼活动轨迹检测模块，用于检测人眼活动轨迹，得到人眼注视位置；人脸表情识别模块，用于识别人脸表情；兴趣点关注度检测模块，用于根据人眼注视位置及人脸表情，确定对象的兴趣点关注程度。

【技术特征摘要】
1.基于阵列镜头的兴趣点关注度测试装置，其特征在于，包括人眼活动轨迹检测模块，人脸表情识别模块，关注度检测模块；人眼活动轨迹检测模块，用于检测人眼活动轨迹，得到人眼注视位置；人脸表情识别模块，用于识别人脸表情；兴趣点关注度检测模块，用于根据人眼注视位置及人脸表情，确定对象的兴趣点关注程度。2.根据权利要求1所述的基于阵列镜头的兴趣点关注度测试装置，其特征在于，所述检测人眼活动轨迹的方法是：利用红外镜头采集瞳孔具有光斑的人脸图像；从该人脸图像中提取出人眼区域图像；从该人眼区域图像中提取瞳孔图像、光斑图像；确定瞳孔、光斑的中心坐标，确定瞳孔、光斑的中心坐标与注视点坐标的关系；根据连续的注视点坐标，得到人眼活动轨迹。3.根据权利要求1所述的基于阵列镜头的兴趣点关注度测试装置，其特征在于，识别人脸表情的方法是：利用阵列式镜头采集人脸图像；从人脸图像中识别人脸区域图像；将人脸区域图像调整为正面人脸姿态的人脸区域图像；将调整后的人脸区域图像输入卷积神经网络模型，输出人脸表情识别结果。4.基于阵列镜头的兴趣点关注度测试方法，其特征在于，包括：检测人眼活动轨迹，确定人眼注视位置；识别人脸表情；根据人眼注视位置及相应位置的人脸表情，确定兴趣点关注程度。5.根据权利要求4所述的基于阵列镜头的兴趣点关注度测试方法，其特征在于，所述检测人眼活动轨迹的方法是：利用红外镜头采集瞳孔具有光斑的人脸图像；从该人脸图像中提取出人眼区域图像；从该人眼区域图像中提取瞳孔图像、光斑图像；确定瞳孔、光斑的中心坐标，确定瞳孔、光斑的中心坐标与注视点坐标的关系；根据连续的注视点坐标，得到人眼活动轨迹。6.根据权利要求5所述的基于阵列镜头的兴趣点关注度测试方法，其特征在于，从所述人眼区域图像中提取瞳孔图像的方法是：利用梯度算法确定所述人眼区域图像中像素值变化最大的点，作为瞳孔点；以该瞳孔点为中心，划分一个瞳孔区域；对该瞳孔区域利用OTSU算法，生成瞳孔图像。7.根据权利要求6所述的基于阵列镜头的兴趣点关注度测试方法，其特征在于，从所述人眼区域图像中提取光斑图像的方法是：对所述人眼区域图像进...

【专利技术属性】
技术研发人员：邹建成，国栋，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：北京,11