一种基于眼球运动的安全人脸认证方法技术

本发明专利技术公开了一种基于眼球运动的安全人脸认证方法，通过注视点序列生成、视频帧采集与筛选、人脸图像处理、注视特征提取、眼周特征提取、用户合法性验证等六大步骤，利用眼球运动可预测性触发、具有个体独特性等特点，比较用户注视点与屏幕上随机点一致性，同时验证用户独特的眼周特征，辅助现有的人脸系统抵御多种先进的攻击，实现了适用于智能手机等移动设备的快捷、低认知负荷、高安全性的安全人脸认证方法。证方法。证方法。

【技术实现步骤摘要】
一种基于眼球运动的安全人脸认证方法


[0001]本专利技术属于人脸认证安全加强领域，具体涉及一种基于眼球运动的安全人脸认证方法。

技术介绍

[0002]随着人脸认证技术的发展，人脸认证系统凭借其高效便捷等特点备受青睐，逐渐成为了移动设备上的主流身份认证方式，被广泛应用于设备解锁、在线支付等日常生活场景中。与此同时，人脸认证的广泛使用，尤其是在诸如移动认证、移动支付等涉及个人隐私和财产安全的关键场景中的应用，也带来了许多隐私风险和安全问题。一方面，随着社交软件的流行，大量的人脸照片和面部视频被暴露在社交网络上，人脸信息触手可及，攻击者可以利用先进的机器学习技术进行人脸认证视频的伪造，甚至可以实时模仿各种面部表情并将其应用于受害者的3D人脸模型中，从而绕过基于简单应答(例如张嘴、眨眼等)和基于3D特征的人脸反欺骗机制。另一方面，利用对抗样本攻击方法，攻击者可以精心设计不易引起警觉的脸部佩饰(例如眼镜)或者妆容，让人脸认证系统的神经网络将攻击者识别为目标用户，或者直接逃避人脸识别系统的检测。此外，现有的安全性较强的人脸认证系统往往对设备有较高的要求，例如iPhone的FaceID，利用深度传感器提供安全的3D人脸认证。但额外的硬件会消耗屏幕空间，且极大地提高了硬件成本，限制了高安全性的人脸认证系统在智能手机上的普遍推广。人的眼球运动是敏捷且自发的，无法实时伪造，利用先进的眼球追踪技术可以在不依赖额外硬件的情况下使用智能手机的前置摄像头追踪人的注视点位置，从而建立更加快捷实用的应答机制，辅助人脸认证系统完成活体检测。与此同时，利用眼球运动生物特征的个体独特性，可以验证用户的身份，防止攻击者通过佩戴面具或对抗眼镜伪造身份，使移动设备上的人脸认证系统更加安全可靠。
[0003]眼球追踪是检测人的视线或注视位置的变化的技术，其核心是注视点估计。通过注视点估计，能够大致预测出人眼在手机屏幕上的注视点位置。因此，可以通过比较人眼的注视点位置与屏幕上显示的随机点位置(注视点序列)的一致性进行活体检测。此外，眼球运动还是一种敏捷的可触发的生物特征，除了眼球运动速度、反应时间等精细的特征以外，随眼球运动不断变化的眼周特征中也蕴含着丰富的个人身份信息。虽然眼周包含的生物软特征不足以单独作为身份认证的依据，但可以作为核实眼周对应的身份与全脸对应的身份是否一致的依据。而且眼球运动时眼周区域的形态变化能够用智能手机的前置摄像头捕捉到，因此可以利用眼周特征的动态变化来进行眼周认证。
[0004]3D面具攻击和对抗眼镜攻击可以用攻击者的实时眼动伪造受害者的眼动视频，但过程中攻击者必须佩戴受害者的面具或者精心设计的对抗眼镜，而这将会改变受害者的眼周特征，因此在进行眼球追踪的过程中需要实时关注并比对认证者的眼周特征，用以辅助眼球追踪完成活体检测。
[0005]在没有任何硬件辅助的前提下(仅使用手机前置摄像头)，现有的眼球追踪方案的精度都较差，这极大地影响了使用眼球追踪进行活体检测的准确率，因此如何提高眼球追
踪在移动设备上的表现是一个重要问题。此外，屏幕上随机点序列(注视点序列)组合的多样性和眼球追踪准确率等因素之间的权衡，也是需要加以考量的。

技术实现思路

[0006]为了解决上述技术问题，本专利技术提供了一种基于眼球运动的安全人脸认证方法。
[0007]本专利技术致力于利用普通摄像头检测眼球运动，将眼球运动作为人脸认证的活体检测方法，研究和探索出一种基于眼球运动的安全人脸认证方法，可以抵御现有的针对人脸认证系统的视频重放攻击、3D面具攻击、对抗眼镜攻击等，提升智能手机等移动设备上的人脸认证系统的安全性。
[0008]本专利技术所采用的技术方案是：一种基于眼球运动的安全人脸认证方法，包括以下步骤：
[0009]步骤1，注视点序列生成，即在预设的注视点序列范围内随机选取注视点序列，并在屏幕上依次显示；
[0010]步骤2，视频帧采集与筛选，并将筛选后的视频帧作为待处理的图像；
[0011]步骤3，人脸图像处理，包括去除非注视状态的视频过渡帧，并对处理后的视频帧提取人脸关键点，根据后续认证的需求裁剪出人眼图像；
[0012]步骤4，注视点特征提取，包括构建蕴含注视信息的输入序列，搭建并训练注视点估计模型，然后利用注视点估计模型提取注视点特征；
[0013]步骤5，眼周特征提取，包括构建蕴含眼周特征的图像输入序列，搭建并训练眼周特征提取模型，然后利用眼周特征提取模型提取眼周特征；
[0014]步骤6，用户合法性验证，包括比较每次身份验证阶段和用户注册阶段的注视点特征和眼周特征的相似度，以验证用户的合法性，当且仅当用户同时通过注视点认证和眼周认证，才将其视为合法用户。
[0015]进一步的，步骤1的具体实现过程包括以下子步骤；
[0016]步骤1.1，注视点序列范围选取；从屏幕上均匀分布的若干个点中选取随机点，记为P＝{p1,p2,
…
,p
n
},p
i
＝(x
i
,y
i
)，屏幕上显示的不同随机点之间保持一定的间隔，其中n表示选取的随机点的个数，x
i
是对应的i点到屏幕左边缘的垂直距离，y
i
是对应的i点到屏幕上边缘的垂直距离，单位是像素；
[0017]步骤1.2，随机选取注视点序列；从P中随机选取K个组成注视点序列C＝{c1,c2,
…
,c
K
},c
i
∈P，其中K为注视点序列的长度；
[0018]步骤1.3，显示注视点序列；将步骤1.2生成的注视点序列按顺序依次在屏幕上显示，每个点持续一定时间。
[0019]进一步的，步骤2的具体实现过程如下；
[0020]使用普通的手机前置摄像头拍摄人脸认证视频，并从中筛选出稳定的高质量的视频帧作为待处理的图像，智能手机屏幕上会显示随机的K位注视点序列，用户需要及时注视屏幕上出现的点；同时，调用前置摄像头拍摄并保存用户追踪屏幕上点的视频帧frame
i
，并记录屏幕上显示的随机点坐标(x
i
,y
i
)，并将产生的视频帧暂存到一个缓冲区中等待处理；为了提高效率和减少缓存消耗，在采集视频帧的同时，记录每帧图像对应的设备加速度值用以反映拍摄该帧时设备的稳定程度，在上一帧图片处理完成之前，从采集到的
所有帧中筛选出对应加速度值最小的帧，也就是最稳定的帧加入到缓冲区中，作为下一帧要处理的图像；
[0021]每当完成上一帧图像的处理后，读取缓冲区中的帧，进行后续处理。
[0022]进一步的，步骤3的具体实现过程如下；
[0023]步骤3.1，去除人眼过渡图像，对于每一张手机前置摄像头拍摄得到的人脸原始图像，计算瞳孔中心O
p
(x
p
,y
p
)与内眼角O
c
(x
c
,y
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于眼球运动的安全人脸认证方法，其特征在于，包括以下步骤：步骤1，注视点序列生成，即在预设的注视点序列范围内随机选取注视点序列，并在屏幕上依次显示；步骤2，视频帧采集与筛选，并将筛选后的视频帧作为待处理的图像；步骤3，人脸图像处理，包括去除非注视状态的视频过渡帧，并对处理后的视频帧提取人脸关键点，根据后续认证的需求裁剪出人眼图像；步骤4，注视点特征提取，包括构建蕴含注视信息的输入序列，搭建并训练注视点估计模型，然后利用注视点估计模型提取注视点特征；步骤5，眼周特征提取，包括构建蕴含眼周特征的图像输入序列，搭建并训练眼周特征提取模型，然后利用眼周特征提取模型提取眼周特征；步骤6，用户合法性验证，包括比较每次身份验证阶段和用户注册阶段的注视点特征和眼周特征的相似度，以验证用户的合法性，当且仅当用户同时通过注视点认证和眼周认证，才将其视为合法用户。2.根据权利要求1所述的基于眼球运动的安全人脸认证方法，其特征在于：步骤1的具体实现过程包括以下子步骤；步骤1.1，注视点序列范围选取；从屏幕上均匀分布的若干个点中选取随机点，记为P＝{p1，p2，...，p
n
}，p
i
＝(x
i
，y
i
)，屏幕上显示的不同随机点之间保持一定的间隔，其中n表示选取的随机点的个数，x
i
是对应的i点到屏幕左边缘的垂直距离，y
i
是对应的i点到屏幕上边缘的垂直距离，单位是像素；步骤1.2，随机选取注视点序列；从P中随机选取K个组成注视点序列C＝{c1，c2，...，c
K
}，c
i
∈P，其中K为注视点序列的长度；步骤1.3，显示注视点序列；将步骤1.2生成的注视点序列按顺序依次在屏幕上显示，每个点持续一定时间。3.根据权利要求1所述的基于眼球运动的安全人脸认证方法，其特征在于：步骤2的具体实现过程如下；使用普通的手机前置摄像头拍摄人脸认证视频，并从中筛选出稳定的高质量的视频帧作为待处理的图像，智能手机屏幕上会显示随机的K位注视点序列，用户需要及时注视屏幕上出现的点；同时，调用前置摄像头拍摄并保存用户追踪屏幕上点的视频帧frame
i
，并记录屏幕上显示的随机点坐标(x
i
，y
i
)，并将产生的视频帧暂存到一个缓冲区中等待处理；为了提高效率和减少缓存消耗，在采集视频帧的同时，记录每帧图像对应的设备加速度值用以反映拍摄该帧时设备的稳定程度，在上一帧图片处理完成之前，从采集到的所有帧中筛选出对应加速度值最小的帧，也就是最稳定的帧加入到缓冲区中，作为下一帧要处理的图像；每当完成上一帧图像的处理后，读取缓冲区中的帧，进行后续处理。4.根据权利要求1所述的基于眼球运动的安全人脸认证方法，其特征在于：步骤3的具体实现过程如下；步骤3.1，去除人眼过渡图像，对于每一张手机前置摄像头拍摄得到的人脸原始图像，计算瞳孔中心O
p
(x
p
，y
p
)与内眼角O
c
(x
c
，y
c
)的距离：
移除在屏幕上两个随机点交替的间隙内距离d
pc
突变的人脸图像；步骤3.2，图像裁剪，对步骤3.1处理后的人脸图像进行面部特征点提取，得到若干个面部特征点，根据这些面部特征点，裁剪出大小为N1
×
N1的左眼图像I
l
和右眼图像I
r
，记录左右眼的眼角坐标L，左右眼的眼角坐标L是一个八维向量，包含人的左右眼的内外眼角坐标，记为L＝((x
r1
，y
r1
)，(x
r2
，y
r2
)，(x
l1
，y
l1
)，(x
l2
，y
l2
))，用于注视特征点提取，其中(x
r1
，y
r1
)表示右眼外眼角在原始人脸图像中的像素坐标，类似地，(x
r2
，y
r2
)、(x
l1
，y
l1
)、(x
l2
，y
l2
)分别对应右眼内眼角坐标、左眼内眼角坐标、左眼外眼角坐标；裁剪出大小为N2
×
N3的左眼眼周图像E
l
和右眼眼周图像E
r
，用于眼周特征提取。5.根据权利要求4所述的基于眼球运动的安全人脸认证方法，其特征在于：步骤4的具体实现过程如下；步骤4.1，构建输入序列，注视点估计模型的输入序列，记为sequence，包含：左眼图像I
l
，右眼图像I
r
，人眼网格G和左右眼的眼角坐标L；其中左眼图像I
l
和右眼图像I
r
向注视点估计模型提供双眼的眼球位置信息，人眼网格G是规格为25
×
25的二值掩码，向神经网络提供人眼相对于摄像头的位置信息；人眼网格G的生成过程是：首先将原始的人脸图像通过仿射变换映射为一个25
×
25的掩码区域，然后将人的双眼在该图像中的位置映射到该掩码区域中，并标记为1，其余非人眼区域标记为0；左右眼的眼角坐标L是一个八维向量，包含人的左右眼的内外眼角坐标，记为L＝((x
r1
，y
r1
)，(x
r2
，y
r2
)，(x
l1
，y
l1
)，(x
l2
，y
l2
))，其中(x
r1
，y
r1
)表示右眼外眼角在原始人脸图像中的像素坐标，类似地，(x
r2
，y
r2
)、(x
l1
，y
l1
)、(x
l2
，y
l2
)分别对应右眼内眼角坐标、左眼内眼角坐标、左眼外眼角坐标，它向注视点估计模型提供了人的头部姿态信息；整体的注视点估计模型的输入序列表示为sequence(I
l
，I
r
，G，L)；步骤4.2，搭建注视点估计模型，对于输入序列sequence中的左眼图像I
l
与右眼图像I
r
，依次经过：第一卷积层CONV1，最大池化层，第二卷积层CONV2，最大池化层，第三卷积层CONV3，第四卷积层CONV4，以及全连接层FC1，得到从眼睛图像中提取出的特征向量fea

【专利技术属性】
技术研发人员：王骞，赵艺，郑筝，张云驻，周峻韬，
申请(专利权)人：武汉大学，
类型：发明
国别省市：