一种识别唇动的方法和系统技术方案

本申请实施例公开了一种识别唇动的方法和系统。所述识别唇动的方法包括：获取待识别人脸的多帧人脸图像；所述多帧人脸图像拍摄于不同时刻；基于所述多帧人脸图像获取多个单帧人脸图像的唇部特征值；基于所述多个唇部特征值确定唇部参考特征值；比较至少一个所述单帧人脸图像的唇部特征值与所述唇部参考特征值；基于比较结果，确定所述待识别人脸是否有唇动。本申请可以能够简单快速的对唇动进行识别，以达到在便携设备上即可完成唇动识别的目的。

A method and system of lip movement recognition

【技术实现步骤摘要】
一种识别唇动的方法和系统
本申请涉及图像信息处理领域，特别涉及一种识别唇动的方法和系统。
技术介绍
随着图像信息处理技术的快速发展，人脸识别技术在人机交互、人脸检测等领域得到了广泛的应用。例如，越来越多的在线交易平台中，为了保证交易的安全性，会对客户或服务商进行身份验证，通常需要采集人脸图像。为了防止有人恶意采用他人的照片或信息通过身份验证，需要在人脸识别中验证图像中的人脸是否是真实的。可以通过让验证人员按照指令完成随机指定的动作，或是随机让验证人说一个词或句子，通过人脸图像检测人脸是否有唇动，或是唇动和语音是否对应，来判断图像中的人脸是真实的活体还是照片。因此，需要一种简单有效的方法来进行唇动的识别。
技术实现思路
本申请实施例之一提供一种识别唇动的方法和系统。能够简单快速的对唇动进行识别，以减小数据处理量，降低对运算设备的要求，以达到在便携设备上即可完成唇动识别的目的。所述识别唇动的方法包括：获取待识别人脸的多帧人脸图像；所述多帧人脸图像拍摄于不同时刻。基于所述多帧人脸图像获取多个单帧人脸图像的唇部特征值。基于所述多个唇部特征值确定唇部参考特征值。比较至少一个所述单帧人脸图像的唇部特征值与所述唇部参考特征值。基于比较结果，确定所述待识别人脸是否有唇动。在一些实施例中，确定所述待识别人脸是否有唇动，包括：确定至少一个所述单帧人脸图像的所述唇部特征值与所述唇部参考特征值的差值绝对值。确定至少一个所述差值绝对值中的最大值。当所述最大值大于第一预设值时，确定所述待识别人脸有唇动。在一些实施例中，所述确定单帧人脸图像的唇部特征值，包括：获取单帧人脸图像中位于上嘴唇上的至少一个第一特征点坐标和位于下嘴唇上的至少一个第二特征点坐标。基于所述第一特征点坐标和所述第二特征点坐标确定上嘴唇与下嘴唇之间的第一距离。获取所述单帧人脸图像中的两唇角点的坐标。基于所述两唇角点坐标得到两唇角点之间的第二距离。基于所述第一距离和所述第二距离确定所述单帧人脸图像中的所述唇部特征值。在一些实施例中，所述第一特征点和与其对应的第二特征点为上下对称分布。在一些实施例中，所述唇部特征值为所述第一距离和所述第二距离的比值。在一些实施例中，所述基于所述第一特征点坐标和所述第二特征点坐标确定上嘴唇与下嘴唇之间的第一距离，包括：基于所述单帧人脸图像中的两个或以上的所述第一特征点中的每一个和与其对应的第二特征点确定特征点距离。基于两个或以上的所述特征点距离确定所述第一距离。在一些实施例中，所述第一距离为两个或以上的所述特征点距离的平均值。在一些实施例中，所述确定单帧人脸图像的唇部特征值，包括：获取单帧人脸图像的归一化人脸图像。基于单帧人脸图像的归一化人脸图像确定所述唇部特征值。在一些实施例中，所述获取单帧人脸图像的归一化人脸图像，包括：获取所述单帧人脸图像中位于人脸上的人脸特征点坐标。基于所述人脸特征点坐标及其对应的预设人脸特征点坐标确定仿射变换矩阵。基于所述仿射变换矩阵对所述单帧人脸图像进行仿射变换得到所述单帧人脸图像的归一化人脸图像。在一些实施例中，所述人脸特征点包括以下特征点中的至少一个：眼部中心点、鼻尖点和唇角点。在一些实施例中，还包括对多帧人脸图像中的每一个进行图像尺寸缩小处理。在一些实施例中，所述唇部参考特征值为多个所述单帧人脸图像的唇部特征值的平均值。在一些实施例中，所述多帧人脸图像从所述待识别人脸的视频文件中获取。本申请实施例之一提供一种识别唇动的系统，包括：获取模块，用于获取待识别人脸的多帧人脸图像；所述多帧人脸图像拍摄于不同时刻。唇部特征值确定模块，用于基于所述多帧人脸图像获取多个单帧人脸图像的唇部特征值。唇部参考特征值确定模块，用于基于所述多个唇部特征值确定唇部参考特征值。识别模块，用于比较至少一个所述单帧人脸图像的唇部特征值与所述唇部参考特征值；基于比较结果，确定所述待识别人脸是否有唇动。在一些实施例中，所述识别模块还用于：确定至少一个所述单帧人脸图像的所述唇部特征值与所述唇部参考特征值的差值绝对值。确定至少一个所述差值绝对值中的最大值。当所述最大值大于第一预设值时，确定所述待识别人脸有唇动。本申请实施例之一提供一种识别唇动的装置，包括至少一个存储介质及至少一个处理器。所述至少一个存储介质用于存储计算机指令。所述至少一个处理器用于执行所述计算机指令，以实现如前所述的识别唇动的方法。本申请实施例之一提供一种计算机可读存储介质，所述存储介质存储有计算机指令，当所述计算机指令被处理器执行时，实现如前所述的识别唇动的方法。附图说明本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1是根据本申请一些实施例所示的图像信息服务系统的应用场景示意图；图2是根据本专利技术的一些实施例所示的一个示例性计算设备的示例性硬件组件和/或软件组件的示意图；图3是根据本专利技术的一些实施例所示的一个示例性移动设备的示例性硬件组件和/或软件组件的示意图；图4是根据本申请一些实施例所示的识别唇动的系统的模块图；图5是根据本申请一些实施例所示的识别唇动的方法的示例性流程图；图6是根据本申请一些实施例所示的确定唇部特征值的示例性流程图；图7是根据本申请一些实施例所示的唇部特征点分布的示例性示意图；图8是根据本申请一些实施例所示的另一种确定唇部特征值的示例性流程图；图9是根据本申请一些实施例所示的归一化人脸图像的示例性示意图。图10是根据本申请一些实施例所示的68个人脸轮廓点的示例性示意图。具体实施方式为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。本申请的实本文档来自技高网...

【技术保护点】
1.一种识别唇动的方法，其特征在于，包括：/n获取待识别人脸的多帧人脸图像；所述多帧人脸图像拍摄于不同时刻；/n基于所述多帧人脸图像获取多个单帧人脸图像的唇部特征值；/n基于所述多个唇部特征值确定唇部参考特征值；/n比较至少一个单帧人脸图像的唇部特征值与所述唇部参考特征值；/n基于比较结果，确定所述待识别人脸是否有唇动。/n

【技术特征摘要】
1.一种识别唇动的方法，其特征在于，包括：
获取待识别人脸的多帧人脸图像；所述多帧人脸图像拍摄于不同时刻；
基于所述多帧人脸图像获取多个单帧人脸图像的唇部特征值；
基于所述多个唇部特征值确定唇部参考特征值；
比较至少一个单帧人脸图像的唇部特征值与所述唇部参考特征值；
基于比较结果，确定所述待识别人脸是否有唇动。


2.如权利要求1所述的方法，其特征在于，所述确定所述待识别人脸是否有唇动，包括：
确定至少一个所述单帧人脸图像的所述唇部特征值与所述唇部参考特征值的差值绝对值；
确定至少一个所述差值绝对值中的最大值；
当所述最大值大于第一预设值时，确定所述待识别人脸有唇动。


3.如权利要求1所述的方法，其特征在于，所述确定单帧人脸图像的唇部特征值，包括：
获取单帧人脸图像中位于上嘴唇上的至少一个第一特征点坐标和位于下嘴唇上的至少一个第二特征点坐标；
基于所述第一特征点坐标和所述第二特征点坐标确定上嘴唇与下嘴唇之间的第一距离；
获取所述单帧人脸图像中的两唇角点的坐标；
基于所述两唇角点坐标得到两唇角点之间的第二距离；
基于所述第一距离和所述第二距离确定所述单帧人脸图像中的所述唇部特征值。


4.如权利要求3所述的方法，其特征在于，
所述第一特征点和与其对应的第二特征点为上下对称分布。


5.如权利要求3所述的方法，其特征在于，
所述唇部特征值为所述第一距离和所述第二距离的比值。


6.如权利要求3所述的方法，其特征在于，所述基于所述第一特征点坐标和所述第二特征点坐标确定上嘴唇与下嘴唇之间的第一距离，包括：
基于所述单帧人脸图像中的两个或以上的所述第一特征点中的每一个和与其对应的第二特征点确定特征点距离；
基于两个或以上的所述特征点距离确定所述第一距离。


7.如权利要求6所述的方法，其特征在于，
所述第一距离为两个或以上的所述特征点距离的平均值。


8.如权利要求1所述的方法，其特征在于，所述确定单帧人脸图像的唇部特征值，包括：
获取单帧人脸图像的归一化人脸图像；
基于单帧人脸图像的归一化人脸图像确定所述唇部特征值。


9.如权利要求8所述的方法，其特征在于，所述获取单帧人脸图像的归一化人脸图像，包括：
获取所述单帧人脸图像中位于人脸上的人脸特征点坐标；
基于所述人脸特征点坐标及其对应的预设人脸特征点坐标确定仿射变换矩阵；
基于所述仿射变换矩阵对所述单帧人脸图像进行仿射变换得到所述单帧人脸图像的归一化人脸图像。


10.如权利要求9所述的方法，其特征在于，
所述人脸特征点包括以下特征点中的至少一个：眼部中心点、鼻尖点和唇角点。


11.如权利要求1所述的方法，其特征在于，还包括对多帧人脸图像中的每一个进行图像尺寸缩小处理。


12.如权利要求1所述的方法，其特征在于，
所述唇部参考特征值为多个所述单帧人脸图像的唇部特征值的平均值。


13.如权利要求1所述的方法，其特征在于，
所述多帧人脸图像从所述待识别人脸的视频文件中获取。


14.一种识别唇动的系统，其特征在于，包括：
获取模块，用于获取待识别人脸的多帧人脸图像；所述多帧人脸图像拍摄于不同时刻；
唇部特征值确定模块，用于基于所述多帧人脸图像获取多个单帧人脸图像的唇部特征...

【专利技术属性】
技术研发人员：张修宝，沈海峰，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11