一种签字人身份识别的方法与系统技术方案

一种签字人身份识别的方法与系统，首先，把可能执行签字动作的人的人脸图像注册到系统中，形成签字人的人脸库；其次，进行签字动作检测，获得视频中签字动作出现的起始时间和结束时间；再次，在视频的签字动起止时间范围内进行人脸检测；然后，把视频中签字动作的手与视频中的人脸进行关联；最后，把关联的人脸与签字人脸库进行人脸比对，确定签字动作的执行人的身份。该方法具有高效准确的优点，能够准确的判断视频中签字者的身份。对应的硬件系统能完成对待稽核视频的采集存储，同时完成对视频的签字人身份识别并输出识别结果，高效精准。准。准。

【技术实现步骤摘要】
一种签字人身份识别的方法与系统


[0001]本专利技术涉及视频分析、智能双录、远程开户、远程开卡、远程合同签署等相关
，尤其是涉及一种签字人身份识别的方法与系统。

技术介绍

[0002]自2020年以来，人与人之间见面受限。因此金融领域中，越来越多的金融行为以远程的方式进行，例如远程开户、远程信贷、远程开卡、远程理财、远程谈判、远程签约等。同时，由于远程的方式方便了老百姓，提高了办事效率，因此我们也可以预测到，疫情过去以后网上和线上的金融活动不仅会持续下去，而且会越来越频繁。在这些远程金融活动中，参与的某一方、双方、多方在各种不同的文档上签字是必不可少的环节。银行、证券、保险等金融机构在销售理财产品、贵重金属、保险产品时，根据监管部门的要求必须进行录音录像（简称双录）。不仅如此，双录音视频还必须要符合监管部门的一系列规范与要求。其中，消费者在产品说明书、风险提示上签字是表达消费者是出于本人意愿购买产品的重要途经。在这些应用中，判断签字动作是本人做出还是他人代签的，具有非常重要的现实意义。
[0003]基于上述背景现状，现急需设计应对线上双录视频签字人身份识别的方法及其配套的硬件。

技术实现思路

[0004]为了解决现有技术中双录视频中签字人身份识别的问题，本专利技术提供一种签字人身份识别的方法与系统，采用如下的技术方案：一种签字人身份识别的方法，包括以下步骤：步骤1：创建签字人的人脸数据库，把具备签字权限的所有人的人脸信息录入数据库；步骤2：签字动作检测，获取签字视频，并对签字视频进行签字动作检测，得到签字关联信息，所述签字关联信息包括签字动作发生的开始时间点、结束时间点以及该时间点内的视频帧图像集合，获得视频帧图像集合中每帧图像中签字的手的坐标位置信息；步骤3：人脸检测与跟踪，对于步骤2中视频帧图像集合中图像帧进行逐帧或抽帧方式的人脸检测，获得检测到的人脸坐标信息；步骤4：将视频中签字动作的手与视频中的人脸进行关联，对步骤2中获得视频帧图像集合的图像帧进行出去背景部分的人体图像分割，图像分割的每个区域为一个人的人体，所述人体至少包括人脸、人手和躯干，判断每个分割的人体区域中是否同时包含签字的手和人脸，如果同时包含，则把对应的签字的手和人脸关联进行关联标记；步骤5：把关联标记的人脸与签字人脸库进行人脸比对，确定签字动作的执行人身份信息。
[0005]通过上述技术方案，可以高效的实现双录视频中签字人身份识别。
[0006]可选的，所述步骤1具体是指把具备签字权限的所有人的人脸图像录入数据库DB=
{Image_i, i=0,1,2,3,
…
,M}。
[0007]通过上述技术方案，把具备签字权限的所有人的人脸图像录入数据库，便于后续对于检测出的签字人的人脸信息对边。
[0008]可选的，所述步骤2中，签字动作检测具体采用动作检测算法检测人的手部，对检测到的手进行跟踪，获取同一个手对应的手部视频，对获得的手的视频判断该视频中手部动作是否是签字动作，若判断是签字动作，则获得该签字动作发生的开始时间点t_start和结束时间点t_final，同时获得签字过程中的每帧图像中签字的手的坐标位置信息（hx
i
，hy
i
，hw
i
，hh
i
），i=0,1,2，...，N。
[0009]通过上述技术方案，签字动作检测可以使用动作检测与识别领域的任何算法，先检测出手部动作，再对该动作进行识别是否为签字动作，这样才能准确的抓取到需要进行对比的签字人脸信息。
[0010]可选的，签字动作检测具体采用yolov3算法检测人的手部；具体采用slowfast算法对获得的手的视频判断手部动作否是签字动作。
[0011]通过上述技术方案，具体使用yolov3算法通过逐帧或者抽帧的方式检测人的手部，yolov3更加高效，slowfast是何凯明在《SlowFast Networks for Video Recognition》一文中提出的动作识别算法，模型包含两部分，低帧率运行的Slow pathway用来捕获空间语义信息，高帧率运行的Fast pathway，以精细的时间分辨率捕获运动信息，能高效的完成手部动作是否是签字动作的判定，并输出判定结果。
[0012]可选的，所述步骤3中具体对t_start和t_final之间的视频帧F
i
，i=0,1,2，...，N进行人脸检测与跟踪，获得人脸每张图上的人脸坐标（fx
ji
，fy
ji
，fw
ji
，fh
ji
），i=0,1,2，...，N，j=0,1,2，...，Ki,Ki是指第i帧图像中的人脸数。
[0013]通过上述技术方案，获得人脸坐标（fx
ji
，fy
ji
，fw
ji
，fh
ji
），i=0,1,2，...，N，j=0,1,2，...，Ki，用于后续对该坐标到人脸进行对比。
[0014]可选的，所述步骤3中具体采用yolov5s算法对t_start和t_final之间的视频帧进行人脸检测，并采用KCF算法进行人脸跟踪。
[0015]通过上述技术方案，采用yolov5s算法进行人脸检测更加高效；采用传统的KCF算法进行跟踪，准确高效。
[0016]可选的，所述步骤4具体是对t_start和t_final之间的视频帧F
i
，i=0,1,2，...，N采用yoloact算法进行实例分割，把图像中除背景之外的人体目标分割出来，并且可以区分同一类别下的不同个体，由此把图像分为Mi个区域A
iMi
，Mi为第i帧分割的区域数量，即第i帧中包含的人体数量。
[0017]通过上述技术方案，yoloact算法能高效的完成视频帧的实例分割，将包含人体各部位的图像区域划为一个区域A
i
，便于后续的精准比对。
[0018]可选的，所述步骤5具体是：设定Max_roi_h，表示人体区域和检测到的签字的手的最大交并并比，初始化为0；设定Max_roi_f表示人体区域和人脸区域的最大交并比，初始化为0；采用yoloact算法逐一遍历t_start和t_final中的每帧图像，逐一遍历每帧图的每个分割区域A
iMi
；计算A
iMi
和（hx
i
，hy
i
，hw
i
，hh
i
），i=0,1,2，...，N的交并比，记为roi_hand；
计算A
iMi
和（fx
ji
，fy
ji
，fw
ji
，fh
ji
），i=0,1,2，...，N，j=0,1,2，...，Ki的最大交并比，记为roi_face，把交并比最大的人脸标记为（fx<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种签字人身份识别的方法，其特征在于：包括以下步骤：步骤1：创建签字人的人脸数据库，把具备签字权限的所有人的人脸信息录入数据库；步骤2：签字动作检测，获取签字视频，并对签字视频进行签字动作检测，得到签字关联信息，所述签字关联信息包括签字动作发生的开始时间点、结束时间点以及该时间点内的视频帧图像集合，获得视频帧图像集合中每帧图像中签字的手的坐标位置信息；步骤3：人脸检测与跟踪，对于步骤2中视频帧图像集合中图像帧进行逐帧或抽帧方式的人脸检测，获得检测到的人脸坐标信息；步骤4：将视频中签字动作的手与视频中的人脸进行关联，对步骤2中获得视频帧图像集合的图像帧进行出去背景部分的人体图像分割，图像分割的每个区域为一个人的人体，所述人体至少包括人脸、人手和躯干，判断每个分割的人体区域中是否同时包含签字的手和人脸，如果同时包含，则把对应的签字的手和人脸关联进行关联标记；步骤5：把关联标记的人脸与签字人脸库进行人脸比对，确定签字动作的执行人身份信息。2.根据权利要求1所述的一种签字人身份识别的方法，其特征在于：所述步骤1具体是指把具备签字权限的所有人的人脸图像录入数据库DB={Image_i, i=0,1,2,3,
…
,M}。3.根据权利要求1所述的一种签字人身份识别的方法，其特征在于：所述步骤2中，签字动作检测具体采用动作检测算法检测人的手部，对检测到的手进行跟踪，获取同一个手对应的手部视频，对获得的手的视频判断该视频中手部动作是否是签字动作，若判断是签字动作，则获得该签字动作发生的开始时间点t_start和结束时间点t_final，同时获得签字过程中的每帧图像中签字的手的坐标位置信息（hx
i
，hy
i
，hw
i
，hh
i
），i=0,1,2，...，N。4.根据权利要求3所述的一种签字人身份识别的方法，其特征在于：签字动作检测具体采用yolov3算法检测人的手部；具体采用slowfast算法对获得的手的视频判断手部动作否是签字动作。5.根据权利要求3所述的一种签字人身份识别的方法，其特征在于：所述步骤3中具体对t_start和t_final之间的视频帧F
i
，i=0,1,2，...，N进行人脸检测与跟踪，获得人脸每张图上的人脸坐标（fx
ji
，fy
ji
，fw
ji
，fh
ji
），i=0,1,2，...，N，j=0,1,2，...，Ki，Ki是指第i帧图像中的人脸数。6.根据权利要求5所述的一种签字人身份识别的方法，其特征在于：所述步骤3中具体采用yolov5s算...

【专利技术属性】
技术研发人员：张志坚，陈友斌，申意萍，徐一波，
申请(专利权)人：湖北微模式科技发展有限公司，
类型：发明
国别省市：