【技术实现步骤摘要】
本申请涉及人脸识别，应用于金融领域，尤其涉及一种微表情提取方法、装置、计算机设备及可读存储介质。
技术介绍
1、在金融领域中，面审是评估借款人信用状况和还款能力的重要环节。风险预警能够及时发现潜在的信用风险、欺诈风险等，避免不良贷款的发放，从而保障金融机构的资产安全。现有的面审场景中，面审员在面谈评估环节中，通过观察申请人的言行举止、表情神态等，判断其是否诚实可信，有无欺诈嫌疑，而通过肉眼观察不可避免会存在未观察到申请人的微表情，导致未及时确认存在风险的用户，导致错误放款造成不可避免的损失。
2、因此，亟需一种微表情提取方法，以在如面审场景中快速确定面审的对象是否存在风险。
技术实现思路
1、本申请提供了一种微表情提取方法、装置、计算机设备及可读存储介质，旨在解决现有的面审场景中，面审员在面谈评估环节中，通过观察申请人的言行举止、表情神态等，判断其是否诚实可信，有无欺诈嫌疑，而通过肉眼观察不可避免会存在未观察到申请人的微表情，导致未及时确认存在风险的用户，导致错误放款造成不可避免的损失的问题。采用所提供的方法能通过微表情提取快速判断客户当前的情感状态，在如金融领域中能够有效帮助企业改善服务质量，提高客户满意度。
2、第一方面，本申请提供了一种微表情提取方法，包括：
3、获取待提取的人脸图像序列，人脸图像序列包括多个图像帧；
4、对每个图像帧进行特征提取，获取每个图像帧对应的多个人脸特征；人脸特征至少包括人脸表情特征、人脸动作特征、人脸
5、获取每个图像帧在人脸图像序列中对应的时序信息，根据每个图像帧对应的多个人脸特征和时序信息进行合并，获取每个图像帧对应的时序特征信息；
6、将多个时序特征信息进行特征融合，生成融合特征信息；
7、根据融合特征信息获取人脸图像序列对应的微表情信息，完成对人脸图像序列的微表情提取。
8、在一些实施例中，对每个图像帧进行特征提取，获取每个图像帧对应的多个人脸特征；所述人脸特征至少包括人脸表情特征、人脸动作特征、人脸姿态特征和人脸视线特征中的至少两项，包括：若人脸特征包括人脸表情特征，将每个图像帧输入至预设的微表情提取模型，微表情提取模型解析图像帧，输出人脸表情特征；和/或，若人脸特征包括所述人脸动作特征，将每个图像帧输入至预设的人脸动作单元模型，人脸动作单元模型解析图像帧，输出人脸动作特征；和/或，若所述人脸特征包括所述人脸姿态特征，将每个图像帧输入至预设的人脸姿态模型，人脸姿态模型解析图像帧，输出人脸姿态特征；和/或，若所述人脸特征包括所述人脸视线特征，将每个图像帧输入至预设的人脸视线模型，人脸视线模型解析图像帧，输出人脸视线特征。
9、示例性的，人脸特征至少包括人脸表情特征和人脸动作特征，在对每个图像帧进行特征提取之前，还包括：将每个图像帧分别输入至待训练的微表情提取模型和人脸动作单元模型，获取微表情提取模型输出的预测表情特征和动作单元模型输出的预测动作特征；获取图像帧对应的监督特征信息；监督特征信息至少包括监督表情特征和监督动作特征；根据监督表情特征、监督动作特征、预测表情特征和预测动作特征完成对微表情提取模型和人脸动作单元模型的训练。
10、需要说明的是，在一些实施例中，根据监督表情特征、监督动作特征、预测表情特征和预测动作特征完成对微表情提取模型和人脸动作单元模型的训练，包括：计算预测表情特征与对应的监督表情特征的第一欧几里得距离；计算预测动作特征与对应的监督动作特征的第二欧几里得距离；计算监督表情特征、监督动作特征、预测表情特征、预测动作特征和第一欧几里得距离和第二欧几里得距离的损失函数；根据损失函数完成对微表情提取模型和人脸动作单元模型的训练。
11、在一些实施例中，其特征在于，时序信息包括位置编码信息；多个人脸特征对应的特征向量进行拼接，获取综合特征向量；获取每个图像帧在人脸图像序列中对应的时序信息，对每个图像帧对应的多个人脸特征和时序信息进行合并，获取每个图像帧对应的时序特征信息，包括：获取每个图像帧在人脸图像序列中对应的位置编码信息；对多个人脸特征对应的特征向量进行拼接，获取综合特征向量；对每个图像帧对应的综合特征向量和位置编码信息进行合并，获取每个图像帧对应的时序特征信息。
12、在一些实施例中，在对每个图像帧进行特征提取之前，还包括：计算每个图像帧对应的有效帧占比；将有效帧占比小于预设占比的图像帧确认为目标帧；在多个图像帧中去除目标帧。
13、在一些实施例中，在根据融合特征信息获取人脸图像序列对应的微表情信息之后，还包括：获取微表情信息对应的风险评估结果，风险评估结果用于确认微表情信息中是否存在预设的可疑动作；若根据风险评估结果确认微表情信息中存在可疑动作，生成人脸图像序列对应的预警信息。
14、第二方面，本申请提供了一种微表情提取装置，包括：
15、序列获取单元，用于获取待提取的人脸图像序列，所述人脸图像序列包括多个图像帧；
16、特征提取单元，用于对每个所述图像帧进行特征提取，获取每个所述图像帧对应的多个人脸特征；所述人脸特征至少包括人脸表情特征、人脸动作特征、人脸姿态特征和人脸视线特征中的至少两项；
17、特征合并单元，用于获取每个所述图像帧在所述人脸图像序列中对应的时序信息，根据每个所述图像帧对应的多个人脸特征和时序信息进行合并，获取每个所述图像帧对应的时序特征信息；
18、特征融合单元，用于将多个所述时序特征信息进行特征融合，生成融合特征信息；
19、表情提取单元，用于根据所述融合特征信息获取所述人脸图像序列对应的微表情信息，完成对所述人脸图像序列的微表情提取。
20、第三方面，本申请还提供了一种计算机设备，包括：
21、存储器和处理器；
22、所述存储器用于存储计算机程序；
23、所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上第一方面所述的微表情提取方法的步骤。
24、第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上第一方面所述的微表情提取方法的步骤。
25、本申请实施例提供的一种微表情提取方法、装置、计算机设备及可读存储介质，首先，方法通过获取待提取的人脸图像序列，包括多个图像帧。然后，对每个图像帧进行特征提取，获取以下至少两种特征：人脸表情特征：如微笑、皱眉等。人脸动作特征：如点头、摇头等。人脸姿态特征：如头的倾斜角度、面部朝向等。人脸视线特征：如眼睛的注视方向等。再然后，将每个图像帧对应的多个人脸特征和其在人脸图像序列中的时序特征合并，生成每个图像帧的时序特征信息。时序特征信息反映了人脸在时间上的动态变化情况。进一步的，将多个时序特征信息进行特征融合，生成融合特征信息。特征融合的目的是将不同类型的特征有机本文档来自技高网...
【技术保护点】
1.一种微表情提取方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对每个所述图像帧进行特征提取，获取每个所述图像帧对应的多个人脸特征；所述人脸特征至少包括人脸表情特征、人脸动作特征、人脸姿态特征和人脸视线特征中的至少两项，包括：
3.根据权利要求2所述的方法，其特征在于，所述人脸特征至少包括人脸表情特征和人脸动作特征，在所述对每个所述图像帧进行特征提取之前，还包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述监督表情特征、监督动作特征、预测表情特征和预测动作特征完成对所述微表情提取模型和人脸动作单元模型的训练，包括：
5.根据权利要求1所述的方法，其特征在于，所述时序信息包括位置编码信息；多个所述人脸特征对应的特征向量进行拼接，获取综合特征向量；所述获取每个所述图像帧在所述人脸图像序列中对应的时序信息，对每个所述图像帧对应的多个人脸特征和所述时序信息进行合并，获取每个所述图像帧对应的时序特征信息，包括：
6.根据权利要求1所述的方法，其特征在于，在所述对每个所述图像帧进行特征提取之前，
7.根据权利要求1所述的方法，其特征在于，在所述根据所述融合特征信息获取所述人脸图像序列对应的微表情信息之后，还包括：
8.一种微表情提取装置，其特征在于，包括：
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种微表情提取方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对每个所述图像帧进行特征提取，获取每个所述图像帧对应的多个人脸特征；所述人脸特征至少包括人脸表情特征、人脸动作特征、人脸姿态特征和人脸视线特征中的至少两项，包括：
3.根据权利要求2所述的方法，其特征在于，所述人脸特征至少包括人脸表情特征和人脸动作特征，在所述对每个所述图像帧进行特征提取之前，还包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述监督表情特征、监督动作特征、预测表情特征和预测动作特征完成对所述微表情提取模型和人脸动作单元模型的训练，包括：
5.根据权利要求1所述的方法，其特征在于，所述时序信息包括位置编码信息；多个所述人脸特征对应的特征向量进行拼接，获取...
【专利技术属性】
技术研发人员：胡魁，李佼，戴磊，张国辉，胡珊，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。