【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种实人认证方法、装置及电子设备。
技术介绍
1、实人认证(real person verification，rpv)是一种用于验证在线用户身份真实性的技术。现有技术主要基于人脸图像进行实人认证，然而，只依赖图像数据进行实人认证存在一定的风险，易被攻击，可见，现有实人认证的安全性较差。
技术实现思路
1、本申请实施例提供一种实人认证方法、装置及电子设备，以解决现有实人认证安全性较差的问题。
2、为了解决上述技术问题，本申请是这样实现的：
3、第一方面，本申请实施例提供了一种实人认证方法，该方法包括:
4、获取客户端上传的用于实人认证的人脸图像和声音信息；
5、将所述声音信息输入声音识别网络，通过所述声音识别网络中的第一残差模块对所述声音信息进行特征提取，以及通过所述声音识别网络中的注意力模块对所述第一残差模块提取得到的声音特征进行注意力特征提取，得到目标声音特征；
6、将所述人脸图像输入人脸识别网络进行人脸识别，得到人脸图像特征；
7、根据所述目标声音特征和所述人脸图像特征进行实人认证。
8、可选地，所述第一残差模块包括n个串联的双残差子模块，每个所述双残差子模块包括两个相同的残差块，n为大于1的整数。
9、可选地，所述注意力模块包括通道注意力子模块和空间注意力子模块，所述通道注意力子模块的输入端连接所述第一残差模块的输出端；
10、所述通道注意力
11、所述空间注意力子模块包括第三池化层、第四池化层、第二拼接层和第一卷积层，所述第三池化层和所述第四池化层的输入端均连接所述第一拼接层的输出端，所述第三池化层和所述第四池化层的输出端均连接所述第二拼接层的输入端，所述第二拼接层的输出端连接所述第一卷积层的输入端；
12、其中，所述第一池化层和所述第三池化层均用于对输入的特征进行最大池化处理，所述第二池化层和所述第四池化层均用于对输入的特征进行平均池化处理。
13、可选地，所述声音识别网络基于代理锚定损失函数训练得到。
14、可选地，所述人脸识别网络包括第一人脸特征提取子网络和第二人脸特征提取子网络；
15、所述将所述人脸图像输入人脸识别网络进行人脸识别，得到人脸图像特征，包括：
16、将所述人脸图像进行分块处理，得到多个人脸图像块；
17、将完整的所述人脸图像输入所述第一人脸特征提取子网络进行全局特征提取，得到第一人脸特征；
18、将所述多个人脸图像块输入所述第二人脸特征提取子网络分别进行局部特征提取并融合，得到第二人脸特征；
19、将所述第一人脸特征和所述第二人脸特征进行融合处理，得到人脸图像特征。
20、可选地，所述第一人脸特征提取子网络包括m个串联的双残差模块，m为大于1的整数；
21、所述第二人脸特征提取子网络包括特征提取模块、特征堆叠模块、块采样模块和第二卷积层；
22、所述将所述多个人脸图像块输入所述第二人脸特征提取子网络分别进行局部特征提取并融合，得到第二人脸特征，包括：
23、将所述多个人脸图像块输入所述特征提取模块，通过所述特征提取模块将存在遮挡的人脸图像块归一化为零值，以及将不存在遮挡的人脸图像块利用改进的局部二值算子进行特征提取，得到所述多个人脸图像块对应的多个局部人脸特征图像，其中，所述改进的局部二值算子的处理方式为：像素点的灰度值小于其预设范围内像素点的平均值则编码为0，否则编码为1；
24、将所述多个局部人脸特征图像输入所述特征堆叠模块，得到目标人脸特征图像；
25、将所述目标人脸特征图像输入所述块采样模块进行采样处理，并对采样处理后的人脸特征图像输入所述卷积层进行特征提取，得到第二人脸特征。
26、可选地，所述根据所述目标声音特征和所述人脸图像特征进行实人认证，包括：
27、将所述目标声音特征和所述人脸图像特征与实人数据库中存储的用户特征信息进行匹配，得到匹配结果；
28、在所述匹配结果指示所述目标声音特征和所述人脸图像特征均指向同一目标用户且所述目标用户的用户信息与客户端上传的用户信息匹配情况下，确认实人认证通过。
29、第二方面，本申请实施例还提供一种实人认证装置，该实人认证装置包括：
30、第一获取模块，用于获取客户端上传的用于实人认证的人脸图像和声音信息；
31、第一处理模块，用于将所述声音信息输入声音识别网络，通过所述声音识别网络中的第一残差模块对所述声音信息进行特征提取，以及通过所述声音识别网络中的注意力模块对所述第一残差模块提取得到的声音特征进行注意力特征提取，得到目标声音特征；
32、第一识别模块，用于将所述人脸图像输入人脸识别网络进行人脸识别，得到人脸图像特征；
33、第一认证模块，用于根据所述目标声音特征和所述人脸图像特征进行实人认证。
34、可选地，所述第一残差模块包括n个串联的双残差子模块，每个所述双残差子模块包括两个相同的残差块，n为大于1的整数。
35、可选地，所述注意力模块包括通道注意力子模块和空间注意力子模块，所述通道注意力子模块的输入端连接所述第一残差模块的输出端；
36、所述通道注意力子模块包括第一池化层、第二池化层、第一全连接层和第一拼接层，所述第一池化层和所述第二池化层的输出端均连接所述第一全连接层的输入端，所述第一全连接层的输出端连接所述第一拼接层的输入端；
37、所述空间注意力子模块包括第三池化层、第四池化层、第二拼接层和第一卷积层，所述第三池化层和所述第四池化层的输入端均连接所述第一拼接层的输出端，所述第三池化层和所述第四池化层的输出端均连接所述第二拼接层的输入端，所述第二拼接层的输出端连接所述第一卷积层的输入端；
38、其中，所述第一池化层和所述第三池化层均用于对输入的特征进行最大池化处理，所述第二池化层和所述第四池化层均用于对输入的特征进行平均池化处理。
39、可选地，所述声音识别网络基于代理锚定损失函数训练得到。
40、可选地，所述人脸识别网络包括第一人脸特征提取子网络和第二人脸特征提取子网络；
41、所述第一识别模块，包括：
42、第一处理单元，用于将所述人脸图像进行分块处理，得到多个人脸图像块；
43、第一提取单元，用于将完整的所述人脸图像输入所述第一人脸特征提取子网络进行全局特征提取，得到第一人脸特征；
44、第二提取单元，用于将所述多个人脸图像块输入所述第二人脸特征提取子网络分别进行局部特征提取并融合，得到第二人本文档来自技高网...
【技术保护点】
1.一种实人认证方法，其特征在于，包括：
2.根据权利要求1所述的实人认证方法，其特征在于，所述第一残差模块包括N个串联的双残差子模块，每个所述双残差子模块包括两个相同的残差块，N为大于1的整数。
3.根据权利要求1所述的实人认证方法，其特征在于，所述注意力模块包括通道注意力子模块和空间注意力子模块，所述通道注意力子模块的输入端连接所述第一残差模块的输出端；
4.根据权利要求1至3中任一项所述的实人认证方法，其特征在于，所述声音识别网络基于代理锚定损失函数训练得到。
5.根据权利要求1所述的实人认证方法，其特征在于，所述人脸识别网络包括第一人脸特征提取子网络和第二人脸特征提取子网络；
6.根据权利要求5所述的实人认证方法，其特征在于，所述第一人脸特征提取子网络包括M个串联的双残差模块，M为大于1的整数；
7.根据权利要求1所述的实人认证方法，其特征在于，所述根据所述目标声音特征和所述人脸图像特征进行实人认证，包括：
8.一种实人认证装置，其特征在于，所述实人认证装置包括：
9.一种电子
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的实人认证方法的步骤。
11.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令被处理器执行时实现如权利要求1至7中任一项所述的实人认证方法的步骤。
...【技术特征摘要】
1.一种实人认证方法，其特征在于，包括：
2.根据权利要求1所述的实人认证方法，其特征在于，所述第一残差模块包括n个串联的双残差子模块，每个所述双残差子模块包括两个相同的残差块，n为大于1的整数。
3.根据权利要求1所述的实人认证方法，其特征在于，所述注意力模块包括通道注意力子模块和空间注意力子模块，所述通道注意力子模块的输入端连接所述第一残差模块的输出端；
4.根据权利要求1至3中任一项所述的实人认证方法，其特征在于，所述声音识别网络基于代理锚定损失函数训练得到。
5.根据权利要求1所述的实人认证方法，其特征在于，所述人脸识别网络包括第一人脸特征提取子网络和第二人脸特征提取子网络；
6.根据权利要求5所述的实人认证方法，其特征在于，所述第一人脸特征提取子网络包括m个串联的双残差模块...
【专利技术属性】
技术研发人员：陈国栋，
申请(专利权)人：中移苏州软件技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。