一种智能双录质检方法和系统技术方案

本发明专利技术涉及一种智能双录质检方法和系统，方法包括以下步骤：实时获取每段双录视频流和对应的体征数据；对每段双录视频流进行解码获得视频数据和音频数据；基于所述视频数据进行人脸识别检测，得到人脸识别检测结果；基于所述视频数据、音频数据和所述体征数据进行胁迫检测，得到胁迫检测分数；将所有视频流的音频文件拼接为双录音频文件，对所述双录音频文件进行语音识别得到语音文本，基于所述语音文本进行话术检测得到话术检测分数；基于人脸识别检测结果、胁迫检测分数，以及所述话术检测分数得到双录质检结果。数得到双录质检结果。数得到双录质检结果。

【技术实现步骤摘要】
一种智能双录质检方法和系统


[0001]本专利技术涉及双录质检
，尤其涉一种智能双录质检方法和系统。

技术介绍

[0002]在金融行业中，在购买一款金融理财产品的时候，为了更准确的让投资人知晓这款金融理财产品的风险，会要求投资人做一个风险揭示双录，双录包含录制音频和录制视频，录制音频内容为用户朗读预设的文字，录制视频内容为人物上半身包含头部。为了保证双录数据的有效性及可用性，需要对双录数据进行质检。
[0003]现有技术主要采用人工质检，这种方式不仅效率低，而且十分浪费人力资源，人力质检的强主观性也导致检测结果存在较大偏差。

技术实现思路

[0004]鉴于上述的分析，本专利技术实施例旨在提供一种智能双录质检方法和系统。用以解决现有双录质检采用人工质检效率低并且结果不准确的问题。
[0005]一方面，本专利技术实施例提供了一种智能双录质检方法，包括以下步骤：
[0006]实时获取每段双录视频流和对应的体征数据；
[0007]对每段双录视频流进行解码获得视频数据和音频数据；基于所述视频数据进行人脸识别检测，得到人脸识别检测结果；基于所述视频数据、音频数据和所述体征数据进行胁迫检测，得到胁迫检测分数；
[0008]将所有视频流的音频文件拼接为双录音频文件，对所述双录音频文件进行语音识别得到语音文本，基于所述语音文本进行话术检测得到话术检测分数；
[0009]基于人脸识别检测结果、胁迫检测分数，以及所述话术检测分数得到双录质检结果。
[0010]基于上述技术方案的进一步改进，
[0011]基于所述视频数据进行人脸识别检测，得到人脸识别检测结果，包括：基于第一段视频流的视频数据进行人脸识别检测，得到人脸识别检测结果；
[0012]基于所述视频数据、音频数据和所述体征数据进行胁迫检测，得到胁迫检测分数，包括：
[0013]基于第二段至最后一段视频流的视频数据、音频数据和对应的体征数据进行胁迫检测，得到胁迫检测分数。
[0014]进一步地，所述基于人脸识别检测结果、胁迫检测分数，以及所述话术检测分数到双录质检结果，包括：
[0015]当人脸识别检测结果为不通过，则双录质检结果为不通过；
[0016]当人脸识别检测结果为通过，则根据公式Z＝α1X4+β1X5计算双录质检分数；其中，X4表示胁迫检测分数，α1表示胁迫检测的权重，X5表示话术检测分数，β1表示话术检测的权重；
[0017]若所述双录质检分数低于第一阈值，则双录质检不通过；否则双录质检通过。
[0018]进一步地，基于第一段视频流的视频数据进行人脸识别检测，得到人脸识别检测结果，包括：
[0019]提取所述视频数据中的多张关键帧图像；
[0020]对于每张关键帧图像，基于预设的人脸识别模型在所述关键帧图像中提取人脸图像；根据人脸图像在所述关键帧图像中的位置，采用相似度匹配算法对人脸图像和目标人脸图像进行相似度匹配，得到所述关键帧图像的相似度匹配结果；根据所述多张关键帧的相似度匹配结果得到人脸识别检测结果。
[0021]进一步地，根据人脸图像在所述关键帧图像中的位置，采用相似度匹配算法对人脸图像和目标人脸图像进行相似度匹配，得到所述关键帧图像的相似度匹配结果；根据所述多张关键帧的相似度匹配结果得到人脸识别检测结果，包括：
[0022]在每张关键帧图像中，计算每张人脸的中心位置与所述关键帧图像的中心位置的距离；
[0023]从最靠近关键帧图像中心位置的人脸图像开始到最远离关键帧图像中心位置的人脸图像为止，依次采用相似度匹配算法与目标人脸图像进行相似度匹配，若当前人脸图像与目标人脸图像相似，则匹配结束，该关键帧图像为合规图像；否则继续的提取下一张人脸图像与目标人脸图像进行相似度匹配；
[0024]若当前关键帧图像中不存在与目标人脸图像的相似的人脸图像，则判断该关键帧图像不合规；
[0025]根据合规关键帧图像的数量与所述关键帧图像总数量的比值，得到人脸识别检测结果。
[0026]进一步地，基于第二段至最后一段视频流的视频数据、音频数据和对应的体征数据进行胁迫检测，得到胁迫检测分数，包括：
[0027]对于第二段至最后一段视频流的每段视频流，基于所述视频数据、音频数据和对应的体征数据进行胁迫检测，得到每段视频流的胁迫概率；
[0028]对第二段至最后一段视频流的每段视频流的胁迫概率取平均得到平均胁迫概率；基于平均胁迫概率，得到胁迫检测分数。
[0029]进一步地，对于第二段至最后一段视频流的每段视频流，基于所述视频数据、音频数据和对应的体征数据进行胁迫检测，得到每段视频流的胁迫概率，包括：
[0030]在所述视频数据中提取目标用户人脸图像，将所述目标用户人脸图像输入训练好的图像情绪识别模型中进行情绪识别，得到图像情绪识别结果；
[0031]对所述音频数据进行特征提取，将提取的特征输入训练好的语音情绪识别模型进行情绪识别，得到语音情绪识别结果；
[0032]基于所述图像情绪识别结果、语音情绪识别结果和所述体征数据得到每段视频流的胁迫概率。
[0033]进一步地，基于所述图像情绪识别结果、语音情绪识别结果和所述体征数据得到每段视频流的胁迫概率，包括：
[0034]根据所述图像情绪识别结果、语音情绪识别结果以及每种情绪对应的胁迫概率，分别计算所述图像情绪识别结果和语音情绪识别结果对应的胁迫概率；
[0035]所述体征数据包括心跳数据，根据平均心跳得到体征数据的胁迫概率；
[0036]根据公式Y＝α2X1+β2X2+γ2X3计算得到每段视频流的胁迫概率，其中X1表示图像情绪识别结果对应的胁迫概率，X2表示语音情绪识别结果对应的胁迫概率，X3表示体征数据对应的胁迫概率，α2表示图像情绪识别的权重，β2表示语音情绪识别的权重，γ2表示体征的权重。
[0037]进一步地，基于所述语音文本进行话术检测得到该段视频流的话术检测结果，包括：
[0038]获取话术关键词，所述话术关键词包括必用关键词和禁用关键词，采用正则表达式检测所述必用关键是否在所述语音文本中，以及所述禁用关键词是否在所述语音文本中，根据以下计算得到话术检测分数：
[0039]其中α3表示必用关键词的权重，β3表示禁用关键词的权重，n1表示所述语音文本包含的必用关键词的数量，N1表示话术关键词包含的必用关键词的数量；n2表示所述语音文本包含的禁用关键词的数量，N2表示话术关键词包含的禁用关键词的数量。
[0040]与现有技术相比，本专利技术通过采用机器自动进行双录质检，提高了工作效率，节约了人力成本，并且检测结果更客观，避免出现因人工检测漏检或强主观性而出现偏差。当视频图像中有多人张人脸图像时通过根据人脸图像在关键帧图像的位置进行检测，提高了检测效率。通过结合胁迫检测和话术检测，使质检更全面。
[0041]另一方面，本专利技术实施例提供了一种智能双录质检系统，包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能双录质检方法，其特征在于，包括以下步骤：实时获取每段双录视频流和对应的体征数据；对每段双录视频流进行解码获得视频数据和音频数据；基于所述视频数据进行人脸识别检测，得到人脸识别检测结果；基于所述视频数据、音频数据和所述体征数据进行胁迫检测，得到胁迫检测分数；将所有视频流的音频文件拼接为双录音频文件，对所述双录音频文件进行语音识别得到语音文本，基于所述语音文本进行话术检测得到话术检测分数；基于人脸识别检测结果、胁迫检测分数，以及所述话术检测分数得到双录质检结果。2.根据权利要求1所述的智能双录质检方法，其特征在于，基于所述视频数据进行人脸识别检测，得到人脸识别检测结果，包括：基于第一段视频流的视频数据进行人脸识别检测，得到人脸识别检测结果；基于所述视频数据、音频数据和所述体征数据进行胁迫检测，得到胁迫检测分数，包括：基于第二段至最后一段视频流的视频数据、音频数据和对应的体征数据进行胁迫检测，得到胁迫检测分数。3.根据权利要求1所述的智能双录质检方法，其特征在于，所述基于人脸识别检测结果、胁迫检测分数，以及所述话术检测分数到双录质检结果，包括：当人脸识别检测结果为不通过，则双录质检结果为不通过；当人脸识别检测结果为通过，则根据公式Z＝α1X4+β1X5计算双录质检分数；其中，X4表示胁迫检测分数，α1表示胁迫检测的权重，X5表示话术检测分数，β1表示话术检测的权重；若所述双录质检分数低于第一阈值，则双录质检不通过；否则双录质检通过。4.根据权利要求2所述的智能双录质检方法，其特征在于，基于第一段视频流的视频数据进行人脸识别检测，得到人脸识别检测结果，包括：提取所述视频数据中的多张关键帧图像；对于每张关键帧图像，基于预设的人脸识别模型在所述关键帧图像中提取人脸图像；根据人脸图像在所述关键帧图像中的位置，采用相似度匹配算法对人脸图像和目标人脸图像进行相似度匹配，得到所述关键帧图像的相似度匹配结果；根据所述多张关键帧的相似度匹配结果得到人脸识别检测结果。5.根据权利要求4所述的智能双录质检方法，其特征在于，根据人脸图像在所述关键帧图像中的位置，采用相似度匹配算法对人脸图像和目标人脸图像进行相似度匹配，得到所述关键帧图像的相似度匹配结果；根据所述多张关键帧的相似度匹配结果得到人脸识别检测结果，包括：在每张关键帧图像中，计算每张人脸的中心位置与所述关键帧图像的中心位置的距离；从最靠近关键帧图像中心位置的人脸图像开始到最远离关键帧图像中心位置的人脸图像为止，依次采用相似度匹配算法与目标人脸图像进行相似度匹配，若当前人脸图像与目标人脸图像相似，则匹配结束，该关键帧图像为合规图像；否则继续的提取下一张人脸图像与目标人脸图像进行相似度匹配；若当前关键帧图像中不存在与目标人脸图像的相似的人脸图像，则判断该关键帧图像
不合规；根据合规关键帧图像的数量与所述关键帧图像总数量的比值，得到人脸识别检测结果。6.根据权利要求2所述的智能双录质检方法，其特征在于，基于第二段至最后一段...

【专利技术属性】
技术研发人员：曾德，胡峻洁，户刘军，刘小婷，
申请(专利权)人：四川科瑞软件有限责任公司，
类型：发明
国别省市：