面审视频的场景分类方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，提供一种面审视频的场景分类方法、装置、电子设备及存储介质，所述方法包括：获取面审视频；将面审视频转换为视频帧序列集，根据视频帧序列集，确定面审视频满足场景分类环境时，对视频帧序列集中的视频帧进行预处理，得到场景图像样本集；将场景图像样本集输入至预先训练好的场景分类模型中，得到每张场景图像的分类结果；根据场景样本集中的每张场景图像的分类结果，确定面审视频的场景分类结果。本发明专利技术通过对视频帧序列集中的视频帧进行预处理后，采用预先训练好的场景分类模型进行场景分类，提高了场景分类的效率及准确率。类的效率及准确率。类的效率及准确率。

【技术实现步骤摘要】
面审视频的场景分类方法、装置、电子设备及存储介质


[0001]本专利技术涉及人工智能
，具体涉及一种面审视频的场景分类方法、装置、电子设备及存储介质。

技术介绍

[0002]场景分类在现实生活中越来越重要，比如在反欺诈、风险防控等领域，需要对面审视频进行场景分类，确保客户在安全的环境下进行面审视频。然而，面审视频的图像内容经常是客户对着摄像设备说一些话，人脸占据图片的比例比较大，能利用的场景信息相对而言比较少，现有技术无法根据这些场景信息进行有效的场景分类，导致面审视频的场景分类效率及准确率低。

技术实现思路

[0003]鉴于以上内容，有必要提出一种面审视频的场景分类方法、装置、电子设备及存储介质，通过对视频帧序列集中的视频帧进行预处理后，采用预先训练好的场景分类模型进行场景分类，提高了场景分类的效率及准确率。
[0004]本专利技术的第一方面提供一种面审视频的场景分类方法，所述方法包括：
[0005]响应于接收到的场景分类请求，获取面审视频；
[0006]将所述面审视频转换为视频帧序列集，根据所述视频帧序列集判断所述面审视频是否满足场景分类环境；
[0007]当所述面审视频满足场景分类环境时，对所述视频帧序列集中的视频帧进行预处理，得到场景图像样本集；
[0008]将所述场景图像样本集输入至预先训练好的场景分类模型中，得到每张场景图像的分类结果；
[0009]根据所述场景样本集中的每张场景图像的分类结果，确定所述面审视频的场景分类结果。
[0010]可选地，所述对所述视频帧序列集中的视频帧进行预处理，得到场景图像样本集包括：
[0011]将所述视频帧序列集中的第一张视频帧确定为当前视频帧；
[0012]计算所述当前视频帧与所述当前视频帧的下一张视频帧之间的相似度；
[0013]当所述当前视频帧与所述当前视频帧的下一张视频帧之间的相似度大于或者等于预设的相似度阈值时，从所述视频帧序列集中删除所述当前视频帧的下一张视频帧，得到新的视频帧序列集，将所述新的视频帧序列集中的第一张视频帧确定为当前视频帧，重复计算所述新的视频帧序列集中的当前视频帧与所述当前视频帧的下一张视频帧之间的相似度，直至完成所述新的视频序列集中的第一张视频帧与最后一张视频帧之间的相似度的计算，得到场景图像样本集；
[0014]当所述当前视频帧与所述当前视频帧的下一张视频帧之间的相似度小于所述预
设的相似度阈值时，将所述当前视频帧的下一张视频帧确定为新的当前视频帧，重复计算所述新的当前视频帧与所述新的当前视频帧的下一张视频帧之间的相似度，直至完成所述视频序列集中的新的当前视频帧与最后一张视频帧之间的相似度的计算，得到场景图像样本集。
[0015]可选地，所述计算所述当前视频帧与所述当前视频帧的下一张视频帧之间的相似度包括：
[0016]计算所述当前视频帧的每个位置的像素与所述当前视频帧的下一张视频帧的对应位置的像素的差值，将所有位置的像素的差值求平均值，得到像素的目标均值；
[0017]计算所述像素的目标均值与所述当前视频帧的像素总数之商数，将计算得到的商数确定为所述当前视频帧与所述当前视频帧的下一张视频帧之间的相似度。
[0018]可选地，所述场景分类模型的训练过程包括：
[0019]获取多个场景及对应场景的第一视频集和第二视频集；
[0020]对所述第一视频集进行解码，得到第一样本图像集，及对所述第二视频集进行解码，得到第二样本图像集；
[0021]利用人脸检测算法抠除所述第一样本图像集中的每张样本图像的人脸图像，将抠除了人脸图像后的多张样本图像确定为第三样本图像集；
[0022]从所述第二样本图像集中划分出训练集和测试集；
[0023]将所述训练集输入预设神经网络中进行训练，得到预训练模型；
[0024]将所述测试集输入至所述预训练模型中进行测试，并计算测试通过率；
[0025]将所述测试通过率与预设的通过率阈值进行比对；
[0026]当所述测试通过率大于或者等于预设通过率阈值，确定所述预训练模型训练结束，基于所述第三样本图像集，采用预设的微调模型对所述预训练模型进行微调，得到场景分类模型。
[0027]可选地，所述根据所述场景样本集中的每张场景图像的分类结果，确定所述面审视频的场景分类结果包括：
[0028]从每张场景图像的分类结果中获取每张场景图像的最高置信度，并将所述最高置信度与预设的置信度阈值进行比对；
[0029]保留最高置信度大于或者等于所述预设的置信度阈值对应的多个场景图像，并将所述每张场景图像的最高置信度对应的类别确定为对应场景图像的目标场景类别；
[0030]根据目标场景类别对保留的多个场景图像进行归类，得到每个目标场景类别的目标场景样本集；
[0031]基于每个目标场景类别的目标场景样本集统计每个目标场景类别的总票数；
[0032]计算多个目标场景类别的多个总票数中最高总票数与第二高总票数之差与所述多个总票数之和的商数，得到目标场景类别结果；
[0033]将所述目标场景类别结果与预设的场景类别阈值进行对比；
[0034]当所述目标场景类别结果大于或者等于所述预设的场景类别阈值时，将总票数最高的场景类别确定为所述面审视频的场景分类结果。
[0035]可选地，所述根据所述视频帧序列集判断所述面审视频是否满足场景分类环境包括：
[0036]将所述视频帧序列集中的每张视频帧转换为HSV图像，得到HSV图像集；剔除所述HSV图像集中的每张HSV图像中的人脸区域像素，保留所述每张HSV图像的非人脸区域的像素，基于保留的所述每张HSV图像的非人脸区域的像素，计算所述每张HSV图像的目标亮度值；
[0037]将每张HSV图像的目标亮度值与预设的亮度阈值进行比较；
[0038]统计所述目标亮度值小于所述预设的亮度阈值的HSV图像的总数之和，得到第一总数；
[0039]基于所述HSV图像集的图像的第二总数获取目标总数阈值；
[0040]将所述第一总数与所述目标总数阈值进行比较；
[0041]当所述第一总数小于所述目标总数阈值时，确定所述面审视频满足场景分类环境。
[0042]可选地，所述方法还包括：
[0043]当所述面审视频不满足场景分类环境时，切换至人工场景分类审核系统。
[0044]本专利技术的第二方面提供一种面审视频的场景分类装置，所述装置包括：
[0045]获取模块，用于响应于接收到的场景分类请求，获取面审视频；
[0046]判断模块，用于将所述面审视频转换为视频帧序列集，根据所述视频帧序列集判断所述面审视频是否满足场景分类环境；
[0047]预处理模块，用于当所述面审视频满足场景分类环境时，对所述视频帧序列集中的视频帧进行预处理，得到场景图像样本集；
[0048]输入模块，用于将所述场景图像样本集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面审视频的场景分类方法，其特征在于，所述方法包括：响应于接收到的场景分类请求，获取面审视频；将所述面审视频转换为视频帧序列集，根据所述视频帧序列集判断所述面审视频是否满足场景分类环境；当所述面审视频满足场景分类环境时，对所述视频帧序列集中的视频帧进行预处理，得到场景图像样本集；将所述场景图像样本集输入至预先训练好的场景分类模型中，得到每张场景图像的分类结果；根据所述场景样本集中的每张场景图像的分类结果，确定所述面审视频的场景分类结果。2.如权利要求1所述的面审视频的场景分类方法，其特征在于，所述对所述视频帧序列集中的视频帧进行预处理，得到场景图像样本集包括：将所述视频帧序列集中的第一张视频帧确定为当前视频帧；计算所述当前视频帧与所述当前视频帧的下一张视频帧之间的相似度；当所述当前视频帧与所述当前视频帧的下一张视频帧之间的相似度大于或者等于预设的相似度阈值时，从所述视频帧序列集中删除所述当前视频帧的下一张视频帧，得到新的视频帧序列集，将所述新的视频帧序列集中的第一张视频帧确定为当前视频帧，重复计算所述新的视频帧序列集中的当前视频帧与所述当前视频帧的下一张视频帧之间的相似度，直至完成所述新的视频序列集中的第一张视频帧与最后一张视频帧之间的相似度的计算，得到场景图像样本集；当所述当前视频帧与所述当前视频帧的下一张视频帧之间的相似度小于所述预设的相似度阈值时，将所述当前视频帧的下一张视频帧确定为新的当前视频帧，重复计算所述新的当前视频帧与所述新的当前视频帧的下一张视频帧之间的相似度，直至完成所述视频序列集中的新的当前视频帧与最后一张视频帧之间的相似度的计算，得到场景图像样本集。3.如权利要求2所述的面审视频的场景分类方法，其特征在于，所述计算所述当前视频帧与所述当前视频帧的下一张视频帧之间的相似度包括：计算所述当前视频帧的每个位置的像素与所述当前视频帧的下一张视频帧的对应位置的像素的差值，将所有位置的像素的差值求平均值，得到像素的目标均值；计算所述像素的目标均值与所述当前视频帧的像素总数之商数，将计算得到的商数确定为所述当前视频帧与所述当前视频帧的下一张视频帧之间的相似度。4.如权利要求1所述的面审视频的场景分类方法，其特征在于，所述场景分类模型的训练过程包括：获取多个场景及对应场景的第一视频集和第二视频集；对所述第一视频集进行解码，得到第一样本图像集，及对所述第二视频集进行解码，得到第二样本图像集；利用人脸检测算法抠除所述第一样本图像集中的每张样本图像的人脸图像，将抠除了人脸图像后的多张样本图像确定为第三样本图像集；从所述第二样本图像集中划分出训练集和测试集；
将所述训练集输入预设神经网络中进行训练，得到预训练模型；将所述测试集输入至所述预训练模型中进行测试，并计算测试通过率；将所述测试通过率与预设的通过率阈值进行比对；当所述测试通过率大于或者等于预设通过率阈值，确定所述预训练模型训练结束，基于所述第三样本图像集，采用预设的微调模型对所述预训练模型进行微调，得到场景分类模型...

【专利技术属性】
技术研发人员：吕根鹏，曾凡涛，刘玉宇，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：