本公开提供了一种视频质量分析引擎的创建方法、视频质量分析方法及设备。所述视频质量分析引擎的创建方法包括：获取多任务模型，其中，所述多任务模型包括：与多个视频质量分析任务对应的多个机器学习模型；在同一网络中创建与所述多个机器学习模型对应的多个模型，其中，所述多个模型符合所要创建的推理引擎的格式；调用构建器，基于包括所述多个模型的网络创建所述推理引擎，其中，所述推理引擎为用于运行所述多个模型的视频质量分析引擎，其中，所述视频质量分析引擎运行时，所述视频质量分析引擎的输入量作为所述多个模型的输入量，且所述多个模型的输出量作为所述视频质量分析引擎的输出量。分析引擎的输出量。分析引擎的输出量。
【技术实现步骤摘要】
视频质量分析引擎的创建方法、视频质量分析方法及设备
[0001]本公开总体说来涉及电子
，更具体地讲，涉及一种视频质量分析引擎的创建方法、视频质量分析方法及设备。
技术介绍
[0002]随着短视频领域的蓬勃发展，视频的质量分析与评估在许多领域具有广泛的实用性，例如，图像压缩、视频编解码、视频监控等。常用的视频质量分析评估特征包括噪声、对焦、曝光、抖动、清晰度、颜色等。相对于人工进行主观评估，使用客观的数学模型进行自动预测既能够节省评估成本，同时也不受观看距离、显示设备、照明条件、情绪等诸多主观因素的影响，具有较高的实用价值。
[0003]在分析视频的不同质量特征时往往需要使用不同的模型进行处理，这被称作多任务视频质量分析。多任务视频质量分析相较于单任务视频质量分析能够更详细、有效地描述视频的质量。但在实际部署过程中多任务模型相较于单任务模型对GPU的显存占用更多，同时需要更长的推理耗时。因此，如何有效降低多任务模型的部署显存要求、提升推理速度，是一个亟待解决的问题。
技术实现思路
[0004]本公开的示例性实施例在于提供一种视频质量分析引擎的创建方法、视频质量分析方法及设备，以至少解决上述相关技术中的问题，也可不解决任何上述问题。
[0005]根据本公开实施例的第一方面，提供一种视频质量分析引擎的创建方法，包括：获取多任务模型，其中，所述多任务模型包括：与多个视频质量分析任务对应的多个机器学习模型；在同一网络中创建与所述多个机器学习模型对应的多个模型，其中，所述多个模型符合所要创建的推理引擎的格式；调用构建器，基于包括所述多个模型的网络创建所述推理引擎，其中，所述推理引擎为用于运行所述多个模型的视频质量分析引擎，其中，所述视频质量分析引擎运行时，所述视频质量分析引擎的输入量作为所述多个模型的输入量，且所述多个模型的预测结果作为所述视频质量分析引擎的输出量。
[0006]可选地，所述多个视频质量分析任务包括以下项之中的至少一项：噪声特征分析任务、抖动特征分析任务、曝光特征分析任务、模糊特征分析任务。
[0007]可选地，所述多个机器学习模型为深度学习模型，其中，获取多任务模型的步骤包括：分别训练与所述多个视频质量分析任务中的每个视频质量分析任务对应的机器学习模型；分别针对训练好的每个机器学习模型，对所述每个机器学习模型进行层参数融合，以得到更新后的每个机器学习模型。
[0008]可选地，分别针对训练好的每个机器学习模型，对所述每个机器学习模型进行层参数融合的步骤包括：分别针对训练好的每个机器学习模型，将所述每个机器学习模型中的归一化层等效替换为一个1
×
1大小的卷积层，并将所述卷积层与所述归一化层前序相邻的卷积层进行参数合并。
[0009]可选地，所述创建方法还包括：对创建好的视频质量分析引擎进行序列化处理；保存序列化处理后的视频质量分析引擎。
[0010]可选地，在同一网络中创建与所述多个机器学习模型对应的多个模型的步骤包括：使用所述推理引擎的模型定义方式重新限定所述多个机器学习模型的模型结构，并限定将所述多个机器学习模型的参数赋予给对应的所述多个模型的赋予方式；在同一网络中，按照重新限定的所述多个机器学习模型的模型结构以及限定的赋予方式，创建与所述多个机器学习模型对应的所述多个模型。
[0011]可选地，在同一网络中创建与所述多个机器学习模型对应的多个模型的步骤还包括：生成创建的所述多个模型中每个模型的优化配置文件；调用所述构建器创建所述网络的剖析定义；将每个模型的优化配置文件放入所述剖析定义中。
[0012]可选地，调用构建器，基于包括所述多个模型的网络创建所述推理引擎的步骤包括：调用所述构建器，基于所述网络和所述剖析定义创建所述推理引擎。
[0013]可选地，每个模型的优化配置文件包括以下项之中的至少一项：模型输入向量的最小尺寸、模型输入向量的最优尺寸、模型输入向量的最大尺寸。
[0014]根据本公开实施例的第二方面，提供一种视频质量分析方法，包括：读取已创建的用于运行多个模型的单个推理引擎；将向量输入所述单个推理引擎，以得到所述单个推理引擎输出的所述多个模型针对所述向量的预测结果，其中，所述单个推理引擎通过在同一网络中创建与多任务模型对应的所述多个模型，并基于所述网络创建得到，其中，所述多任务模型包括与多个视频质量分析任务对应的多个机器学习模型。
[0015]可选地，所述多个视频质量分析任务包括以下项之中的至少一项：噪声特征分析任务、抖动特征分析任务、曝光特征分析任务、模糊特征分析任务。
[0016]可选地，所述多任务模型通过以下方式获取：分别训练与所述多个视频质量分析任务中的每个视频质量分析任务对应的机器学习模型；分别针对训练好的每个机器学习模型，对所述每个机器学习模型进行层参数融合，以得到更新后的每个机器学习模型。
[0017]可选地，通过以下方式在同一网络中创建与所述多个机器学习模型对应的多个模型：使用所述单个推理引擎的模型定义方式重新限定所述多个机器学习模型的模型结构，并限定将所述多个机器学习模型的参数赋予给对应的所述多个模型的赋予方式；在同一网络中，按照重新限定的所述多个机器学习模型的模型结构以及限定的赋予方式，创建与所述多个机器学习模型对应的所述多个模型；生成创建的所述多个模型中每个模型的优化配置文件；调用所述构建器创建所述网络的剖析定义；将每个模型的优化配置文件放入所述剖析定义中。
[0018]可选地，通过以下方式基于所述网络创建得到所述单个推理引擎：调用所述构建器，基于所述网络和所述剖析定义创建所述单个推理引擎。
[0019]根据本公开实施例的第三方面，提供一种视频质量分析引擎的创建设备，包括：多任务模型获取单元，被配置为获取多任务模型，其中，所述多任务模型包括：与多个视频质量分析任务对应的多个机器学习模型；模型创建单元，被配置为在同一网络中创建与所述多个机器学习模型对应的多个模型，其中，所述多个模型符合所要创建的推理引擎的格式；引擎创建单元，被配置为调用构建器，基于包括所述多个模型的网络创建所述推理引擎，其中，所述推理引擎为用于运行所述多个模型的视频质量分析引擎，其中，所述视频质量分析
引擎运行时，所述视频质量分析引擎的输入量作为所述多个模型的输入量，且所述多个模型的预测结果作为所述视频质量分析引擎的输出量。
[0020]可选地，所述多个视频质量分析任务包括以下项之中的至少一项：噪声特征分析任务、抖动特征分析任务、曝光特征分析任务、模糊特征分析任务。
[0021]可选地，所述多个机器学习模型为深度学习模型，其中，多任务模型获取单元被配置为分别训练与所述多个视频质量分析任务中的每个视频质量分析任务对应的机器学习模型；分别针对训练好的每个机器学习模型，对所述每个机器学习模型进行层参数融合，以得到更新后的每个机器学习模型。
[0022]可选地，多任务模型获取单元被配置为分别针对训练好的每个机器学习模型，将所述每个机器学习模型中的归一本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频质量分析引擎的创建方法，其特征在于，包括：获取多任务模型，其中，所述多任务模型包括：与多个视频质量分析任务对应的多个机器学习模型；在同一网络中创建与所述多个机器学习模型对应的多个模型，其中，所述多个模型符合所要创建的推理引擎的格式；调用构建器，基于包括所述多个模型的网络创建所述推理引擎，其中，所述推理引擎为用于运行所述多个模型的视频质量分析引擎，其中，所述视频质量分析引擎运行时，所述视频质量分析引擎的输入量作为所述多个模型的输入量，且所述多个模型的预测结果作为所述视频质量分析引擎的输出量。2.根据权利要求1所述的创建方法，其特征在于，所述多个机器学习模型为深度学习模型，其中，获取多任务模型的步骤包括：分别训练与所述多个视频质量分析任务中的每个视频质量分析任务对应的机器学习模型；分别针对训练好的每个机器学习模型，对所述每个机器学习模型进行层参数融合，以得到更新后的每个机器学习模型。3.根据权利要求2所述的创建方法，其特征在于，分别针对训练好的每个机器学习模型，对所述每个机器学习模型进行层参数融合的步骤包括：分别针对训练好的每个机器学习模型，将所述每个机器学习模型中的归一化层等效替换为一个1
×
1大小的卷积层，并将所述卷积层与所述归一化层前序相邻的卷积层进行参数合并。4.根据权利要求1所述的创建方法，其特征在于，所述创建方法还包括：对创建好的视频质量分析引擎进行序列化处理；保存序列化处理后的视频质量分析引擎。5.一种视频质量分析方法，其特征在于，包括：读取已创建的用于运行多个模型的单个推理引擎；将向量输入所述单个推理引擎，以得到所述单个推理引擎输出的所述多个模型针对所述向量的预测结果，其中，所述单个推理引擎通过在同一网络中创建与多任务模型对应的所述多个模型，并基于所述网络创建得到，其中，所述多任务模型包括与多个视频质量分析任务对应的多个机器学习模型。6.一种视频质量分析引擎的创建设...
【专利技术属性】
技术研发人员：袁坤，刘洋，孙明，杜鹏，戴宇荣，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。