【技术实现步骤摘要】
本专利技术涉及视频处理，具体而言，涉及一种视频美学特征提取方法、视频质量评估方法及相关装置。
技术介绍
1、视频图像的美学特征通常是从视觉角度感知到的特征，如色彩、对比度、明暗等，或者更高级的概念，如构图和分布。目前常用的美学特征的提取方法包括：基于传统的机器学习方法，例如支持向量机(svm)，以及深度学习方法，例如卷积神经网络(cnn)、自动编码器等。由于拍摄角度、拍摄技术水平、拍摄场景及视频的编解码技术等各种因素都会影响视频图像的失真度，而失真度在上述美学特征提取方式中会最终影响美学特征提取的性能。
技术实现思路
1、本专利技术的目的在于提供了一种视频美学特征提取方法、视频质量评估方法及相关装置，其能够在训练美学特征提取模型时，利用多个预设尺寸对样本图像放缩后得到的图像作为样本数据，并基于由多个预设尺寸的所述样本数据的相似度确定的损失函数进行训练，由此，利用训练后的美学特征提取模型提取与图像尺寸无关的美学特征，减少了失真度在美学特征提取过程中的影响，最终提高美学特征提取的性能。
2、本专利技术的实施例可以这样实现：
3、第一方面，本专利技术提供一种视频美学特征提取方法，所述方法包括：
4、获取原始视频帧；
5、利用美学特征提取模型提取所述原始视频帧的美学特征，其中，所述美学特征提取模型是基于多个样本数据及由所述多个样本数据的相似度确定的损失函数训练得到的，所述多个样本数据是按照多个预设尺寸对样本图像进行放缩后得到的，一个样本数据对
6、在可选的实施方式中，所述美学特征提取模型包括下采样层、特征提取层和特征融合层，所述利用美学特征提取模型提取所述原始视频的美学特征的步骤包括：
7、利用所述下采样层，按照所述多个预设尺寸分别对所述原始视频帧进行下采样，得到多个下采样视频帧；
8、利用所述特征提取层，对每一所述下采样视频帧进行美学特征提取，得到每一所述下采样视频帧的中间美学特征；
9、利用所述特征融合层对所有所述中间美学特征进行融合，得到所述美学特征。
10、在可选的实施方式中，所述利用所述特征融合层对所有所述中间美学特征进行融合，得到所述美学特征的步骤包括：
11、从所有所述中间美学特征中选择任意两个中间美学特征作为第一中间美学特征和第二中间美学特征；
12、将所述第一中间美学特征和所述第二中间美学特征进行融合，得到中间融合特征；
13、从未参与融合的所有中间美学特征中选择任意一个作为新的第一中间美学特征、以及将本次融合得到的所述中间融合特征作为新的第二中间美学特征，重复所述将所述第一中间美学特征和所述第二中间美学特征进行融合，得到中间融合特征的步骤，直至不存在未参与融合的所述中间美学特征，并将最后一次得到的中间融合特征作为所述美学特征。
14、在可选的实施方式中，所述将所述第一中间美学特征和所述第二中间美学特征进行融合，得到中间融合特征的步骤包括：
15、分别采用两个不同的卷积参数对所述第一中间美学特征进行卷积运算，得到第一卷积结果和第二卷积结果；
16、对所述第二中间美学特征进行卷积运算，得到第三卷积结果；
17、利用嵌入式高斯函数、所述第一卷积结果、所述第二卷积结果、所述第三卷积结果、第一预设全连接层及第二预设全连接层，对所述第一中间美学特征和所述第二中间美学特征进行融合，得到所述中间融合特征。
18、第二方面，本专利技术提供一种视频质量评估方法，所述方法包括：
19、获取待评估视频帧；
20、利用如前述实施方式中任一项所述的视频美学特征提取方法对所述待评估视频帧进行美学特征提取，得到所述待评估视频帧的美学特征；
21、对所述待评估视频帧进行视频特征提取，得到所述待评估视频帧的视频特征；
22、将所述待评估视频帧的美学特征和所述待评估视频帧的视频特征进行融合，得到所述待评估视频帧的融合特征；
23、根据所述待评估视频帧的融合特征，对所述待评估视频帧的质量进行评估。
24、在可选的实施方式中，所述对所述待评估视频帧进行视频特征提取，得到所述待评估视频帧的视频特征的步骤包括：
25、利用时序特征提取网络提取所述待评估视频帧的时序特征；
26、利用图像特征提取网络提取所述待评估视频帧的图像特征；
27、将所述时序特征和所述图像特征进行融合，得到所述视频特征。
28、在可选的实施方式中，所述图像特征提取网络包括m个处理模块、m-1个卷积模块和m个池化模块，前m-1个处理模块分别与1个卷积模块连接，m-1个卷积模块和第m个处理模块分别与1个池化模块连接，m个处理模块输出的特征图的大小各不相同，所述利用图像特征提取网络提取所述待评估视频帧的图像特征的步骤包括：
29、将所述待评估视频帧输入所述图像特征提取网络，利用每一所述处理模块提取特征图；
30、将前m-1个处理模块输出的特征图分别输入与其连接的卷积模块进行卷积运算，输出卷积结果；
31、对m-1个卷积模块输出的卷积结果和第m个处理模块输出的特征图分别输入与其连接的池化模块进行池化处理，得到池化结果；
32、将m个池化模块输出的池化结果进行融合，得到所述待评估视频帧的图像特征。
33、第三方面，本专利技术提供一种视频美学特征提取装置，所述装置包括：
34、第一获取模块，用于获取原始视频帧；
35、第一美学特征提取模块，用于利用美学特征提取模型提取所述原始视频帧的美学特征，其中，所述美学特征提取模型是基于多个样本数据及由所述多个样本数据的相似度确定的损失函数训练得到的，所述多个样本数据是按照多个预设尺寸对样本图像进行放缩后得到的，一个样本数据对应一个预设尺寸。
36、第四方面，本专利技术提供一种视频质量评估装置，所述装置包括：
37、第二获取模块，用于获取待评估视频帧；
38、第二美学特征提取模块，用于利用如前述实施方式中任一项所述的视频美学特征提取方法对所述待评估视频帧进行美学特征提取，得到所述待评估视频帧的美学特征；
39、视频特征提取模块，用于对所述待评估视频帧进行视频特征提取，得到所述待评估视频帧的视频特征；
40、融合模块，用于将所述待评估视频帧的美学特征和所述待评估视频帧的视频特征进行融合，得到所述待评估视频帧的融合特征；
41、评估模块，用于根据所述待评估视频帧的融合特征，对所述待评估视频帧的质量进行评估。
42、第五方面，本专利技术提供一种电子设备，包括处理器和存储器，所述存储器用于存储程序，所述处理器用于在执行所述程序时，实现如前述实施方式中任一项所述的视频美学特征提取方法，或者实现如前述实施方式中任一项所述的视频质量评估方法。
43、第六方面，本专利技术提供一种计算机可本文档来自技高网...
【技术保护点】
1.一种视频美学特征提取方法，其特征在于，所述方法包括：
2.如权利要求1所述的视频美学特征提取方法，其特征在于，所述美学特征提取模型包括下采样层、特征提取层和特征融合层，所述利用美学特征提取模型提取所述原始视频的美学特征的步骤包括：
3.如权利要求2所述的视频美学特征提取方法，其特征在于，所述利用所述特征融合层对所有所述中间美学特征进行融合，得到所述美学特征的步骤包括：
4.如权利要求3所述的视频美学特征提取方法，其特征在于，所述将所述第一中间美学特征和所述第二中间美学特征进行融合，得到中间融合特征的步骤包括：
5.一种视频质量评估方法，其特征在于，所述方法包括：
6.如权利要求5所述的视频质量评估方法，其特征在于，所述对所述待评估视频帧进行视频特征提取，得到所述待评估视频帧的视频特征的步骤包括：
7.如权利要求6所述的视频质量评估方法，其特征在于，所述图像特征提取网络包括M个处理模块、M-1个卷积模块和M个池化模块，前M-1个处理模块分别与1个卷积模块连接，M-1个卷积模块和第M个处理模块分别与1个池化模
8.一种视频美学特征提取装置，其特征在于，所述装置包括：
9.一种视频质量评估装置，其特征在于，所述装置包括：
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储程序，所述处理器用于在执行所述程序时，实现如权利要求1-4中任一项所述的视频美学特征提取方法，或者实现如权利要求5-7中任一项所述的视频质量评估方法。
11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的视频美学特征提取方法，或者实现如权利要求5-7中任一项所述的视频质量评估方法。
...【技术特征摘要】
1.一种视频美学特征提取方法，其特征在于，所述方法包括：
2.如权利要求1所述的视频美学特征提取方法，其特征在于，所述美学特征提取模型包括下采样层、特征提取层和特征融合层，所述利用美学特征提取模型提取所述原始视频的美学特征的步骤包括：
3.如权利要求2所述的视频美学特征提取方法，其特征在于，所述利用所述特征融合层对所有所述中间美学特征进行融合，得到所述美学特征的步骤包括：
4.如权利要求3所述的视频美学特征提取方法，其特征在于，所述将所述第一中间美学特征和所述第二中间美学特征进行融合，得到中间融合特征的步骤包括：
5.一种视频质量评估方法，其特征在于，所述方法包括：
6.如权利要求5所述的视频质量评估方法，其特征在于，所述对所述待评估视频帧进行视频特征提取，得到所述待评估视频帧的视频特征的步骤包括：
7.如权利要求6所述的视频质量评估方法，其特征在于，所述图像特征提...
【专利技术属性】
技术研发人员：吴锦泉，
申请(专利权)人：广州虎牙信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。