视频封面确定方法及装置、存储介质制造方法及图纸

本公开是关于一种视频封面确定方法及装置、存储介质。该方法包括：获取待处理视频中M个待处理图像帧；依次选取M个所述待处理图像帧中的一个所述待处理图像帧输入到剪裁评分网络，得到N个图像区域、N个所述图像区域对应的N个区域评估值以及被选取的所述待处理图像帧的整体评估值；其中，M和N为正整数；基于M个所述待处理图像帧的整体评估值，选择出目标帧；根据所述目标帧的N个区域评估值，确定出目标区域；将所述确定出的目标区域输出为所述待处理视频的封面图。本公开实施例能够提高剪裁评分网络的输出效率，节省了视频封面确定的消耗时间。

【技术实现步骤摘要】
视频封面确定方法及装置、存储介质
本公开涉及图像处理
，尤其涉及一种视频封面确定方法及装置、存储介质。
技术介绍
现有的视频资料，通常会选取一个图像作为视频的静态封面，以方便用户了解视频的内容。可以通过人为设置视频资料的封面，例如视频网站中的某部电影，采用一幅海报图或者电影内容中的某个画面作为电影的封面。此外，还可以通过一些技术手段将视频中的人物脸部图案作为视频资料的封面，例如在视频的首帧图像中通过人脸检测选取正脸和表情好的图像。然而，现有的图像选取方法选取精度较差，且选取时间较长。
技术实现思路
本公开提供一种视频封面确定方法及装置、存储介质。根据本公开实施例的第一方面，提供一种视频封面确定方法，包括：获取待处理视频中M个待处理图像帧；依次选取M个所述待处理图像帧中的一个所述待处理图像帧输入到剪裁评分网络，得到N个图像区域、N个所述图像区域对应的N个区域评估值以及被选取的所述待处理图像帧的整体评估值；其中，M和N为正整数；基于M个所述待处理图像帧的整体评估值，选择出目标帧；根据所述目标帧的N个区域评估值，确定出目标区域；将所述确定出的目标区域输出为所述待处理视频的封面图。在一些实施例中，所述基于M个所述待处理图像帧的整体评估值，选择出目标帧，包括：从M个所述待处理图像帧中，选择整体评估值最高的待处理图像帧，作为所述目标帧。在一些实施例中，所述根据所述目标帧的N个区域评估值，确定出目标区域，包括：从所述目标帧的N个图像区域中，选择区域评估值最高的图像区域，作为所述目标区域。在一些实施例中，所述方法还包括：对一个图像帧样本进行剪裁，得到N个图像区域样本；将N个所述图像区域样本和一个所述图像帧样本，输入到第一网络，得到N+1个第一样本结果标签；所述N+1个所述第一样本结果标签包括：N个第一区域样本评估值和一个所述图像帧样本的第一整体样本评估值；以所述第一样本结果标签为目标，训练所述第二网络，得到所述剪裁评分网络；其中，所述第一网络的结构复杂度，大于所述第二网络的结构复杂度。在一些实施例中，所述以所述第一样本结果标签为目标，训练第二网络，得到所述剪裁评分网络，包括：将一个所述图像帧输入所述第二网络，得到N+1个第二样本结果标签，所述N+1个第二样本结果标签包括：N个第二区域样本评估值和一个所述图像帧样本的第二整体样本评估值；基于所述第一样本结果标签和所述第二样本结果标签，确定损失函数；基于所述损失函数调整第二网络，得到所述剪裁评分网络。在一些实施例中，所述方法还包括：获取训练样本；其中，一个所述训练样本中包含有第一训练图像样本和第二训练图像样本；将所述第一训练图像样本，输入第一子网络，得到针对所述第一子网络的预测值；将所述第二训练图像样本，输入第二子网络，得到针对所述第二子网络的预测值；其中，所述第一子网络和所述第二子网络，为双生神经网络中的两个相同网络，所述第二训练图像样本的标签值高于所述第一训练图像样本的标签值；将所述第一子网络的预测值、所述第二子网络的预设值、所述第一训练图像样本的标签值与所述第二训练图像样本的标签值之间的样本差值，得到第二损失值；若所述损失值在预设阈值范围内，将所述损失值在预设范围内时对应的所述第一子网络或所述第二子网络，作为所述第一网络；若所述第二损失值不在所述预设阈值内，继续训练所述第一子网络和第二子网络。在一些实施例中，所述训练样本包括：整体图像样本和区域图像样本；一个所述整体图像样本由两个整体训练图像构成，且两个所述整体训练图像的整体标签值不同，且所述整体标签值按照预设规则排列；一个所述区域图像样本由两个区域训练图像构成，且两个所述区域训练图像的区域标签值不同，且所述区域标签值按照所述预设规则排列。根据本公开实施例的第二方面，提供一种视频封面确定装置，所述装置包括：图像帧获取模块，配置为获取待处理视频中M个待处理图像帧；剪裁评分模块，配置为依次选取M个所述待处理图像帧中的一个所述待处理图像帧输入到剪裁评分网络，得到N个图像区域、N个所述图像区域对应的N个区域评估值以及被选取的所述待处理图像帧的整体评估值；其中，M和N为正整数；第一选择模块，配置为基于M个所述待处理图像帧的整体评估值，选择出目标帧；第二选择模块，配置为根据所述目标帧的N个区域评估值，确定出目标区域；输出模块，配置为将所述确定出的目标区域输出为所述待处理视频的封面图。在一些实施例中，所述第一选择模块1003，还配置为从M个所述待处理图像帧中，选择整体评估值最高的待处理图像帧，作为所述目标帧。在一些实施例中，所述第二选择模块1004，还配置为从所述目标帧的N个图像区域中选择区域评估值最高的图像区域，作为所述目标区域。在一些实施例中，所述装置还包括：剪裁模块，配置为对一个图像帧样本进行剪裁，得到N个图像区域样本；输入模块，配置为将N个所述图像区域样本和一个所述图像帧样本，输入到第一网络，得到N+1个第一样本结果标签；所述N+1个所述第一样本结果标签包括：N个第一区域样本评估值和一个所述图像帧样本的第一整体样本评估值；训练模块，配置为以所述第一样本结果标签为目标，训练所述第二网络，得到所述剪裁评分网络；其中，所述第一网络的结构复杂度，大于所述第二网络的结构复杂度。在一些实施例中，所述训练模块，还配置为将一个所述图像帧输入所述第二网络，得到N+1个第二样本结果标签，所述N+1个第二样本结果标签包括：N个第二区域样本评估值和一个所述图像帧样本的第二整体样本评估值；基于所述第一样本结果标签和所述第二样本结果标签，确定损失函数；基于所述损失函数调整第二网络，得到所述剪裁评分网络。在一些实施例中，所述装置还包括：网络获取模块，配置为获取训练样本；其中，一个所述训练样本中包含有第一训练图像样本和第二训练图像样本；将所述第一训练图像样本，输入第一子网络，得到针对所述第一子网络的预测值；将所述第二训练图像样本，输入第二子网络，得到针对所述第二子网络的预测值；其中，所述第一子网络和所述第二子网络，为双生神经网络中的两个相同网络，所述第二训练图像样本的标签值高于所述第一训练图像样本的标签值；将所述第一子网络的预测值、所述第二子网络的预设值、所述第一训练图像样本的标签值与所述第二训练图像样本的标签值之间的样本差值，得到损失值；若所述损失值在预设阈值范围内，将所述损失值在预设范围内时对应的所述第一子网络或所述第二子网络，作为所述第一网络；若所述损失值不在所述预设阈值内，继续训练所述第一子网络和所述第二子网络。在一些实施例中，所述训练样本包括：整体图像样本和区域图像样本；一个所述整体图像样本由两个整体训练图像构成，且两个所述整体训练图像的整体标签值不同，且所述整体标签值按照预设规则排列；一个所述区本文档来自技高网...

【技术保护点】
1.一种视频封面确定方法，其特征在于，所述方法包括：/n获取待处理视频中M个待处理图像帧；/n依次选取M个所述待处理图像帧中的一个所述待处理图像帧输入到剪裁评分网络，得到N个图像区域、N个所述图像区域对应的N个区域评估值以及被选取的所述待处理图像帧的整体评估值；其中，M和N为正整数；/n基于M个所述待处理图像帧的整体评估值，选择出目标帧；/n根据所述目标帧的N个区域评估值，确定出目标区域；/n将所述确定出的目标区域输出为所述待处理视频的封面图。/n

【技术特征摘要】
1.一种视频封面确定方法，其特征在于，所述方法包括：
获取待处理视频中M个待处理图像帧；
依次选取M个所述待处理图像帧中的一个所述待处理图像帧输入到剪裁评分网络，得到N个图像区域、N个所述图像区域对应的N个区域评估值以及被选取的所述待处理图像帧的整体评估值；其中，M和N为正整数；
基于M个所述待处理图像帧的整体评估值，选择出目标帧；
根据所述目标帧的N个区域评估值，确定出目标区域；
将所述确定出的目标区域输出为所述待处理视频的封面图。


2.根据权利要求1所述的方法，其特征在于，所述基于M个所述待处理图像帧的整体评估值，选择出目标帧，包括：
从M个所述待处理图像帧中，选择整体评估值最高的待处理图像帧，作为所述目标帧。


3.根据权利要求1所述的方法，其特征在于，所述根据所述目标帧的N个区域评估值，确定出目标区域，包括：
从所述目标帧的N个图像区域中选择区域评估值最高的图像区域，作为所述目标区域。


4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
对一个图像帧样本进行剪裁，得到N个图像区域样本；
将N个所述图像区域样本和一个所述图像帧样本，输入到第一网络，得到N+1个第一样本结果标签；所述N+1个所述第一样本结果标签包括：N个第一区域样本评估值和一个所述图像帧样本的第一整体样本评估值；
以所述第一样本结果标签为目标，训练第二网络，得到所述剪裁评分网络；
其中，所述第一网络的结构复杂度，大于所述第二网络的结构复杂度。


5.根据权利要求4所述的方法，其特征在于，所述以所述第一样本结果标签为目标，所述第二网络，得到所述剪裁评分网络，包括：
将一个所述图像帧输入所述第二网络，得到N+1个第二样本结果标签，所述N+1个第二样本结果标签包括：N个第二区域样本评估值和一个所述图像帧样本的第二整体样本评估值；
基于所述第一样本结果标签和所述第二样本结果标签，确定损失函数；
基于所述损失函数调整所述第二网络，得到所述剪裁评分网络。


6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取训练样本；其中，一个所述训练样本中包含有第一训练图像样本和第二训练图像样本；
将所述第一训练图像样本，输入第一子网络，得到针对所述第一子网络的预测值；
将所述第二训练图像样本，输入第二子网络，得到针对所述第二子网络的预测值；其中，所述第一子网络和所述第二子网络，为双生神经网络中的两个相同网络，所述第二训练图像样本的标签值高于所述第一训练图像样本的标签值；
基于所述第一子网络的预测值、所述第二子网络的预测值、所述第一训练图像样本的标签值与所述第二训练图像样本的标签值之间的样本差值，得到损失值；
若所述损失值在预设阈值范围内，将所述损失值在预设范围内时对应的所述第一子网络或所述第二子网络，作为所述第一网络；
若所述损失值不在所述预设阈值范围内，继续训练所述第一子网络和所述第二子网络。


7.根据权利要求6所述的方法，其特征在于，所述训练样本包括：整体图像样本和区域图像样本；
一个所述整体图像样本由两个整体训练图像构成，且两个所述整体训练图像的整体标签值不同，且所述整体标签值按照预设规则排列；
一个所述区域图像样本由两个区域训练图像构成，且两个所述区域训练图像的区域标签值不同，且所述区域标签值按照所述预设规则排列。


8.一种视频封面确定装置，其特征在于，所述装置包括：
图像帧获取模块，配置为获取待处理视频中M个待处理图像帧；
剪裁评分模块，配置为依次选取M个所述待处理图像帧中的一个所述待处理图像帧输入到剪裁...

【专利技术属性】
技术研发人员：王飞，胡佳高，余鹏飞，周代国，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：北京;11