一种创可贴广告点位选取方法及装置制造方法及图纸

本发明专利技术实施例提供了一种创可贴广告点位选取方法及装置，应用于多媒体技术领域，所述方法包括：提取待检测视频的第一帧序列中人物的VGG特征，根据所述VGG特征，确定所述第一帧序列中第一人物的第二帧序列；通过情绪识别模型识别所述第二帧序列中所述第一人物的情绪类型，根据每一种情绪类型的情绪参数，确定所述每一种情绪类型的得分值；当所述得分值中的最大值大于第一预设阈值时，确定所述最大值对应的情绪类型为目标情绪类型，选取所述目标情绪类型对应的时间点为创可贴广告点位。与现有的人工选取创可贴广告点位的方法相比，本发明专利技术实施例提高了创可贴广告点位选取的效率。

【技术实现步骤摘要】
一种创可贴广告点位选取方法及装置
本专利技术涉及多媒体
，特别是涉及一种创可贴广告点位选取方法及装置。
技术介绍
随着移动营销时代的到来，近年来发展起来一种创新的广告形式，即创可贴广告，所谓创可贴广告，就是“视频情境内创意贴入式广告”。即，在剧情发展过程中，在不经意间从屏幕中跳出来一小句话，做成剧情弹幕，既带动情节发展，又用击中人心的网络语言，给观众制造了或有趣、或吐槽的感觉。创可贴广告在剧情中恰如其分的加入品牌的内容，好看、又不违和，把广告与内容充分融合在一起。创可贴广告由于与影视剧情节的密切相关，更能被观众所接受。目前创可贴广告采用人工选取点位的方式，即，人工选取视频中某种情绪类型的点位，例如，选取视频中情绪类型为高兴的点位，并在该点位插入与高兴符合的创可贴广告。该方式可以准确找出影视剧作品中适合投放广告的片段。由于是人工选取，所以创可贴广告点位选取的效率非常低。
技术实现思路
本专利技术实施例的目的在于提供一种创可贴广告点位选取方法及装置，以提高创可贴广告点位选取的效率。具体技术方案如下：本专利技术实施例公开了一种创可贴广告点位选取方法，包括：提取待检测视频的第一帧序列中人物的VGG特征，根据所述VGG特征，确定所述第一帧序列中第一人物的第二帧序列；通过情绪识别模型识别所述第二帧序列中所述第一人物的情绪类型，根据每一种情绪类型的情绪参数，确定所述每一种情绪类型的得分值；当所述得分值中的最大值大于第一预设阈值时，确定所述最大值对应的情绪类型为目标情绪类型，选取所述目标情绪类型对应的时间点为创可贴广告点位。可选的，位于所述提取待检测视频的第一帧序列中人物的VGG特征之前，所述方法还包括：获取所述待检测视频的帧序列，对所述帧序列进行预处理，得到所述第一帧序列。可选的，位于所述提取待检测视频的第一帧序列中人物的VGG特征之前，所述方法还包括：通过卷积神经网络对FER2013数据库中的具有基本表情的人脸图像进行训练，建立所述情绪识别模型。可选的，所述提取待检测视频的第一帧序列中人物的VGG特征的步骤，包括：通过所述情绪识别模型提取所述第一帧序列中人物的VGG特征。可选的，所述对所述帧序列进行预处理，得到所述第一帧序列的步骤，包括：对所述帧序列中每一帧图片的人脸关键点进行校准，得到所述第一帧序列。可选的，所述根据所述VGG特征，确定所述第一帧序列中第一人物的第二帧序列的步骤，包括：若所述第一帧序列为N帧，且所述第一帧序列中第一人物出现的帧为第M帧时，将所述第M帧设置为基准帧，将第M帧标识为第一起始帧，其中，M和N为大于0的整数；当判断第M+1帧与所述基准帧包含同一人物时，将所述基准帧更新为所述第M+1帧；将M值加1，得到增加后的M；当所述增加后的M小于N时，返回所述当判断第M+1帧与所述基准帧包含同一人物时的步骤，直至所述第M+1帧与所述基准帧的时间差大于预设时间阈值，将所述基准帧标识为第一终止帧，并将所述第一起始帧和所述第一终止帧对应的帧序列，确定为所述第二帧序列。可选的，所述判断第M+1帧与所述基准帧包含同一人物的步骤，包括：计算所述第M+1帧的VGG特征与所述基准帧的VGG特征的距离；当判断所述距离大于或等于第二预设阈值时，确定所述第M+1帧与所述基准帧包含同一人。可选的，所述根据每一种情绪类型的情绪参数，确定所述每一种情绪类型的得分值的步骤，包括：所述情绪参数包括：情绪类型的置信度的平均值、情绪类型出现的次数和情绪类型所占比例，根据公式：Score＝avg×weight×sigmoid(count/5)，确定每一种情绪类型的得分值，其中，Score为情绪类型的得分值，avg为情绪类型的置信度的平均值，count为情绪类型出现的次数，weight为情绪类型所占比例。本专利技术实施例还公开了一种创可贴广告点位选取装置，包括：帧序列确定模块，用于提取待检测视频的第一帧序列中人物的VGG特征，根据所述VGG特征，确定所述第一帧序列中第一人物的第二帧序列；分值确定模块，用于通过情绪识别模型识别所述第二帧序列中所述第一人物的情绪类型，根据每一种情绪类型的情绪参数，确定所述每一种情绪类型的得分值；点位确定模块，用于当所述得分值中的最大值大于第一预设阈值时，确定所述最大值对应的情绪类型为目标情绪类型，选取所述目标情绪类型对应的时间点为创可贴广告点位。可选的，本专利技术实施例的创可贴广告点位选取装置，还包括：预处理模块，用于获取所述待检测视频的帧序列，对所述帧序列进行预处理，得到所述第一帧序列。可选的，本专利技术实施例的创可贴广告点位选取装置，还包括：情绪识别模型建立模块，用于通过卷积神经网络对FER2013数据库中的具有基本表情的人脸图像进行训练，建立所述情绪识别模型。可选的，所述帧序列确定模块，包括：VGG特征提取子模块，用于通过所述情绪识别模型提取所述第一帧序列中人物的VGG特征。可选的，所述预处理模块具体用于，对所述帧序列中每一帧图片的人脸关键点进行校准，得到所述第一帧序列。可选的，所述帧序列确定模块，包括：起始帧确定子模块，用于若所述第一帧序列为N帧，且所述第一帧序列中第一人物出现的帧为第M帧时，将所述第M帧设置为基准帧，将第M帧标识为第一起始帧，其中，M和N为大于0的整数；中间值更新子模块，用于当判断第M+1帧与所述基准帧包含同一人物时，将所述基准帧更新为所述第M+1帧；将M值加1，得到增加后的M；终止帧确定子模块，用于当所述增加后的M小于N时，返回所述当判断第M+1帧与所述基准帧包含同一人物时的步骤，直至所述第M+1帧与所述基准帧的时间差大于预设时间阈值，将所述基准帧标识为第一终止帧，并将所述第一起始帧和所述第一终止帧对应的帧序列，确定为所述第二帧序列。可选的，所述中间值更新子模块包括：距离计算单元，用于计算所述第M+1帧的VGG特征与所述基准帧的VGG特征的距离；同一人确定单元，用于当判断所述距离大于或等于第二预设阈值时，确定所述第M+1帧与所述基准帧包含同一人。可选的，所述分值确定模块具体用于，根据公式：Score＝avg×weight×sigmoid(count/5)，确定每一种情绪类型的得分值，其中，所述情绪参数包括：情绪类型的置信度的平均值、情绪类型出现的次数和情绪类型所占比例，Score为情绪类型的得分值，avg为情绪类型的置信度的平均值，count为情绪类型出现的次数，weight为情绪类型所占比例。本专利技术实施例提供的创可贴广告点位选取方法及装置，通过提取待检测视频的第一帧序列中人物的VGG特征，根据VGG特征，确定第一帧序列中第一人物的第二帧序列；通过情绪识别模型识别第二帧序列中第一人物的情绪类型，根据每一种情绪类型的情绪参数确定每一种情绪类型的得分值；若得分值中的最大值大于第一预设阈值，确定最大值对应的情绪类型为目标情绪类型，选取目标情绪类型对应的时间点为创可贴广告点位。本专利技术可自动选取创可贴广告点位，与现有技术中的人工选取方法相比，大大提高了选取的效率。当然，实施本专利技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施本文档来自技高网...

【技术保护点】
一种创可贴广告点位选取方法，其特征在于，包括：提取待检测视频的第一帧序列中人物的VGG特征，根据所述VGG特征，确定所述第一帧序列中第一人物的第二帧序列；通过情绪识别模型识别所述第二帧序列中所述第一人物的情绪类型，根据每一种情绪类型的情绪参数，确定所述每一种情绪类型的得分值；当所述得分值中的最大值大于第一预设阈值时，确定所述最大值对应的情绪类型为目标情绪类型，选取所述目标情绪类型对应的时间点为创可贴广告点位。

【技术特征摘要】
1.一种创可贴广告点位选取方法，其特征在于，包括：提取待检测视频的第一帧序列中人物的VGG特征，根据所述VGG特征，确定所述第一帧序列中第一人物的第二帧序列；通过情绪识别模型识别所述第二帧序列中所述第一人物的情绪类型，根据每一种情绪类型的情绪参数，确定所述每一种情绪类型的得分值；当所述得分值中的最大值大于第一预设阈值时，确定所述最大值对应的情绪类型为目标情绪类型，选取所述目标情绪类型对应的时间点为创可贴广告点位。2.根据权利要求1所述的创可贴广告点位选取方法，其特征在于，位于所述提取待检测视频的第一帧序列中人物的VGG特征之前，所述方法还包括：获取所述待检测视频的帧序列，对所述帧序列进行预处理，得到所述第一帧序列。3.根据权利要求1所述的创可贴广告点位选取方法，其特征在于，位于所述提取待检测视频的第一帧序列中人物的VGG特征之前，所述方法还包括：通过卷积神经网络对FER2013数据库中的具有基本表情的人脸图像进行训练，建立所述情绪识别模型。4.根据权利要求3所述的创可贴广告点位选取方法，其特征在于，所述提取待检测视频的第一帧序列中人物的VGG特征的步骤，包括：通过所述情绪识别模型提取所述第一帧序列中人物的VGG特征。5.根据权利要求2所述的创可贴广告点位选取方法，其特征在于，所述对所述帧序列进行预处理，得到所述第一帧序列的步骤，包括：对所述帧序列中每一帧图片的人脸关键点进行校准，得到所述第一帧序列。6.根据权利要求1所述的创可贴广告点位选取方法，其特征在于，所述根据所述VGG特征，确定所述第一帧序列中第一人物的第二帧序列的步骤，包括：若所述第一帧序列为N帧，且所述第一帧序列中第一人物出现的帧为第M帧时，将所述第M帧设置为基准帧，将第M帧标识为第一起始帧，其中，M和N为大于0的整数；当判断第M+1帧与所述基准帧包含同一人物时，将所述基准帧更新为所述第M+1帧；将M值加1，得到增加后的M；当所述增加后的M小于N时，返回所述当判断第M+1帧与所述基准帧包含同一人物时的步骤，直至所述第M+1帧与所述基准帧的时间差大于预设时间阈值，将所述基准帧标识为第一终止帧，并将所述第一起始帧和所述第一终止帧对应的帧序列，确定为所述第二帧序列。7.根据权利要求6所述的创可贴广告点位选取方法，其特征在于，所述判断第M+1帧与所述基准帧包含同一人物的步骤包括：计算所述第M+1帧的VGG特征与所述基准帧的VGG特征的距离；当判断所述距离大于或等于第二预设阈值时，确定所述第M+1帧与所述基准帧包含同一人。8.根据权利要求1所述的创可贴广告点位选取方法，其特征在于，所述根据每一种情绪类型的情绪参数，确定所述每一种情绪类型的得分值的步骤，包括：所述情绪参数包括：情绪类型的置信度的平均值、情绪类型出现的次数和情绪类型所占比例，根据公式：Score＝avg×weight×sigmoid(count/5)，确定每一种情绪类型的得分值，其中，Score为情绪类型的得分值，avg为情绪类型的置信度的平均值，count为情绪类型...

【专利技术属性】
技术研发人员：范音，路香菊，李典，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11