话题标签推荐方法、装置、设备及存储介质制造方法及图纸

本公开关于一种话题标签推荐方法、装置、设备及存储介质，属于多媒体技术领域。本公开的实施例提供了一种基于视频在多个模态的特征来推荐话题标签的方法，通过视频中的图像以及视频生产者的用户特征，由机器自动化地生成话题标签，将话题标签推荐给用户。由于推荐的话题标签既与视频的内容匹配，又体现了视频生产者自身的信息，因此充分保证了话题标签与视频之间的匹配度，从而提高了话题标签的精确性，使得推荐的话题标签更加贴近用户意图。

【技术实现步骤摘要】
话题标签推荐方法、装置、设备及存储介质
本公开涉及多媒体
，尤其涉及一种话题标签推荐方法、装置、设备及存储介质。
技术介绍
视频的话题标签(Hashtag)是用户在视频生产环节，在描述视频内容时打上的带“#”的文字信息。话题标签对于视频的内容识别、聚合、分发、推荐都发挥着重要的作用。相关技术添加话题标签的过程包括：当用户拍摄视频后，点击发布页面中的话题选项。视频客户端会显示搜索框。用户想好与视频匹配的话题标签后，在搜索框中执行输入操作，输入想要添加的话题标签，再对输入的话题标签执行确认操作，从而在发布视频时添加输入的话题标签。采用上述方式时，需要用户人工确定与视频匹配的话题标签，然而人工确定话题标签存在主观性，难以保证确定出的话题标签与视频之间的匹配性，导致话题标签的精确性差，进而影响了根据视频标签对视频进行内容识别、分发、推荐等过程的准确性。
技术实现思路
本公开提供一种话题标签推荐方法、装置、设备及存储介质，能够提高话题标签的精确性。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种话题标签推荐方法，包括:获取视频；从所述视频中提取至少一帧图像；根据上传所述视频的用户账号，获取所述用户账号对应的用户特征；根据所述至少一帧图像以及所述用户特征，生成与所述视频匹配的话题标签；向所述用户账号推荐所述话题标签。可选地，所述根据所述至少一帧图像以及所述用户特征，生成与所述视频匹配的话题标签，包括：对所述至少一帧图像分别进行特征提取，得到每帧图像的图像特征；对所述至少一帧图像的图像特征与所述用户特征进行融合，得到融合特征；根据所述融合特征，确定多个候选标签的概率；根据每个候选标签的概率，在所述多个候选标签中确定所述话题标签。可选地，所述对所述至少一帧图像的图像特征与所述用户特征进行融合，得到融合特征，包括：通过多头注意力网络，对所述至少一帧图像的图像特征与所述用户特征分别进行自注意力运算，得到所述融合特征。可选地，所述对所述至少一帧图像分别进行特征提取，得到每帧图像的图像特征，包括：通过至少一个分类网络，并行对所述至少一帧图像卷积处理，输出每帧图像的图像特征。可选地，所述根据上传所述视频的用户账号，获取所述用户账号对应的用户特征，包括：获取所述用户账号对应的用户属性；对所述用户属性进行线性映射以及非线性映射，得到所述用户特征。可选地，所述根据上传所述视频的用户账号，获取所述用户账号对应的用户特征，包括：获取所述用户账号对应的历史行为数据；对所述历史行为数据进行线性映射以及非线性映射，得到所述用户特征。可选地，所述获取视频之后，所述方法还包括：获取所述视频对应的地理位置信息；所述根据所述至少一帧图像以及所述用户特征，生成与所述视频匹配的话题标签，包括：根据所述至少一帧图像、所述用户特征以及所述地理位置信息，生成与所述视频匹配的话题标签。可选地，所述获取视频之后，所述方法还包括：获取所述视频对应的时间信息；所述根据所述至少一帧图像以及所述用户特征，生成与所述视频匹配的话题标签，包括：根据所述至少一帧图像、所述用户特征以及所述时间信息，生成与所述视频匹配的话题标签。根据本公开实施例的第二方面，提供一种话题标签推荐装置，包括：第一获取单元，被配置为执行获取视频；提取单元，被配置为执行从所述视频中提取至少一帧图像；第二获取单元，被配置为执行根据上传所述视频的用户账号，获取所述用户账号对应的用户特征；生成单元，被配置为执行根据所述至少一帧图像以及所述用户特征，生成与所述视频匹配的话题标签；推荐单元，被配置为执行向所述用户账号推荐所述话题标签。可选地，所述生成单元，被配置为执行对所述至少一帧图像分别进行特征提取，得到每帧图像的图像特征；对所述至少一帧图像的图像特征与所述用户特征进行融合，得到融合特征；根据所述融合特征，确定多个候选标签的概率；根据每个候选标签的概率，在所述多个候选标签中确定所述话题标签。可选地，所述生成单元，被配置为执行通过多头注意力网络，对所述至少一帧图像的图像特征与所述用户特征分别进行自注意力运算，得到所述融合特征。可选地，所述生成单元，被配置为执行通过至少一个分类网络，并行对所述至少一帧图像卷积处理，输出每帧图像的图像特征。可选地，所述第二获取单元，被配置为执行获取所述用户账号对应的用户属性；对所述用户属性进行线性映射以及非线性映射，得到所述用户特征。可选地，所述第二获取单元，被配置为执行获取所述用户账号对应的历史行为数据；对所述历史行为数据进行线性映射以及非线性映射，得到所述用户特征。可选地，所述装置还包括：第三获取单元，被配置为执行获取所述视频对应的地理位置信息；所述生成单元，被配置为执行根据所述至少一帧图像、所述用户特征以及所述地理位置信息，生成与所述视频匹配的话题标签。可选地，所述装置还包括：第四获取单元，被配置为执行获取所述视频对应的时间信息；所述生成单元，被配置为执行根据所述至少一帧图像、所述用户特征以及所述时间信息，生成与所述视频匹配的话题标签。根据本公开实施例的第三方面，提供一种电子设备，包括：一个或多个处理器；用于存储所述处理器可执行程序代码的一个或多个存储器；其中，所述一个或多个处理器被配置为执行所述程序代码，以实现上述话题标签推荐方法。根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的程序代码由电子设备的处理器执行时，使得所述电子设备能够执行上述话题标签推荐方法。根据本公开实施例的第五方面，提供一种计算机程序产品，包括一条或多条程序代码，所述一条或多条程序代码由电子设备的处理器执行时，使得所述电子设备能够执行上述话题标签推荐方法。本公开的实施例提供的技术方案至少带来以下有益效果：本公开的实施例提供了一种基于视频在多个模态的特征来推荐话题标签的方法，通过视频中的图像以及视频生产者的用户特征，由机器自动化地生成话题标签，将话题标签推荐给用户。一方面，由于生成话题标签时利用了视频在图像模态的特征，使得机器依据图像模态的特征能够从视觉的角度理解视频的内容，从而保证话题标签与视频的内容匹配。另一方面，由于生成话题标签时利用了视频在用户模态的特征，使得机器能够依据用户模态的特征学习到视频生产者自身的信息，从而保证话题标签体现视频生产者自身的信息。由于推荐的话题标签既与视频的内容匹配，又体现了视频生产者自身的信息，因此充分保证了话题标签与视频之间的匹配度，从而提高了话题标签的精确性，使得推荐的话题标签更加贴近用户意图，进而有助于提高根据视频标签对视频进行内容识别、视频分发、视频推荐等过程的准确性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。...

【技术保护点】
1.一种话题标签推荐方法，其特征在于，所述方法包括：/n获取视频；/n从所述视频中提取至少一帧图像；/n根据上传所述视频的用户账号，获取所述用户账号对应的用户特征；/n根据所述至少一帧图像以及所述用户特征，生成与所述视频匹配的话题标签；/n向所述用户账号推荐所述话题标签。/n

【技术特征摘要】
1.一种话题标签推荐方法，其特征在于，所述方法包括：
获取视频；
从所述视频中提取至少一帧图像；
根据上传所述视频的用户账号，获取所述用户账号对应的用户特征；
根据所述至少一帧图像以及所述用户特征，生成与所述视频匹配的话题标签；
向所述用户账号推荐所述话题标签。


2.根据权利要求1所述的话题标签推荐方法，其特征在于，所述根据所述至少一帧图像以及所述用户特征，生成与所述视频匹配的话题标签，包括：
对所述至少一帧图像分别进行特征提取，得到每帧图像的图像特征；
对所述至少一帧图像的图像特征与所述用户特征进行融合，得到融合特征；
根据所述融合特征，确定多个候选标签的概率；
根据每个候选标签的概率，在所述多个候选标签中确定所述话题标签。


3.根据权利要求2所述的话题标签推荐方法，其特征在于，所述对所述至少一帧图像的图像特征与所述用户特征进行融合，得到融合特征，包括：
通过多头注意力网络，对所述至少一帧图像的图像特征与所述用户特征分别进行自注意力运算，得到所述融合特征。


4.根据权利要求1所述的话题标签推荐方法，其特征在于，所述获取视频之后，所述方法还包括：获取所述视频对应的地理位置信息；
所述根据所述至少一帧图像以及所述用户特征，生成与所述视频匹配的话题标签，包括：根据所述至少一帧图像、所述用户特征以及所述地理位置信息，生成与所述视频匹配的话题标签。


5.根据权利要求1所述的话题标签推荐方法，其特征在于，所述获取视频之后，所述方法还包括：获取所述视频对应的时间信息；
所述根据所述至少一帧图像以及所述用户特征，生成与所述视频匹配的话题...

【专利技术属性】
技术研发人员：吴翔宇，杨帆，王思博，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11