用户兴趣识别方法、装置、设备及计算机可读存储介质制造方法及图纸

本申请提供了一种针对视频的用户兴趣识别方法、装置、设备及计算机可读存储介质；该方法包括：接收针对目标对象的视频识别指令，响应于视频识别指令，获取待识别视频，以及待识别视频对应的待识别文字信息；对待识别视频进行图像特征抽取，得到图像特征，并对待识别文字信息进行文字特征抽取，得到文字特征；从图像特征和所述文字特征中，挖掘出交互特征；交互特征表征了待识别视频的图像内容和待识别文字信息之间的联系；基于图像特征、文字特征和交互特征，确定出目标对象对待识别视频的兴趣信息。通过本申请，能够通过人工智能技术提高针对视频的用户兴趣识别的准确度。高针对视频的用户兴趣识别的准确度。高针对视频的用户兴趣识别的准确度。

【技术实现步骤摘要】
用户兴趣识别方法、装置、设备及计算机可读存储介质


[0001]本申请涉及人工智能技术，尤其涉及一种用户兴趣识别方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]用户对于不同类型的视频，感兴趣的情况也是不同的，利用用户对视频的兴趣情况，可以更精准地为用户推荐视频。对视频进行兴趣识别，就是为了识别出用户是否喜欢视频，是否对视频感兴趣。
[0003]相关技术中，大多是借助于人工智能技术，利用视频的标题、字幕等文本信息，或者是视频的封面等图像信息，来进行视频的兴趣识别，也即，视频的兴趣识别是依据视频的单模态信息判断出的，从而使得视频的兴趣识别的判断模态单一，最终使得针对视频的用户兴趣识别的准确度较低。

技术实现思路

[0004]本申请实施例提供一种针对视频的用户兴趣识别方法、装置、设备及计算机可读存储介质，能够提高针对视频的用户兴趣识别的准确度。
[0005]本申请实施例的技术方案是这样实现的：
[0006]本申请实施例提供一种针对视频的用户兴趣识别方法，包括：
[0007]接收针对目标对象的视频识别指令，响应于所述视频识别指令，获取待识别视频，以及所述待识别视频对应的待识别文字信息；
[0008]对所述待识别视频进行图像特征抽取，得到图像特征，并对所述待识别文字信息进行文字特征抽取，得到文字特征；
[0009]从所述图像特征和所述文字特征中，挖掘出交互特征；所述交互特征表征了所述待识别视频的图像内容和所述待识别文字信息之间的联系；
[0010]基于所述图像特征、所述文字特征和所述交互特征，确定出所述目标对象对所述待识别视频的兴趣信息。
[0011]在本申请的一些实施例中，所述对所述拼接后的特征进行兴趣预测，得到所述目标对象对所述待识别视频的所述兴趣信息，包括：
[0012]对所述拼接后的特征进行非线性变换，得到非线性变换结果；
[0013]对所述非线性变换结果进行预测，得到所述目标对象对所述待识别视频的所述兴趣信息。
[0014]本申请实施例提供一种用户兴趣识别装置，包括：
[0015]信息获取模块，用于接收针对目标对象的视频识别指令，响应于所述视频识别指令，获取待识别视频，以及所述待识别视频对应的待识别文字信息；
[0016]特征抽取模块，用于对所述待识别视频进行图像特征抽取，得到图像特征，并对所述待识别文字信息进行文字特征抽取，得到文字特征；
[0017]交互挖掘模块，用于从所述图像特征和所述文字特征中，挖掘出交互特征；所述交互特征表征了所述待识别视频的图像内容和所述待识别文字信息之间的联系；
[0018]兴趣确定模块，用于基于所述图像特征、所述文字特征和所述交互特征，确定出所述目标对象对所述待识别视频的兴趣信息。
[0019]在本申请的一些实施例中，所述图像特征包括至少一个图像子特征，所述文字特征包括至少一个文字子特征；
[0020]所述交互挖掘模块，还用于利用所述至少一个图像子特征构造出图像矩阵图，以及利用所述至少一个文字子特征构造出文字矩阵图；将所述图像矩阵图和所述文字矩阵图进行融合，得到交互矩阵图；利用交互挖掘模型，对所述交互矩阵图进行特征提取，得到所述交互特征。
[0021]在本申请的一些实施例中，所述交互挖掘模块，还用于将所述至少一个图像子特征中的每个图像子特征进行向量化，得到所述每个图像子特征对应的第一矩阵行向量；按照所述至少一个图像子特征中的各个图像子特征的顺序，将所述每个图像子特征对应的第一矩阵行向量进行排列，得到所述图像矩阵图。
[0022]在本申请的一些实施例中，所述交互挖掘模块，还用于对所述至少一个文字子特征中的每个文字子特征进行向量化，得到所述每个文字子特征对应的第二矩阵行向量；依据所述至少一个文字子特征中的各个文字子特征的顺序，将所述每个文字子特征对应的第二矩阵行向量进行排列，得到所述文字矩阵图。
[0023]在本申请的一些实施例中，所述图像特征包括至少一个图像子特征，所述文字特征包括至少一个文字子特征；
[0024]所述交互挖掘模块，还用于利用所述至少一个图像子特征构造出图像向量，以及利用所述至少一个文字子特征构造出文字向量；将所述图像向量和所述文字向量进行融合，得到交互特征向量；利用交互挖掘模型，对所述交互特征向量进行特征提取，得到所述交互特征。
[0025]在本申请的一些实施例中，所述兴趣确定模块，还用于将所述交互特征、所述图像特征和所述文字特征进行拼接，得到拼接后的特征；其中，所述图像特征描述了所述待识别视频的场景和对象；所述文字特征描述了所述待识别视频的主题；对所述拼接后的特征进行兴趣预测，得到所述目标对象对所述待识别视频的所述兴趣信息。
[0026]在本申请的一些实施例中，所述图像特征包括至少一个图像子特征，所述文字特征包括至少一个文字子特征；
[0027]所述兴趣确定模块，还用于将所述至少一个图像子特征中的各个图像子特征进行拼接，得到拼接图像特征；将所述至少一个文字子特征中的各个文字子特征进行拼接，得到拼接文字特征；对所述拼接图像特征、所述拼接文字特征和所述交互特征进行拼接，得到所述拼接后的特征。
[0028]在本申请的一些实施例中，所述特征抽取模块，还用于对所述待识别视频进行关键帧抽取，得到至少一个关键视频帧；利用图像特征挖掘模型，对所述至少一个关键视频帧中的每个关键视频帧进行特征挖掘，得到所述至少一个关键视频帧对应的至少一个图像子特征；利用所述至少一个图像子特征，构成所述图像特征。
[0029]在本申请的一些实施例中，所述特征抽取模块，还用于将所述待识别文字信息进
行分词，得到至少一个分词结果；针对所述至少一个分词结果中的每个分词结果构造词向量，得到所述至少一个分词结果对应的至少一个词向量；利用文字特征挖掘模型，对所述至少一个词向量中的每个词向量进行特征挖掘，得到所述至少一个文字子特征；利用所述至少一个文字子特征，构成所述文字特征。
[0030]在本申请的一些实施例中，所述特征抽取模块，还用于按照预设好的时间间隔，对所述待识别视频进行视频帧抽取，得到所述至少一个关键视频帧；或者，对所述待识别视频的每个视频帧进行识别，得到所述每个视频帧对应的识别结果，并依据所述识别结果从所述待识别视频的所有视频帧中挑选出至少一个关键视频帧；所述识别结果表征所述每个视频帧中是否包含关键内容。
[0031]在本申请的一些实施例中，所述特征抽取模块，还用于将所述待识别文字信息进行分词，得到至少一个初始切分结果；对所述至少一个初始切分结果进行实体词语的筛选，得到所述至少一个分词结果。
[0032]在本申请的一些实施例中，所述用户兴趣识别装置，还包括：视频推送模块；
[0033]所述视频推送模块，用于当所述兴趣信息大于等于兴趣阈值时，将所述待识别视频和所述待识别文字信息推送给所述目标对象对应的终端。
[0034]在本申请的一些实施例中，所述兴趣确定模块，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对视频的用户兴趣识别方法，其特征在于，包括：接收针对目标对象的视频识别指令，响应于所述视频识别指令，获取待识别视频，以及所述待识别视频对应的待识别文字信息；对所述待识别视频进行图像特征抽取，得到图像特征，并对所述待识别文字信息进行文字特征抽取，得到文字特征；从所述图像特征和所述文字特征中，挖掘出交互特征；所述交互特征表征了所述待识别视频的图像内容和所述待识别文字信息之间的联系；基于所述图像特征、所述文字特征和所述交互特征，确定出所述目标对象对所述待识别视频的兴趣信息。2.根据权利要求1所述的方法，其特征在于，所述图像特征包括至少一个图像子特征，所述文字特征包括至少一个文字子特征；所述从所述图像特征和所述文字特征中，挖掘出交互特征，包括：利用所述至少一个图像子特征构造出图像矩阵图，以及利用所述至少一个文字子特征构造出文字矩阵图；将所述图像矩阵图和所述文字矩阵图进行融合，得到交互矩阵图；利用交互挖掘模型，对所述交互矩阵图进行特征提取，得到所述交互特征。3.根据权利要求2所述的方法，其特征在于，所述利用所述至少一个图像子特征构造出图像矩阵图，包括：将所述至少一个图像子特征中的每个图像子特征进行向量化，得到所述每个图像子特征对应的第一矩阵行向量；按照所述至少一个图像子特征中的各个图像子特征的顺序，将所述每个图像子特征对应的第一矩阵行向量进行排列，得到所述图像矩阵图。4.根据权利要求2所述的方法，其特征在于，所述利用所述至少一个文字子特征构造出文字矩阵图，包括：对所述至少一个文字子特征中的每个文字子特征进行向量化，得到所述每个文字子特征对应的第二矩阵行向量；依据所述至少一个文字子特征中的各个文字子特征的顺序，将所述每个文字子特征对应的第二矩阵行向量进行排列，得到所述文字矩阵图。5.根据权利要求1至4任一项所述的方法，其特征在于，所述图像特征包括至少一个图像子特征，所述文字特征包括至少一个文字子特征；所述从所述图像特征和所述文字特征中，挖掘出交互特征，包括：利用所述至少一个图像子特征构造出图像向量，以及利用所述至少一个文字子特征构造出文字向量；将所述图像向量和所述文字向量进行融合，得到交互特征向量；利用交互挖掘模型，对所述交互特征向量进行特征提取，得到所述交互特征。6.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述图像特征、所述文字特征和所述交互特征，确定出所述目标对象对所述待识别视频的兴趣信息，包括：将所述交互特征、所述图像特征和所述文字特征进行拼接，得到拼接后的特征；其中，所述图像特征描述了所述待识别视频的场景和对象；所述文字特征描述了所述
待识别视频的主题；对所述拼接后的特征进行兴趣预测，得到所述目标对象对所述待识别视频的所述兴趣信息。7.根据权利要求6所述的方法，其特征在于，所述图像特征包括至少一个图像子特征，所述文字特征包括至少一个文字子特征；所述将所述交互特征、所述图像特征和所述文字特征进行拼接，得到拼接后的特征，包括：将所述至少一个图像子特征中的各个图像子特征进行拼接，得到拼接图像特征；将所述至少一个文字子特征中的各个文字子特征进行拼接，得到拼接文字特征；对...

【专利技术属性】
技术研发人员：梁涛，张晗，马连洋，衡阵，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：