用于基于视频帧特征的视频推荐的系统和方法技术方案

基于诸如运动矢量、色彩饱和度和场景改变之类的视频特征来生成视频推荐。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术一般涉及用于内容推荐的系统和方法。
技术介绍
已开发出了基于用户偏好和指示内容中有什么可以作为用于匹配的候选的元数据之间的相似性来向家庭娱乐系统的用户推荐内容的系统和方法。因此，用户可以明确 地或隐含地表明他喜好由特定人物主演的电影，而推荐引擎可以搜索并返回其元数据(通 常，是包含在视频流的开始处的未显示文本)表明所喜好的人物在电影中当主演的电影。如这里所理解的，不仅仅未显示的元数据可以用来向用户推荐诸如电影之类的视 频内容，，更明确地，视频的显示特征可以提供关于视频是否应当被推荐给特定用户观看的 有用信号。
技术实现思路
公开了一种用于推荐视频内容的方法，该方法包括处理来自多个候选视流流的 各自的视频帧序列。该方法还包括从序列提取非元数据的视频特征，并且基于视频特征将 候选视频流中的至少一个候选视频流返回作为推荐。视频特征可以包括但不限于场景改变、色彩饱和度、运动矢量等。在一个非限制性实施方式中，视频特征的一个子集被选择，并且仅仅该子集被用 来将候选视频流中的至少一个候选视频流返回作为推荐。特征的训练集(training set) 可以用作子集选择的部分。如果需要的话，可以将来自序列的非元数据视频特征与元数据 和/或音频特征相组合用来返回候选视频流作为推荐。在另一方面，一种系统包括候选视频的源以及计算机，计算机接收候选视频并且 执行逻辑，逻辑包括从视频提取视频特征，并且利用视频特征以及与用户的视频偏好有关 的信息来向用户提供候选视频中的至少一个候选视频作为推荐。在又一方面，一种计算机可读介质承载有计算机可读指令，指令被具体化为用于 从多个候选视频单元提取非元数据非音频特征的手段；以及用于处理来自多个候选视频单 元的非元数据非音频特征以生成与用户的偏好相匹配的至少一个推荐视频单元的手段。附图说明参考附图可以最好地理解本专利技术的结构和操作方面的细节，在附图中，相似的标 号指相似的部分，并且其中图1是根据本专利技术的非限制性系统的框图；以及图2是所提出的逻辑的一个非限制性实施方式的流程图。具体实施例方式首先参考图1，示出了一种系统，该系统总地被标注为10，该系统包括视频内容提供商服务器12，例如但不限于因特网服务器。系统10还可以包括视频内容的替代源，例如通过例如机顶盒18与用户的TV 16通信的电缆头端服务器14，并且视频内容还可以通过 TV中的浏览器从其它因特网服务器20直接被提供给因特网使能的TV。关注因特网服务器12，服务器12可以访问包含了电影、电视节目或其它视频的视 频数据库22。服务器12可以与计算机通信，计算机例如是如图所示的可以与TV 16共置 并且可与TV 16通信的用户计算机24，并且计算机24可以包括处理器26，处理器26执行 存储在计算机可读介质(例如，固态存储器、盘存储器等)上的逻辑模块28以实现这里的 逻辑。然而，将会明白，所提出的逻辑可以在服务器12、头端服务器14、其它服务器20中执 行，或者可以将其分布在这里所示的各个计算机中。现在参考图2，对于来自例如服务器12/20和/或头端服务器14的多个候选视频 流的每个，从至少一些帧中提取视频特征。因此，提取出的特征不是元数据，而是帧的视频 特征，虽然如下所述元数据可以与视频特征结合用来返回推荐。非限制性地，可以从帧提取出的视频特征包括表明视频是较快改变还是较慢改变 的场景改变(scene change) 0视频特征还可以包括色彩饱和度，色彩饱和度表明诸如动画 片之类的某个类型，其中动画片具有较高的色彩饱和度。视频特征还可以包括运动矢量，运 动矢量还表明电影是否是内容丰富有趣(action-packed)的。可以使用的其它非限制性视 频特征包括亮度和色度(其本身可被用作场景改变的指示符)。在非限制性实施方式中，统 计推理模型(statistical reasoning model)可以用来检测诸如场景改变之类的事件。移到块32，视频特征集被剪除，原因在于特征子集是根据块34中的学习集 (learning set)输入而选择的。在一个实施方式中，学习集是全局性的。在其它实施方式 中，学习集对于向其进行推荐的用户是个人的。更具体而言，在第一实施方式中，学习集基于每个所提取出的视频特征能返回如 许多“训练”用户所评价的“好”推荐的程度。例如，每个训练用户的视频偏好可以通过各 个用户的直接询问和输入(例如，通过询问用户其所喜欢的电影和电影类型是什么，等等) 或者通过观察用户对电影的购买以及她的观看习惯来收集。然后，可以将视频偏好的视频 特征与从若干训练候选视频流收集到的各个特征进行匹配，如果候选流的特征之一与视频 偏好的对应特征近似(在阈值范围内)，则将该候选流返回作为推荐。例如，如果具有高色 彩饱和度的视频是训练集中所偏好的，则将其色彩饱和度也较高的候选流返回作为推荐。然后，让各个用户将所推荐的候选分级为“好”推荐或“差”推荐，在块32中剪除 导致累积的“差”等级(或者至少未达到平均“好”等级)的那些视频特征，仅留下产生如 在块34处在训练集中所评价的“好”推荐的那些视频特征。在第二实施方式中，上述处理被剪裁为针对各个单独用户，即，各个用户定义其自 己的视频偏好以建立训练集，因此在块32中的剪除对于各个用户是不同的。在任一种情况 中，适应神经网络的训练原理可以用来确定要使用所提取的视频特征中的哪一个，并且在 检测用户偏好的视频特征与训练集中的那些视频特征之间的空间和时间相似性的情况中 (例如，当运动矢量是所关注的视频特征时)，可以使用分形法(fractal method)。还可以 使用离散余弦变换(DCT)、小波、Gabor分析以及基于模型的方法。当在块32中选出了所提取的视频特征中“最好”的视频特征时，则在块36中返回 对视频流的推荐。推荐是根据上面阐述的原理基于将所提取的视频特征中“最好”的视频特征与来自将向其做出推荐的各个用户的对应特征(由各个用户明确输入的或者如从观察用户的频道选择/电影预订而推知的)进行匹配而做出的。如上所述，如果希望的话，可以单独将视频特征用来生成推荐，或者可以将它们与 诸如元数据和音频特征之类的其它推荐标准相组合来提供综合性推荐。在后一种情况中， 可以向每种标准指派其自己的通过经验确定的权重，权重又是根据本原理利用学习集而得 出的。例如，可以向在候选视频流与用户的对应偏好之间匹配的视频帧指派比在候选视频 流与用户的对应偏好之间匹配的元数据更高的权重。然后，可以将经加权的标准加在一起， 并且可以将具有最高权重的候选视频流(或者，最上面的“N”个加权流)返回作为推荐。可 以根据本领域公知的音频特征提取原理来实现音频特征的提取。可以以多种任意的方式向用户返回推荐，例如通过将推荐发送到并显示在TV 16 或用户计算机24上等。虽然在此示出并详细描述了特定的用于基于视频帧特征的视频推荐的系统和方 法，然而，将会理解，本专利技术涵盖的主题仅由权利要求来限定。权利要求一种用于推荐视频内容的方法，包括处理来自多个候选视频流的各自的视频帧序列；从序列提取(30)非元数据的视频特征；以及至少部分地基于视频特征中的至少一些视频特征，返回(36)所述候选视频流中的至少一个视频流作为推荐。2.如权利要求1所述的方法，其本文档来自技高网...

【技术保护点】
一种用于推荐视频内容的方法，包括：处理来自多个候选视频流的各自的视频帧序列；从序列提取（３０）非元数据的视频特征；以及至少部分地基于视频特征中的至少一些视频特征，返回（３６）所述候选视频流中的至少一个视频流作为推荐。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：尼考劳斯乔治斯，保罗金黄，弗兰克力德林，
申请(专利权)人：索尼株式会社，索尼电子有限公司，
类型：发明
国别省市：JP[日本]