用于同步内容的数据流与元数据的方法和设备技术

在本发明专利技术中，提出通过使用内容数据流的特征向量来将内容数据流与元数据同步的设备。该设备将内容数据与元数据同步，且包括：存储设备，具有包括在其中记录的内容数据的特征向量的元数据；计算组件，根据内容数据计算特征向量；搜索组件，基于所计算的特征向量，从所述存储设备搜索对应的元数据；以及再现组件，与内容数据同步地再现所搜索出的元数据。

【技术实现步骤摘要】

本专利技术涉及通过使用正被再现的多媒体内容数据的特征向量来标识多媒 体内容的数据流的时间位置。
技术介绍
宽带的流行已经导致分发诸如视频图像的多媒体内容的服务的快速增 长。但是，几乎没有给视觉和听觉障碍的人使用的带有字幕或音频描述的内 容。因为这个原因，为了改善易用性，很希望为视觉和听觉障碍的人提供字 幕或音频描述，作为在因特网上分发的视频图像内容的元数据。目前，在很 多情况下，内容提供者没有配备用于字幕或音频描述的元数据，因此对建立 允许诸如自愿者的第三方组织提供元数据的基础设施的需要快速增加。然而，目前的内容播放器不包括解译由第三方组织提供的元数据的结构。 另外，由于使用各种类型的内容播放器，因此假设所有的内容播放器都需要 相当量的时间来完成对于由第三方组织提供的元数据的支持。通常，由于通 过使用包括内容的开始点作为原点的时戳来使元数据与内容同步，因此需要 获得内容播放器的回放位置。然而，并不是各种类型的内容播放器的所有的 回放位置都可以获得。由于这个原因，通过尝试由外部应用解译元数据来再 现与内容同步的元数据并不能充分地解决问题。日本专利申请特开No,2005-339038公开了基于媒体的特征向量来确定提 供特定服务的时刻的装置。在此，预先登记某一特征向量和适合度(提供具 体服务的适合度)，然后从正被再现的媒体的特征向量中获得适合度。当适合 度大于阈值时，提供服务；换句话说，确定将要插入广告等的时刻。于是， 在日本专利申请特开No.2005-339038中公开的技术是要确定是否适合提供服 务，而不是要指定媒体的时戳。
技术实现思路
提供用于通过使用正被再现的多媒体内容数据的特征向量来指定多媒体内容的数据流的时间位置的方法和数据。为了解决上述问题，在本专利技术中，提出一种通过使用内容数据流的特征 向量来将内容数据流与元数据同步的设备。该设备将内容数据与元数据同步，且包括存储设备，具有包括在其中记录的内容数据的特征向量的元数据； 计算组件，根据内容数据来计算特征向量；搜索组件，基于所计算的特征向 量，从存储设备中搜索对应的元数据；以及再现组件，与内容数据同步地再 现所搜索出的元数据。根据本专利技术的设备，可以提供元数据，并在不处理内容数据的情况下使 得内容数据流与元数据同步。虽然到目前为止已经作为方法而描述了本专利技术的概要，但是可以领会作 为设备、程序或程序产品的本专利技术。例如，程序产品包括具有在其上存储的 前述程序的记录介质，或转移该程序的介质。应该注意，本专利技术的概要未列出本专利技术所需的所有特征，而这些构成元 素的其他组合或子组合可能成为本专利技术。附图说明为了更完整地理解本专利技术及其优点，现在参考结合附图的如下描述。图1是本专利技术的高级的系统100的概要图，该系统通过使用正被再现的 多媒体内容数据的特征向量来指定多媒体内容数据流的时间位置。图2是概念地示出通过使用正被再现的多媒体内容数据的特征向量来指 定多媒体内容数据流的时间位置的系统的功能块的示意图200 。图3示出根据本专利技术的处理流程300的示例，该处理通过使用正被再现 的多媒体内容数据的特征向量来指定内容数据流的时间位置。图4例示了处理流程400,其中，特征向量从原始内容数据创建，并被 设置为元数据。图5例示了处理在内容中重复地出现彼此相似的场景的情况的方法。 图6例示了处理在使用宽带网络的流广播中商业消息(CM)根据用户偏好而不同的情况的方法。图7示出了对于有视觉和听觉障碍的人的多媒体浏览器应用了本专利技术的示例。图8是示出根据本专利技术的实施例的、优选用于实现客户端110、元数据 服务器140和内容数据服务器150的信息处理设备的硬件配置的示例的图。 具体实施例方式图1是本专利技术的高级的系统100的概要图，该系统通过使用正被再现的 多媒体内容数据的特征向量来指定多媒体内容数据流的时间位置。客户端110 经由网络101下载元数据和内容数据，并再现该数据。元服务器140向客户 端110提供元数据。内容服务器160向客户端HO提供多媒体内容数据。应 该注意，元服务器140和内容服务器160的功能可存在于同一服务器上。图2是概念地示出通过使用正被再现的多媒体内容数据的特征向量来指 定多媒体内容数据流的时间位置的系统的功能块的示意图200。客户端从元 服务器240下载元数据到元数据DB (存储设备)221。另外，客户端从内容 服务器260下载内容数据到内容数据DB (存储设备)225。在此，内容数据 225包括音频流228和视频流229，并由内容播放器223来再现。元数据同步系统210包括特征提取器213。特征提取器213根据音频流 228和视频流229的任一或全部来计算特征向量。从元数据DB 211中，元数 据搜索组件215搜索具有与所计算的特征向量相对应的特征向量的元数据。 当作为搜索结果而在元数据DB中发现了对应的特征向量时，元数据再现组 件217再现与该特征向量有关的元数据。在此，由于元数据通常包括字幕和 音频描述，所以元数据再现组件217包括字幕再现组件219和音频描述再现 组件221。所再现的字幕或音频描述与内容数据流一起^L分别输出到扬声器 226和显示设备227。应该注意，考虑到搜索时间等，元数据同步系统210优 选地通过预先将数据读入緩沖存储器来处理数据。在此， 一次性下载了全部元数据和全部内容数据。然而，可以在像数据 流一样一点一点被下载时彼此同步元数据和内容数据。此外，在本专利技术的情况下，元数据包括如下数据时戳；要被提供为元 数据的信息(字幕数据、音频描述数据等)；用作特征向量的指针的特征向量 数据；以及特征向量的类型(指定特征向量的计算方法的信息)。如下是元数 据的示例。<metadata type=audio-description> <time>00:12:23.30</time><description>Hiroshi comes joyfully walking down the streetalong the river</description><feature type=sound-feature><data type=base64>MDEyMzQlNjc40TAxMjMONTY30Dk=</data></f eatu::e> </metadata>用〈data type=base 64，、和〈/data〉包围的字符串是用作特征向量的指针的数据。该字符串是通过用根据定项规则(constant rule )的字符串替换根据内 容计算的特征向量而获得的数据。在此，引用使用自动唇读(speechreading)系统的音频描述的数据作为示 例。然而，也可以使用字幕数据来询用户提供字幕。顺带提及，作为多媒体内容的数据流的特征向量，可想到音频数据的特 征向量和视频数据的特征向量。作为音频数据的特征向量，可以使用梅尔(mel) 频率倒语系数(MFCC)，或被用于标准自动语音识别设备的线性预测编码(LPC) 梅尔倒语，或简单的对数功率i普(log power spectrum)等。例如，在MFCC的 推导处理中，首先，从输入的音频本文档来自技高网...

【技术保护点】
一种同步内容数据和元数据的设备，包括：存储设备，具有包括在其中记录的内容数据的特征向量的元数据；计算组件，其根据内容数据来计算特征向量；搜索组件，其基于所计算的特征向量，从所述存储设备搜索对应的元数据；以及再现组件，其与内容数据同步地再现所搜索出的元数据。

【技术特征摘要】
JP 2006-12-27 351358/061.一种同步内容数据和元数据的设备，包括存储设备，具有包括在其中记录的内容数据的特征向量的元数据；计算组件，其根据内容数据来计算特征向量；搜索组件，其基于所计算的特征向量，从所述存储设备搜索对应的元数据；以及再现组件，其与内容数据同步地再现所搜索出的元数据。2. 根据权利要求1所述的设备，其中所述元数据包括时戳。3. 根据权利要求1所述的设备，其中所述元数据至少包括以下中的任一 个字幕数据和音频描述数据。4. 根据权利要求1所述的设备，其中计算特征向量的所述计算组件通过 在再现内容数据之前读取内容数据来计算特征向量。5. 根据权利要求1所述的设备，其中，避开内容数据的CM部分来计算 被包括在元数据中的所述特征向量。6. 根据权利要求1所述的设备，其中被包括在元数据的所述特征向量是 以恒定的时间间隔从内容数据中提」 又的特征向量。7. —种用于同步元数据与内容数据的方法，包括步骤 在存储设备中存储包括内容数据的特征向量的元数据； 根据内容数据来计算特征向量；基于所计算的特征向量，从所述存储设备中搜索对应的元数据；以及 与内容数据同步地再现所搜索出的元数据。8. 根据权利要求7所述的方法，其中所述元数据包括时戳。9. 根据权利要求7所述的方法，其中所述元数据至少包括以下中的任一 个字幕数据和音频描述数据。10. 根据杈利要求7所述的方法，其中在计算特征向量的步骤...

【专利技术属性】
技术研发人员：佐藤大介，福田隆，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：US[美国]