多媒体数据的搜索或浏览方法技术

公开了一种用于搜索或浏览多媒体数据的方法，能够有效地搜索或浏览图象。在本方法中，考虑关于输入多媒体数据的特征权数的可靠性信息和权限代码中的至少一个，执行搜索或浏览。根据本方法，系统选择参考多媒体数据，并使用输入多媒体数据的特征和／或特征元素的权数来搜索多媒体数据。用户接收关于所搜索或浏览的多媒体数据的相关性的反馈，系统使用该相关性信息计算新的权数。因此，系统更新和保持特征和／或特征元素的新权数。（*该技术在2020年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及数据的搜索或浏览方法，具体涉及多媒体数据如图像或视频的搜索或浏览方法。近来，数字图像信号处理技术得到极大发展并被应用于各种领域。例如，数字图像信号处理技术可用于搜索系统，该系统可自动地仅仅编辑电影或戏剧的移动图像文件中特定人物的面容，数字图像信号处理技术还可用于安全系统，该安全系统只允许在该系统注册的人使用，数字图像信号处理技术还可用于一种搜索系统，该搜索系统可以从检测系统检测到的图像或视频中搜索特定数据。以上这些系统的性能主要依赖于检测或搜索所需目标的准确性和速度。因此，在现有技术中提出了各种各样的图像搜索方法。美国专利5，579，471“图像查询系统和方法”公开了一种图像搜索系统，该系统利用颜色、纹理或形状等特征检测要搜索的图像的相似性程度。取决于要搜索的图像，每个特征的重要性可能会有所不同并且在一个特定的特征如颜色内特征元素如红色或绿色的重要性也会有所不同。但是，对于每个要搜索的图像，上面的搜索系统并没有把各种特征或特征元素的不同重要性考虑进去。在另一种名为“Virage图像搜索引擎”(www．virage．com)的搜索方法中，用户通过指定权数值直接输入不同特征如颜色、纹理和形状的重要性级别。尽管使用这种方法根据各个特征的重要性可以搜索图像，但是用户很难确定各个特征的重要性。因此，Yong Rui在SPIE卷3312的名为“交互作用中的相关性反馈技术”中公开了一种方法，在该方法中，找出与参考图像相类似的图像，然后通过计算找出的图像间的相似性自动获得特征的重要性或特征的权数。但是，在对特定图像的搜索完成之后这种权数重要性信息并不能得到保持，对于每次图像搜索即使是相同图像的搜索，其权数重要性信息都必须重新计算。在现有技术的图像搜索和浏览系统或视频(移动图像)搜索和浏览系统中，使用描述图像或视频数据特定特征的信息来进行对多媒体数据更有效的搜索或浏览。例如，在图像查询系统中，一幅图像可以分为多个区域，可以使用每个区域的代表性颜色作为该图像的特征信息，或使用该图像的总体颜色直方图作为特征信息。此后，比较两幅图像以计算出基于特征信息的相似性，以此确定两幅图像是否相似。同样，用户还可能希望搜索和观看视频中特定人物登场或特定事件发生的部分。此时，可以使用代表特定事件的关键帧来执行对视频的搜索和浏览。而且在最近的搜索和浏览方法中已经使用上级特征信息和下级特征信息来定义关键帧和关键片段。这种类型的多媒体数据搜索和浏览方法可以使用表明重要性程度的权数信息，或者直接或间接使用通过对相似的多媒体数据归类而预先得到的组信息。这样的权数信息或组信息可以由专家提前预定义或者它们也可以是由用户反馈不断修改的特征信息。此外，当浏览多媒体数据如图像或视频时，可以根据用户要求或硬件的资源条件来显示原始多媒体数据的全部或一部分。当显示原始多媒体数据的各个部分时，给每个部分指定权数值以使得全部数据中重要的部分可以被优选显示。这种权数值可以根据用户的反馈进行改变或由专家预先定义。在美国专利5，020，019和5，297，042中使用描述用户偏好的信息来为每个用户提供更好的服务。例如对电影或视频数据而言，这种信息可以包括如动作片、戏剧或体育运动的用户偏好。在另一个例子中，用户对关键词搜索中使用频度最多的关键词可以有不同的偏好和意义。因此，如果根据用户的偏好给用户经常使用的关键词指定不同的权数，那么用户可以进行更有效的搜索。这样的用户偏好可以通过用户的搜索条件和用户以前的搜索历史来获得。这种取决于用户偏好的信息还可以修改和更新。尽管可变的特征信息对于一些多媒体数据的搜索和浏览而言已经足够了，但是当这些包括权数值的特征信息由专家来预先确定时，信息的可靠性可能会依赖于专家和／或定义可变信息时使用的大量专家意见的可靠程度而改变。换句话说，即使描述多媒体数据特征的特征信息由专家组预先定义，但用于定义同一幅图像的特征信息的可靠性也可能由于专家技能的不同而不一致。同样地，当特征信息是根据用户的反馈而训练时，信息的可靠性可能会取决于反馈的数量和准确性而改变。例如，如果用户在搜索后把两幅图像错误地判断为一样，这样的信息被反馈后将对特征信息的训练产生不利的影响。另外，新用户输入的用户偏好信息可能与服务器推荐的特征信息有所不同。在这种情况下，系统应根据用户的可靠性给用户偏好信息指定合适的权数。最终，因为不同的用户对系统给出不同的反馈，如果现存的特征信息的可靠性相对较高的话，新用户的个人反馈信息对特征信息的更新就不会有太大的影响，反之，如果现存的特征信息的可靠性比较低，那么每个新用户的反馈信息就会对特征信息值有较大影响。由于现有技术的搜索和浏览方法并未考虑上面所描述的因素，因此或者是搜索到的结果的可靠性不一致或者是要一直输入可靠的反馈信息。因此，本专利技术的目的之一是至少解决现有技术的难题和缺点。本专利技术的一个目的是提供一种准确有效的搜索或浏览多媒体数据的方法。本专利技术的另一个目的是提供一种搜索或浏览方法，该方法在考虑了信息可靠性和权限代码的情况下执行对特征信息的更新。本专利技术的再一个目的是提供一种数据结构，该数据结构可用于搜索或浏览多媒体数据。本专利技术的另外一些优点、目的和特征将在以下的描述中得到部分阐明，部分地由该领域内的普通技术人员通过对本专利技术的审看或实践明白和了解。通过所附权利要求所特别指出的方式可以实现和获得本专利技术的目的和其它优点。为了达到上述目的，根据本专利技术的目标，如此处所体现和广泛描述的那样，搜索或浏览多媒体数据的方法包括以下步骤选择或输入参考多媒体数据；利用指定给多媒体数据的特征和／或特征元素的权数搜索参考多媒体数据；输入对于搜索或浏览的多媒体数据的相关性的用户反馈；测量参考多媒体数据与搜索所得的图像的相似性，并使用测量值计算出新的权数；更新先前的权数，保持该更新的权数。在本专利技术的另一个方面中，搜索或浏览多媒体数据的方法包括以下步骤使用代表多媒体数据特征重要性的可变信息和代表可变信息的可靠性的可靠性信息搜索参考多媒体数据，上述的可变信息包括在多媒体数据结构中；输入对于搜索或浏览的多媒体数据的相关性的用户反馈；使用用户反馈回的训练信息或存储在系统中的用户模式信息计算出新的可变信息；使用计算出的可变信息和／或可靠性信息更新先前的可变信息并保持该更新的信息。在本专利技术的再一个方面中，搜索或浏览多媒体数据的方法包括以下步骤选择或输入参考多媒体数据；使用代表多媒体数据特征重要性的可变信息搜索参考多媒体数据，其中多媒体数据结构包括可变信息、可变信息的可靠性信息和用于限制用户权限的权限代码；输入对于搜索或浏览的多媒体数据的相关性的用户反馈；测量参考多媒体数据与搜索所得的图像的相似性，并使用测量值计算出新的可变信息；使用可靠性信息与权限代码的可选择性组合更新先前的可变信息，并保持该更新的信息。在本专利技术的再一个方面中，用于多媒体数据搜索或浏览系统的数据结构包括多媒体数据；多媒体数据的特征信息；代表多媒体数据特征的权数的权数信息。下面将参照附图对本专利技术进行详细描述，附图中相同的参考数字指得是其中相同的单元，附图包括附图说明图1是根据本专利技术的多媒体数据搜索或浏览系统中的多媒体数据结构；图2是根据本专利技术的多媒体数据搜索或浏览系统中使用的另一种数据结构；本文档来自技高网...

【技术保护点】
搜索或浏览多媒体数据的方法，包括：（ａ）接收带有数据结构的参考多媒体数据，该数据结构包括所述参考多媒体数据的特征和所述特征的权数信息；（ｂ）使用特征和权数信息搜索所述参考多媒体数据；（ｃ）接收对步骤（ｂ）中发现的作为结果的多媒体数据的相关性的用户反馈；（ｄ）测量参考多媒体数据与作为结果的多媒体数据的相似性，并使用测量值计算出所述特征的新权数信息；（ｅ）使用新的权数信息更新参考多媒体数据的所述数据结构中所述特征的权数信息。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：李振秀，金贤俊，
申请(专利权)人：LG电子株式会社，
类型：发明
国别省市：KR[韩国]