一种支持跨类型语义搜索的多媒体存储与搜索方法技术

本发明专利技术公开了一种支持跨类型语义搜索的多媒体存储与搜索方法，包括以下步骤：(1)用户语义标注步骤；(2)本体表达步骤；(3)数据合并步骤；(4)多媒体检索步骤。该方法不仅支持跨类型多媒体搜索，而且能够用反映用户的语义需求。具有如下特点：(1)支持跨类型搜索。用户可以任意上传一种类型，找到各种各样语义匹配的多媒体。(2)操作方便。与传统搜索引擎的操作方式完全相同：上传文件，点击搜索。(3)保持语义信息。语义信息在多媒体文档的复制、移动或者离开知识库的情况下，无需重建，直接可以进行支持语义的多媒体检索。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了，包括以下步骤：(1)用户语义标注步骤；(2)本体表达步骤；(3)数据合并步骤；(4)多媒体检索步骤。该方法不仅支持跨类型多媒体搜索，而且能够用反映用户的语义需求。具有如下特点：(1)支持跨类型搜索。用户可以任意上传一种类型，找到各种各样语义匹配的多媒体。(2)操作方便。与传统搜索引擎的操作方式完全相同：上传文件，点击搜索。(3)保持语义信息。语义信息在多媒体文档的复制、移动或者离开知识库的情况下，无需重建，直接可以进行支持语义的多媒体检索。【专利说明】
本专利技术涉及多媒体搜索领域，尤其涉及的是。
技术介绍
多媒体搜索是搜索引擎的关键技术。目前的多媒体面临两大重要需求:1、语义多媒体搜索。以图像为例，实际上，用人类的智能在图像中来识别一个目标，并非仅仅建立在目标的低层视觉特征，如颜色、形状和纹理上，而是充分考虑了目标所描述的对象、事件，甚至情感等语义。例如，同一个明星的真实头像照片和其卡通头像照片，以人类的智能来判断，比较容易判断其相似之处，甚至可以很容易地确定为同一个人；但是，使用计算机基于低层视觉特征进行分析，却难以判断两个头像的相似之处。因此，如何能让用户在搜索的时候，结合计算机无法识别的人类认知信息，是一个重要的问题。2、跨类型多媒体搜索。我们经常需要通过一种多媒体类型搜索其他类型的多媒体文件。比如，当我们听到一首歌，很好听，但是不知道唱的人长什么样，能够在搜索引擎里面上传这首歌，就可以返回歌手的头像呢？音频、图像、视频的存储格式不同，完全无法用传统的特征提取方法来进行比对。因此，跨类型搜索是一个重要的需求，但也是目前面临的重要研究问题。针对以上问题，现有技术进行了折中，主要有如下几种:1、用输入文本的方法进行搜索。该方法已经在商用搜索引擎中广泛应用，用户输入关键字，搜索引擎返回相应多媒体，其原理是搜索该多媒体所在的网页里面是否有相应的文本和关键字相匹配。例如，在传统的搜索引擎中，在文本框中输入“刘德华”，能够搜索相应的图片，当然也可以搜索视频。其原理实际上是因为在该图片或视频的周围，存在“刘德华”这样的文字。该方法存在如下几个问题:(I)如果多媒体所在的网页没有相关文字，该图片不会显示。实际上，目前大量的搜索都存在这样的问题。比如，商标搜索、纯多媒体库搜索等等，多媒体周围是没有文字的。输入关键字(“如刘德华”)，由于该多媒体文件并不在网页中，并没有配相应的文字信息，因此无法被搜索出来。(2)网页中的文字各种各样，比如含有“刘德华”图片的一个网页，里面可能含有各种各样的无关信息，因此，搜索速度较慢，可能造成噪音。(3)如果多媒体文件被拷贝到别的地方，离开含有该文字的网页，这个多媒体文件不会被搜索出来。2、用输入多媒体数据的方法进行搜索。该方法也已经在商用搜索引擎中广泛应用，比如用户上传一个图片，搜索引擎返回相应图片，其原理是先提取图片的视觉特征，和数据库中的图片的视觉特征相比对。比如上传葛优照片，获得葛优的其他照片。该方法存在如下几个问题:(I)忽略了用户的个人理解。人类认为类似的多媒体(如图片)，用纯粹的视觉特征匹配，却无法判断为类似。(2)无法支持跨类型搜索。音频、图像、视频的存储格式不同，完全无法用传统的特征提取方法来进行比对。3、基于语义的搜索。语义搜索引擎的核心是“语义标注”，也就是在多媒体周围提供关键字的标注。在查询时，输入关键字，然后查询相应的标注，标注和多媒体数据分别存储。目前，语义标注的成果已经成熟。已经广泛地使用在语义搜索引擎中。但是，该类方法存在如下问题:目前的语义描述策略，基本上是将多媒体的语义标注用相应方法(如对象本体方法)进行描述，存储在服务器的知识库中，当匹配需求到达时，在知识库中进行查找、匹配和检索；但是，一幅多媒体在其生命周期中，可能会不断经过复制、移动等操作，由于多媒体本身的数据和其语义标注信息分开保存，在这种情况下，如果多媒体离开知识库，在识别时就无法利用其语义标注信息；对于离开知识库的多媒体，必须重建其语义才能充分利用人类视觉认知机理的优势。站在这个角度，在多媒体语义特征描述和存储上，我们考虑到目前的主要方法是将语义特征存放在知识库中，与多媒体本身数据存储割裂开来，这类方法在某种程度上忽略了多媒体语义特征的特殊性。从识别的角度讲，语义特征和颜色、形状、纹理等低层视觉特征是平等的，其最终目的是为了在多媒体复制、移动等任何操作情况下都能够进行识别；因此，如果只是将语义标注信息存放在知识库中，和多媒体数据本身分割，语义多媒体的检索就必须依赖知识库。对于融合人类视觉认知的目标特征提取和描述方法，不仅需要规范语义的特征表达，更重要的问题是让语义标注信息实现方便的存储，让用户在使用时更加通用。
技术实现思路
为解决以上问题，本专利技术提出了。本专利技术的技术方案如下:，包括以下步骤:(I)用户语义标注步骤，每一个需要保存到数据库中的多媒体文件都必须被用户标注；标注以文本的形式进行,标注内容依据用户对该多媒体的理解；(2)本体表达步骤:对标注进行分类,并划分层级,进行本体表达；将标注转换为本体；(3)数据合并步骤:将语义信息和本体内容保存在一起，形成新的多媒体数据格式；新的数据形成之后，多媒体文件将会被保存到多媒体数据库中；(4)多媒体检索步骤:搜索引擎从该多媒体文件中提取语义信息，和多媒体数据库中的多媒体数据进行比对，如果找到互相匹配的，则返回这些多媒体文件；系统还会让用户对自己选定的结果进行进一步标注，来丰富多媒体的语义信息，使得以后的查询越来越准确。所述的方法，所述用户语义标注步骤中:用户向多媒体文件提供标注，所有的标注用文本形式表示；定义m为多媒体文件，C为多媒体文件集合，满足C = Im1, m2，...，mN}，N为多媒体文件个数；对于任意11 e C，ffli保存在服务器硬盘上,Hii的路径被保存在数据库中，链接到其真实的文件；语义信息由用户提供，以关键词标注的形式提供给Hli ；令Anmi为Hii的标注集合,满足Anmi = {a1; a2,..., aj , η为Hii的标注个数,对于任意的Hii e C，用户将会提供很多标注；对于任意的Hii e C，定义标注矩阵Ami:【权利要求】1.，其特征在于，包括以下步骤: (1)用户语义标注步骤，每一个需要保存到数据库中的多媒体文件都必须被用户标注；标注以文本的形式进行，标注内容依据用户对该多媒体的理解； (2)本体表达步骤:对标注进行分类,并划分层级,进行本体表达；将标注转换为本体； (3)数据合并步骤:将语义信息和本体内容保存在一起，形成新的多媒体数据格式；新的数据形成之后，多媒体文件将会被保存到多媒体数据库中； (4)多媒体检索步骤:搜索引擎从该多媒体文件中提取语义信息，和多媒体数据库中的多媒体数据进行比对，如果找到互相匹配的，则返回这些多媒体文件；系统还会让用户对自己选定的结果进行进一步标注，来丰富多媒体的语义信息，使得以后的查询越来越准确。2.根据权利要求1所述的方法，其特征在于，所述用户语义标注步骤中:用户向多媒体文件提供标注，所有的标注用文本形式表示；定义m为多媒体文件，C为多媒体文件集合，满足C = Im1, m2,...,!%}, N为多媒体本文档来自技高网...

【技术保护点】
一种支持跨类型语义搜索的多媒体存储与搜索方法，其特征在于，包括以下步骤：(1)用户语义标注步骤，每一个需要保存到数据库中的多媒体文件都必须被用户标注；标注以文本的形式进行，标注内容依据用户对该多媒体的理解；(2)本体表达步骤：对标注进行分类，并划分层级，进行本体表达；将标注转换为本体；(3)数据合并步骤：将语义信息和本体内容保存在一起，形成新的多媒体数据格式；新的数据形成之后，多媒体文件将会被保存到多媒体数据库中；(4)多媒体检索步骤：搜索引擎从该多媒体文件中提取语义信息，和多媒体数据库中的多媒体数据进行比对，如果找到互相匹配的，则返回这些多媒体文件；系统还会让用户对自己选定的结果进行进一步标注，来丰富多媒体的语义信息，使得以后的查询越来越准确。

【技术特征摘要】

【专利技术属性】
技术研发人员：郭克华，邝砾，王建新，
申请(专利权)人：郭克华，
类型：发明
国别省市：