基于语义关联网络的跨模信息检索方法技术

本发明专利技术涉及信息检索技术领域，尤其涉及一种基于语义关联网络的跨模信息检索方法。本发明专利技术通过网页视觉空间分析、多媒体搜索引擎标注关系分析、ＤｅｅｐＷｅｂ接口模式分析、复合媒体中不同模态数据的关联分析、用户直接或潜在反馈信息的利用，以及关联推理等六个渠道获取跨模关联知识，并构建跨模关联网络；利用获取的跨模关联知识，通过层次化模糊聚类，获得不同粒度的具有相同语义的多模数据集合；从每个ＳＣ中选择出不同模态的典型向量，并构建对应的语义向量包，最后在这三者之间建立映射关系。本发明专利技术能降低每种渠道可能存在的误差，有效提高检索准确性；能够支持由用户定义不同粒度语义的跨模检索，能够支持多种模态的数据文件同时作为样例进行检索。

【技术实现步骤摘要】

本专利技术涉及信息检索
，尤其涉及一种基于语义关联网络的跨模信息检索 方法。
技术介绍
据广电网09年统计，全国主流网站每日更新的文字、图片及视频量大概是310GB/ 天。《福布斯》报道，人类5000年的文字记载总量是5 EB，而仅09年，全球产生的数字内容 就超过了 450 EB，其中多媒体数据占据了相当大的比例。“信息爆炸”愈演愈烈，Facebook、 Twitter、微博客等应用促使新生信息指数扩张，而当前的互联网仍然无法应对信息过度膨 胀与信息精确定位之间的矛盾，尤其是对于多媒体信息，即使是谷歌、百度，以及微软必应 等搜索引擎也难以获得满意的检索效果。Outsell公司最新调查显示，全世界平均每人每周 要花费9. 5小时用于信息检索，其原因是基于关键字的主流检索方式难以有效表达用户检 索需求，而返回结果的挑选也相当耗时。近几年，基于多媒体样例相似性的搜素技术得到了长足发展，甚至出现了商业化 产品，如提供商品图片相似搜索的Like，支持提交图片、视频帧，甚至手画图进行检索的 GazoPa,以及微软即将发布的基于图片的地理位置搜索PhotMSearch等。这些搜索引擎主 要是利用颜色、纹理、形状等底层物理特征进行匹配，其视觉感受将远高于传统关键字搜索 引擎，但在语义匹配度方面并未改善。因此，语义搜索技术也同时受到广泛关注，如微软的 IGroup提供结果语义分类，Hakia能同时显示某一主题的图片、视频、文本介绍、文本新闻 等，以及支持自然语言检索，并整合了语义网、语义分类等技术的Zoom。然而，目前的语义 搜索引擎仍然基于关键字，其语义处理过程大多是利用WordNet或本体等，进行概念推理 或比较。人们在日常交往过程中，往往是以多模形式进行信息互递。同时采用视觉、听觉， 以及文本等形式表达自己的语义，必然能使对方更快、更准确的理解自己。在人机交互过程 中，这种规律也同样存在。跨模检索技术就是力求最大限度地获取不同模态媒体之间的关 联性、协同性和互补性，使得多种媒体信息的识别、检索和利用更加充分且有效，并使媒体 信息的发现重构、共生新用成为可能，从而达到各种模态媒体信息的融合，共存于一体，使 得用户能够更为及时、准确、低成本、多感官的获取所需信息。
技术实现思路
针对上述存在的技术问题，本专利技术的目的是提供一种基于语义关联网络的跨模信 息检索方法，实现高效跨模检索。为达到上述目的，本专利技术采用如下的技术方案通过网页视觉空间分析、多媒体搜索引擎标注关系分析、De印Web接口模式分析、复合 媒体中不同模态数据的关联分析、用户直接或潜在反馈信息的利用，以及关联推理等六个 渠道获取跨模信息单元的语义关联知识；基于以上不同渠道获取的关联知识，进行加权整合，构建统一的跨模语义关联网络； 针对跨模语义关联网络，实施分层模糊聚类；对每个聚类，寻找其中所有信息单元的典型特征向量，作为该聚类的代表； 对系统中所有信息单元对应的特征向量，建立散列索引；在每个信息单元，对应特征向量、聚类的典型特征向量、聚类序号之间建立映射关系。所述网页视觉空间分析包括以下步骤将页面划分成不同粒度、具有视觉层次包含关系的若干块； 将以上分析出的块转换成视觉关系树； 利用视觉关系树计算各种模态信息单元之间的语义关联。所述多媒体搜索引擎标注关系分析包括以下步骤针对某个多媒体搜索引擎，采用以下公式计算搜索关键字(或关键字集合)和第ν条 结果的标注概念集合的语义相似性 上式中KU、TV分别表示搜索概念集合和第ν条结果的标注概念集合；#是一个修正常量，用于防止两个集合的交集ΠΚΑ为空；KM为Kuhn-Mimkres算法，表示从搜索关键字和结果标签中分别选择一个概念，并通过WordNet或者其他本体计算它们的语义 相似性；构建多媒体元搜索引擎，定义一个语义空间来衡量所有结果之间的关联大小，其中横 坐标为每条结果标注与检索条件的关联度大小，即彻d),纵坐标为搜索引擎排序值。所述De印Web接口模式分析包括以下步骤 基于同类网页叠加，定位网页中De印Web数据区域； 识别后台数据库的数据模式；利用该表的横轴模式信息，实现不同属性、不同模态数据之间的相互解释； 利用该表的纵轴模式信息，计算不同元组之间的语义关联大小。所述复合媒体中不同模态数据的关联分析包括以下步骤 时序媒体的单元分割；对于音视同步的复合媒体，若分离后不同模态的信息单元仍保持相同时序依赖性，则 定义它们的关联值为1，而分割后同模态的各信息单元之间的关联计算公式为 ε0是一个表示语义关联退化的常量，χ表示信息单元Oi和Oj之间的间隔。所述用户直接或潜在反馈信息的利用包括以下步骤 记录用户在浏览检索结果过程中涉及的各类操作；基于相同检索需求的反馈信息将被叠加 其中f|表示信息单元仏和A在相同检索中被施以相同操作的总次数，#代表每种操作 的权重，但ΕΖΟρΟ》的最大值仅能为1。针对跨模语义关联网络采用分层模糊聚类方法包括以下步骤选择每个节点(信息单元)Oi与它的K个最近邻集合Sdftl,并计算ft到^. …中 每个点的距离的平均值AVG . α:丨。则0;的K近邻的相对密度为 当节点(V满足条件Phf09Jc^㈣Ud〉；))时，被视为核心节点，而对应的核心节点集合为Qz(Oi) = {op e Oi UiSx(Oi)八O)},其中ο是所有核心结点的列表， 肩 是所有聚类的初始状态； Α。 中所有节点的κ近邻节点也将被考虑，若满足上述条件，也将被扩展进该聚类中；以此类推，可以发现核心节点仅能属于一个类，而其他节点可以属于多个类，从而实现 模糊化；最高粒度的聚类结果将被逐层合并，其依据是不同类.&和，.之间的相似性计算，如下式 对于每个粒度级别，定义对应的阀值已M 1,...,!:)，并将满足该约束的两个类合并成一个类《:灼化=1^；! ^iiPl-P,)本专利技术具有以下优点和积极效果1)不同模态数据之间异质异构，仅能在语义层获取关联，而语义鸿沟又难以逾越，通过 多个渠道直接或间接获取跨模语义关联知识，能实现跨模检索功能，并能降低每种渠道可 能存在的误差，有效提高检索准确性；2)能够支持由用户定义不同粒度语义的跨模检索；3)能够支持多种模态的数据文件同时作为样例进行检索；4)合理的散列索引，使得跨模检索速度很快。附图说明图1是本专利技术中跨模语义关联挖掘示意图。图2是本专利技术中基于网页视觉空间关系的跨模语义关联挖掘示意图。图3是本专利技术中层次化模糊聚类示例图。图4是本专利技术中基于跨模关联聚类的信息单元索引原理图。具体实施例方式本专利技术提出了一种，该方法的原理为 传统多媒体搜索引擎主要采用特征向量化及向量散列技术构建索引，然后基于向量匹配原理实现检索。但在跨模检索领域，不同模态数据的结构、特征差异较大，导致特征向量 的维数迥异。尽管可以通过降维技术使得各种模态对应的向量维数相同，但每一维以及整 个特征空间的含义仍然不同，直接进行向量匹配没有意义。因此，为了实现跨模索引，本专 利利用之前获取的跨模关联知识，通过层次化模糊聚类，获得不同粒度的具有相同语义的 多模数据集合，称为语义簇(Semantic Cluster, SC);然后，从每个SC中抽取不同模态的典 型向量(Typical Vector, T本文档来自技高网...

【技术保护点】
一种基于语义关联网络的跨模信息检索方法，其特征在于，包括以下步骤：通过网页视觉空间分析、多媒体搜索引擎标注关系分析、ＤｅｅｐＷｅｂ接口模式分析、复合媒体中不同模态数据的关联分析、用户直接或潜在反馈信息的利用，以及关联推理等六个渠道获取跨模信息单元的语义关联知识；基于以上不同渠道获取的关联知识，进行加权整合，构建统一的跨模语义关联网络；针对跨模语义关联网络，基于关联知识实施分层模糊聚类；在每个类中，针对所有信息单元的特征向量进行二次聚类，选出典型特征向量，作为该类的代表；对系统中所有信息单元对应的特征向量，建立散列索引；在每个信息单元，对应特征向量、聚类的典型特征向量、聚类序号之间建立映射关系。

【技术特征摘要】

【专利技术属性】
技术研发人员：曾承，
申请(专利权)人：武汉大学，
类型：发明
国别省市：83[中国|武汉]