交互式图像搜索系统和方法技术方案

本发明专利技术涉及一种图像的搜索系统和方法，是一种交互式图像搜索系统和方法，包括：用户选择物体照片，选定感兴趣区域，选择待识别物体类别，根据用户选择的区域和类别用前景提取方法自动分割前景区域，在前景区域中提取图像特征，根据图像特征在指定类别的图像数据库中寻找匹配图像，根据匹配图像获取相关物体信息，返回匹配图像的相关物体信息给用户。本发明专利技术对于任意图像，能够有效的提取图像中物体的信息，从而实现精细的对图像中物体的搜索。同时把目标物体的类别信息结合到图像搜索中，从而有效的提高了搜索精度，降低了运算复杂性。本发明专利技术实现了一个基于图像搜索的电子商务系统。

【技术实现步骤摘要】

本专利技术涉及一种图像的搜索系统和方法,具体的说是一种交互式 图像搜索系统和方法。技术背景随着互联网的发展，搜索引擎已经成为重要的信息获取和商品营 销工具。传统信息搜索方式是使用文字进行搜索，这方面的例子包括谷歌(Google),百度等。然而，只用文字进行搜索难以描述复杂的 图像信息，所以下一代信息搜索方式必然需要图像搜索。图像搜索系统的基本原理是通过计算机分析图像的视觉特征而 构建搜索用的数据库，从而实现检索。传统的图像搜索方法采用对整 张图片分析的方法，这样做适合粗略的搜索，例如区分蓝天，海滩， 树林的照片。但是这样做无法实现更精细的搜索，例如搜索图像中的 某个物体。而从实际应用来说，能够搜索图像中的物体具有重要得多 的应用价值。搜索图像中的物体可以通过先对图像进行分割，然后分析分割区 域的方式实现。然而，对任意图像进行完全自动的分割是个很困难的 问题。目前已有的系统，采用完全自动分割的方法，尚无法比较理想 的提取某个物体的完整区域。目前的分割方法经常会把一个物体划分 为很多个区域，这样难以实现精细的对图像中物体的搜索。另外，传 统的图像搜索方法对搜索物体的类别通常是未知的，这样搜索的困难 较大，搜索精确度比较低，而且运算量高。
技术实现思路
本专利技术的目的在于提出一种可以提高精度，降低运算复杂性的交 互式图像搜索系统和方法。本专利技术的目的可以通过以下技术方案来实现 交互式图像搜索系统，包括以下模块 图像采集模块，用于采集需要搜索的物体的图像；用户选择模块，用户选择图像的感兴趣区域和待识别物体类别；图像分割模块，根据用户选择的区域和类别用前景提取方法自动分割前景区域；特征提取模块，在前景区域中提取图像特征；通讯模块，包括互联网或无线网络，在客户端和服务器之间传递 f曰息；图像检索模块，根据图像特征在指定类别的图像数据库中寻找匹配图像，根据匹配图像获取相关物体的信息； 数据库，存储图像特征向量和物体信息； 结果显示模块，返回匹配图像和相关物体信息给用户。 交互式图像搜索方法，包括以下步骤-① 用户选择搜索图片；② 选定搜索照片的感兴趣区域；③ 选择待识别物体类别；④ 根据用户选择的搜索图片的区域和物品的类别用前景提取方 法自动分割前景区域；⑤ 在前景区域中提取图像特征向量；⑥ 根据图像特征在指定类别的图像数据库中寻找匹配图像；⑦ 根据匹配图像获取相关物体信息；⑧ 返回匹配图像的相关物体信息给用户。本专利技术的目的还可以通过以下技术措施来进一步实现 前述的交互式图像搜索系统，其中所述图像采集模块包括商品采集子模块，用于采集需要搜索的商品的图像。前述的交互式图像搜索系统，其中所述图像检索模块包括商品图像检索子模块，根据商品图像特征在指定类别的图像数据库中寻找匹配商品图像，根据商品匹配图像获取商品的描述，价格，地址的超链接。前述的交互式图像搜索方法，其中所述步骤①中，搜索图片的获 得方法为通过图像采集设备拍摄图片或在己有的图片库中找到图片。前述的交互式图像搜索方法，其中所述步骤②中，在图片上选定 感兴趣区域的实现方法为用户通过一个输入设备控制在感兴趣的区 域上面拉一个框、用户通过一个语音输入控制指令在感兴趣的区域上 面拉一个框或用户通过一个输入设备控制一个区域选择功能单元选 择感兴趣的区域和/或不感兴趣的区域和/或未知的区域。前述的交互式图像搜索方法，其中所述步骤④中，前景提取方法 为首先初始化划分图像区域，然后对所划分的区域建立统计模型，通 过优化代价函数来完成前景和背景的划分；所述图像区域初始化划分 的方法为初始化为前景和未知两个区域、初始化为背景和未知两个 区域或初始化为前景，背景和未知三个区域；所述代价函数至少包括 区域因素、边缘因素和形状因素中的一个因素；所述的优化方法为基 于图分割方法或者基于马可夫随机场方法。前述的交互式图像搜索方法，其中所述步骤⑤中，特征向量可以 包括颜色特征向量，纹理特征向量，及形状特征向量；所述颜色特征 向量的实现方法为采用颜色直方图的方式或采用MPEG-7标准中的 主颜色描述符；所述纹理特征向量的实现方法为MPEG-7标准中的边缘直方图描述符或局部二值纹理；所述形状特征向量的实现方法 为采用MPEG-7标准中的曲率尺度空间或者边缘直方图描述符。前述的交互式图像搜索方法，其中所述步骤⑥中，寻找匹配图像 的方法为采用最近邻方法在数据库中寻找与输入图像综合距离最接 近的图像，综合距离包括颜色，纹理，及形状三方面的信息。前述的交互式图像搜索方法，其中所述物体为商品，物体信息包 括商品的描述，价格，地址的超链接。本专利技术的优点为本专利技术的一个主要优点是实现了基于目标物体的图像搜索，从而大大提高了图像搜索的应用范围。本专利技术的另一个 主要优点是把用户的交互和搜索目标物体的提取紧密结合起来，从而 可以更准确的提取目标物体特征，更准确的获取搜索的信息。另外本 专利技术把目标物体的类别信息结合到图像搜索中，从而有效的提高了搜 索精度，降低了运算复杂性。本专利技术的另一个主要优点是实现了一个 基于图像搜索的电子商务系统。 附图说明图1为实施例一的交互式图像搜索系统框图。图2为实施例二的交互式图像搜索系统框图。 图3为实施例五的交互式图像搜索方法流程图。 图4为实施例六的交互式图像搜索方法流程图。具体实施方式实施例一本实施例为一种交互式图像搜索系统，其框图如图l所示，包括 客户端和服务器两部分。客户端可以是一个计算机终端，或是一个手机。包括以下模块图像采集模块，可以有多种实现，比如通过相机拍摄图片，或者在计算机内的图片库中找到一张图片，等等。用户选择模块，以选择图片的感兴趣区域和待识别物体类别。 图像分割和特征提取模块，功能是根据用户选择的区域和类别用前景提取方法自动分割前景区域，然后在前景区域中提取图像特征。 通讯模块，包括互联网或无线网络，用以在客户端和服务器之间传递信息。图像检索模块，功能是根据图像特征在指定类别的图像数据库中 寻找匹配图像，根据匹配图像获取相关物体的信息。 数据库，存储图像特征向量和物体信息。结果显示模块，功能是返回匹配图像和相关物体信息显示给用户。实施例二本实施例为另一种交互式图像搜索系统，其框图如图2所示，包 括客户端和服务器两部分。客户端可以是一个计算机终端，或是一个 手机。包括以下模块-图像采集模块，可以有多种实现，比如通过相机拍摄图片，或者 在计算机内的图片库中找到一张图片，等等。用户选择模块，以选择图片的感兴趣区域和待识别物体类别。图像分割和特征提取模块，功能是根据用户选择的区域和类别用 前景提取方法自动分割前景区域，然后在前景区域中提取图像特征。通讯模块，包括互联网或无线网络，用以在客户端和服务器之间 传递信息。图像检索模块，功能是根据图像特征在指定类别的图像数据库中 寻找匹配图像，根据匹配图像获取相关物体的信息。 数据库，存储图像特征向量和物体信息。结果显示模块，功能是返回匹配图像和相关物体信息显示给用户。实施例三本实施例为利用本专利技术的交互式图像搜索系统的电子商务信息 检索系统，框图同系统框图l所示，包括客户端和服务器两部分。客 户端可以是一个计算机终端，或是一个手机。包括以下模块图像采集模块，可以有多种实现，比如通过相机拍摄商品图片， 或者在计算机内的图片本文档来自技高网...

【技术保护点】
交互式图像搜索系统，其特征在于：包括以下模块：图像采集模块，用于采集需要搜索的物体的图像；用户选择模块，用户选择图像的感兴趣区域和待识别物体类别；图像分割模块，根据用户选择的区域和类别用前景提取方法自动分割前景区域； 特征提取模块，在前景区域中提取图像特征；通讯模块，包括互联网或无线网络，在客户端和服务器之间传递信息；图像检索模块，根据图像特征在指定类别的图像数据库中寻找匹配图像，根据匹配图像获取相关物体的信息；数据库，存 储图像特征向量和物体信息；结果显示模块，返回匹配图像和相关物体信息给用户。

【技术特征摘要】

【专利技术属性】
技术研发人员：虞正华，
申请(专利权)人：上海博康智能信息技术有限公司，
类型：发明
国别省市：31[中国|上海]