视觉搜索设备和系统技术方案

本公开涉及视觉搜索设备和系统，其中，从与数字图像有关的数字图像信息和数字深度信息中提取局部描述符。局部描述符传达与数字图像有关的外观描述信息和形状描述信息。基于所提取的局部描述符生成一个或多个数字图像的全局表示，并且进行散列。基于所散列的全局表示生成视觉搜索查询。视觉搜索查询包括在局部描述符中传达的融合的外观描述信息和形状描述信息。在生成全局表示之前、在散列之前或者在散列之后，可以发生融合。

【技术实现步骤摘要】

本描述涉及视觉搜索技术，例如，移动设备中的视觉搜索。
技术介绍
现今，大多数移动设备可以配备有高分辨率相机并且能够连接到因特网。这已经促进了发展并且增加多种移动视觉搜索工具(诸如例如，商品名为Google GogglesTM、Amazon FlowTM、CamFindTM、VuforiaTM和WeChat Image PlatformTM的那些)的普及。移动视觉搜索引擎可以使用户能够采集关于在相机视场中可见的对象的信息。特意地，她/他将仅拍摄照片，然后，移动设备可以计算被发送到远程服务器并且匹配到数据库中以识别图像内容并且报告回相关信息的图像的表示。因此，存在可以适合用于例如移动设备中的改善的视觉搜索技术的继续需求。
技术实现思路
本公开的一个方面提供了一种设备，包括：一个或多个存储器，其在操作中存储数字图像信息；以及耦合到所述一个或多个存储器的数字图像处理电路装置，其中，所述数字图像处理电路装置在操作中：从与一个或多个数字图像有关的数字图像信息和数字深度信息提取局部描述符，所述局部描述符传达与所述一个或多个数字图像有关的外观描述信息和形状描述信息；基于所提取的局部描述符生成所述一个或多个数字图像的一个或多个全局表示；散列所述一个或多个数字图像的所述一个或多个全局表示；以及基于所散列的一个或多个全局表示生成一个或多个视觉搜索查询，其中，所述一个或多个视觉搜索查询包括在所述局部描述符中传达的融合的外观描述信息和形状描述信息。根据本公开的一个实施例，其中，所述数字图像处理电路装置在操作中：融合从所述数字图像信息提取的局部描述符和从所述数字深度信息提取的局部描述符；以及基于所融合的局部描述符生成所述一个或多个数字图像的所述一个或多个全局表示。根据本公开的一个实施例，其中，所述数字图像处理电路装置在操作中：融合在所述一个或多个全局表示中包括的外观描述信息和形状描述信息；以及散列包括所融合的外观描述信息和形状描述信息的所述一个或多个全局表示。根据本公开的一个实施例，其中，所述数字图像处理电路装置在操作中融合在所散列的一个或多个全局表示中包括的外观描述信息和形状描述信息。根据本公开的一个实施例，其中，所述一个或多个数字图像包括RGB-D数字图像。根据本公开的一个实施例，其中，所述数字图像处理电路装置在操作中选择性地变化在所述视觉搜寻查询的所融合的外观描述信息和形状描述信息中包括的所述外观描述信息和形状描述信息的相应的数量。根据本公开的一个实施例，其中，所述数字图像处理电路装置在操作中响应于视觉搜索响应信号选择性地变化相应的数量。根据本公开的一个实施例，其中，包括集成电路，所述集成电
路包括所述数字图像处理电路装置。本公开的一个方面提供了一种系统，包括：一个或多个图像捕获设备，其在操作中捕获数字图像；以及数字图像处理电路装置，其在操作中：从与一个或多个所捕获的数字图像有关的数字图像信息和数字深度信息提取局部描述符，所述局部描述符传达与所述一个或多个数字图像有关的外观描述信息和形状描述信息；基于所提取的局部描述符生成所述一个或多个数字图像的一个或多个全局表示；散列所述一个或多个数字图像的所述一个或多个全局表示；以及基于所散列的一个或多个全局表示生成一个或多个视觉搜索查询，其中，所述一个或多个视觉搜索查询包括在所述局部描述符中传达的所融合的外观描述信息和形状描述信息。根据本公开的一个实施例，其中，所述数字图像处理电路装置在操作中：融合从所述数字图像信息提取的局部描述符和从所述数字深度信息中提取的局部描述符；以及基于所融合的局部描述符生成所述一个或多个数字图像的所述一个或多个全局表示。根据本公开的一个实施例，其中，所述数字图像处理电路装置在操作中：融合在所述一个或多个全局表示中包括的外观描述信息和形状描述信息；以及散列包括所融合的外观描述信息和形状描述信息的所述一个或多个全局表示。根据本公开的一个实施例，其中，所述数字图像处理电路装置在操作中融合在所散列的一个或多个全局表示中包括的外观描述信息和形状描述信息。根据本公开的一个实施例，其中，所述数字图像处理电路装置在操作中选择性地变化在所述视觉搜寻查询的所融合的外观描述信息和形状描述信息中包括的所述外观描述信息和形状描述信息的相应的数量。在实施例中，一种方法，包括：使用数字图像处理电路装置从与一个或多个数字图像有关的数字图像信息和数字深度信息中提取局部描述符，该局部描述符传达与所述一个或多个数字图像有关的外观描述信息和形状描述信息；基于所提取的局部描述符使用数字图像处理电路装置生成一个或多个数字图像的一个或多个全局表示；使用数字图像处理电路装置散列所述一个或多个数字图像的所述一个或多个全局表示；并且基于所散列的一个或多个全局表示使用数字图像处理电路装置生成一个或多个视觉搜索查询，其中，所述一个或多个视觉搜索查询包括在局部描述符中传达的所融合的外观描述信息和形状描述信息。在实施例中，该方法包括：融合从所述数字图像信息中提取的局部描述符和从所述数字深度信息中提取的局部描述符；并且基于所融合的局部描述符生成所述一个或多个数字图像的所述一个或多个全局表示。在实施例中，该方法包括：融合包括在所述一个或多个全局表示中的外观描述信息和形状描述信息；以及随后散列所述一个或多个全局表示。在实施例中，该方法包括：在散列所述一个或多个全局表示之后，融合外观描述信息和形状描述信息。在实施例中，数字图像信息包括数字颜色信息。在实施例中，所述一个或多个数字图像包括RGB-D数字图像。在实施例中，该方法包括：选择性地变化包括在视觉搜寻查询的所融合的外观描述信息和形状描述信息中的所述外观描述信息和形状描述信息的相应的数量。在实施例中，一种设备，包括：一个或多个存储器，其在操作中存储数字图像信息；以及耦合到所述一个或多个存储器的数字图像处理电路装置，其中，该数字图像处理电路装置在操作中从与一个或多个数字图像有关的数字图像信息和数字深度信息中提取局部描述符，该局部描述符传达与所述一个或多个数字
图像有关的外观描述信息和形状描述信息；基于所提取的局部描述符生成所述一个或多个数字图像的所述一个或多个全局表示；散列所述一个或多个数字图像的所述一个或多个全局表示；并且基于所散列的一个或多个全局表示生成一个或多个视觉搜索查询，其中，所述一个或多个视觉搜索查询包括在局部描述符中传达的所融合的外观描述信息和形状描述信息。在实施例中，该数字图像处理电路装置在操作中融合从所述数字图像信息中提取的局部描述符和从所述数字深度信息中提取的局部描述符；并且基于所融合的局部描述符生成所述一个或多个数字图像的所述一个或多个全局表示。在实施例中，该数字图像处理电路装置在操作中融合包括在所述一个或多个全局表示中的外观描述信息和形状描述信息；并且散列包括所融合的外观描述信息和形状描述信息的所述一个或多个全局表示。在实施例中，该数字图像处理电路装置在操作中融合包括在所散列的一个或多个全局表示中的外观描述信息和形状描述信息。在实施例中，所述一个或多个数字图像包括RGB-D数字图像。在实施例中，该数字图像处理电路装置在操作中选择性地变化包括在视觉搜寻查询的所融合的外观描述信息和形状描述信息中的所述外观描述信息和形本文档来自技高网...

【技术保护点】
一种视觉搜索设备，其特征在于，包括：一个或多个存储器，其在操作中存储数字图像信息；以及耦合到所述一个或多个存储器的数字图像处理电路装置，其中，所述数字图像处理电路装置在操作中：从与一个或多个数字图像有关的数字图像信息和数字深度信息提取局部描述符，所述局部描述符传达与所述一个或多个数字图像有关的外观描述信息和形状描述信息；基于所提取的局部描述符生成所述一个或多个数字图像的一个或多个全局表示；散列所述一个或多个数字图像的所述一个或多个全局表示；以及基于所散列的一个或多个全局表示生成一个或多个视觉搜索查询，其中，所述一个或多个视觉搜索查询包括在所述局部描述符中传达的融合的外观描述信息和形状描述信息。

【技术特征摘要】
2015.08.28 IT 1020150000471341.一种视觉搜索设备，其特征在于，包括：一个或多个存储器，其在操作中存储数字图像信息；以及耦合到所述一个或多个存储器的数字图像处理电路装置，其中，所述数字图像处理电路装置在操作中：从与一个或多个数字图像有关的数字图像信息和数字深度信息提取局部描述符，所述局部描述符传达与所述一个或多个数字图像有关的外观描述信息和形状描述信息；基于所提取的局部描述符生成所述一个或多个数字图像的一个或多个全局表示；散列所述一个或多个数字图像的所述一个或多个全局表示；以及基于所散列的一个或多个全局表示生成一个或多个视觉搜索查询，其中，所述一个或多个视觉搜索查询包括在所述局部描述符中传达的融合的外观描述信息和形状描述信息。2.根据权利要求1所述的视觉搜索设备，其特征在于，其中，所述数字图像处理电路装置在操作中：融合从所述数字图像信息提取的局部描述符和从所述数字深度信息提取的局部描述符；以及基于所融合的局部描述符生成所述一个或多个数字图像的所述一个或多个全局表示。3.根据权利要求1所述的视觉搜索设备，其特征在于，其中，所述数字图像处理电路装置在操作中：融合在所述一个或多个全局表示中包括的外观描述信息和形状描述信息；以及散列包括所融合的外观描述信息和形状描述信息的所述一个或多个全局表示。4.根据权利要求1所述的视觉搜索设备，其特征在于，其中， 所述数字图像处理电路装置在操作中融合在所散列的一个或多个全局表示中包括的外观描述信息和形状描述信息。5.根据权利要求1所述的视觉搜索设备，其特征在于，其中，所述一个或多个数字图像包括RGB-D数字图像。6.根据权利要求1所述的视觉搜索设备，其特征在于，其中，所述数字图像处理电路装置在操作中选择性地变化在所述视觉搜寻查询的所融合的外观描述信息和形状描述信息中包括的所述外观描述信息和形状描述信息的相应的数...

【专利技术属性】
技术研发人员：D·P·帕乌，A·彼得雷利，L·D·斯特凡诺，
申请(专利权)人：意法半导体股份有限公司，
类型：新型
国别省市：意大利;IT