【技术实现步骤摘要】
本申请涉及计算机视觉，特别是涉及一种多目标图像查询方法、装置和存储介质。
技术介绍
1、随着视联网技术的快速发展，摄像头设备在安全监控、交通管理等多个领域发挥着重要作用。这些设备每日生成的告警图像数量庞大，用户对于检索这些图像的需求日益增长，快速且准确地检索这些图像变得尤为重要，不仅需要基于告警消息属性的传统查询方式，同时也需要直接根据图像内容进行搜索。
2、现有技术方案主要包括：基于标签的图像检索，利用预先为图像打上的标签，用户可以通过选择相应的标签作为关键字进行搜索。基于特征提取的图像检索，通过对图像进行特征提取，然后基于特征向量的比对来完成图像的检索。
3、以上图像检索的方案在图像中包含多目标的情况下，存在检索精度和召回率低的问题，具体的，当图像库的图像存在多个目标时，存在多个目标特征值，而输入图像的特征为单目标特征值时，特征匹配结果为相似度低，难以检出，如果提高检测阈值，保持了精准率，但降低了召回率，如果降低检测阈值，保持了召回率，但降低了精准率。另外，当多个目标之间彼此有联系时，又会存在误检问题，针对多目标进行分割为一个个单目标，会存在本来为一个整体目标的被误认为两个目标，比如人骑车，会误检出只要有人和车的图像都被会检索出来，抱小孩的女人，会把有小孩和女人的图像都检索出来。
4、综上所述，面对视联网多目标图像检索场景，目前的图像检索方案在检索精度、误检率等方面仍有不足。
技术实现思路
1、本申请实施例中提供了一种多目标图像查询方法、装置
2、为达到上述目的，本申请的实施例采用如下技术方案：
3、第一方面，本申请实施例提供一种多目标图像查询方法，所述方法包括：
4、获取查询信息和多张备选图像；
5、对每张所述备选图像进行目标分割处理，得到从所述备选图像中分割出的每个第一目标对应的每张单体图像以及相关联的多个第一目标对应的第一复合图像；
6、分别从所述单体图像、所述第一复合图像中提取特征信息，得到所述单体图像对应的第一特征向量、所述第一复合图像对应的第二特征向量；
7、构建所述备选图像与所述第一特征向量、所述第二特征向量之间的对应关系，将所述第一特征向量、所述第二特征向量存储到向量数据库中；
8、根据所述查询信息对所述向量数据库进行查询，输出匹配所述查询信息的备选图像。
9、结合第一方面，在一种可能的设计方式中，所述对每张所述备选图像进行目标分割处理，得到从所述备选图像中分割出的每个第一目标对应的每张单体图像以及相关联的多个第一目标对应的第一复合图像，包括：
10、对每张备选图像进行目标识别处理，获取每个第一目标在所述备选图像中的第一目标区域；
11、在所述备选图像包括多个第一目标的情况下，识别多个第一目标之间的关联信息，如果所述关联信息指示多个第一目标之间相关联，则获取相关联的多个第一目标在所述备选图像中的第一复合区域；
12、从所述备选图像中分割出所述第一目标区域对应的单体图像以及所述第一复合区域对应的第一复合图像。
13、结合第一方面，在一种可能的设计方式中，所述识别多个第一目标之间的关联信息，如果所述关联信息指示多个第一目标之间相关联，则获取相关联的多个第一目标在所述备选图像中的第一复合区域，包括：
14、识别多个第一目标对应的第一目标区域之间的重叠信息；
15、以多个第一目标区域之间的重叠信息表征多个第一目标之间的关联信息，如果所述重叠信息指示多个第一目标对应的第一目标区域之间相重叠，则获取相关联的多个第一目标在所述备选图像中的第一复合区域。
16、结合第一方面，在一种可能的设计方式中，所述获取相关联的多个第一目标在所述备选图像中的第一复合区域，包括：
17、获取相关联的多个第一目标中的每个第一目标对应的检测边框；
18、将能够包含每个所述检测边框的最小矩形围成的区域作为多个第一目标在所述备选图像中的第一复合区域。
19、结合第一方面，在一种可能的设计方式中，所述以多个第一目标区域之间的重叠信息表征多个第一目标之间的关联信息，包括：
20、如果识别到多个第一目标区域两两重叠或多个第一目标区域互相重叠，则确定所述多个第一目标之间相关联；
21、如果识别到多个第一目标区域互不重叠，则确定所述多个第一目标之间不关联。
22、结合第一方面，在一种可能的设计方式中，在所述查询信息是查询图像的情况下，所述根据所述查询信息对所述向量数据库进行查询，输出匹配所述查询信息的备选图像，包括：
23、对所述查询图像进行目标识别处理，在所述查询图像中对识别到的每个第二目标进行标注；
24、在检测到用户对多个第二目标的选中操作之后，识别多个第二目标之间的关联信息；
25、如果所述关联信息指示多个第二目标之间相关联，则获取相关联的多个第二目标在所述查询图像中的第二复合区域；
26、从所述查询图像中分割出所述第二复合区域对应的第二复合图像；
27、从所述第二复合图像中提取特征信息，得到所述第二复合图像对应的第三特征向量；
28、根据所述第三特征向量对所述向量数据库进行查询，输出匹配所述第三特征向量的备选图像。
29、结合第一方面，在一种可能的设计方式中，在所述查询信息是查询文本的情况下，所述根据所述查询信息对所述向量数据库进行查询，输出匹配所述查询信息的备选图像，包括：
30、将所述查询文本通过多模态大模型向量化，并在所述多模态大模型的图文特征向量空间中与所述第一特征向量对齐特性，得到第四特征向量；
31、根据所述第四特征向量与对所述向量数据库进行查询，输出匹配所述第四特征向量的备选图像。
32、结合第一方面，在一种可能的设计方式中，所述构建所述备选图像与所述第一特征向量、所述第二特征向量之间的对应关系，将所述第一特征向量、所述第二特征向量存储到向量数据库中，包括：
33、基于所述第一特征向量、所述第二特征向量生成所述备选图像的目标标签；
34、将相同图像类别的所述备选图像对应的所述第一特征向量、所述第二特征向量存储于向量数据库的同一分区中，其中，所述图像类别包括所述备选图像的目标标签、拍摄设备、拍摄时刻；
35、所述根据所述查询信息对所述向量数据库进行查询，输出匹配所述查询信息的备选图像，包括：
36、获取所述查询信息待查询的图像类别，将所述查询信息输入至与所述待查询的图像类别相匹配的所述向量数据库的分区中进行查询，输出所述分区中匹配所述查询信息的备选图像。
37、第二方面，本申请实施例提供一种多目标图像查询装置，包括：
38、数据获取模块，用于获取查询信息和多张本文档来自技高网...
【技术保护点】
1.一种多目标图像查询方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多目标图像查询方法，其特征在于，所述对每张所述备选图像进行目标分割处理，得到从所述备选图像中分割出的每个第一目标对应的每张单体图像以及相关联的多个第一目标对应的第一复合图像，包括：
3.根据权利要求2所述的多目标图像查询方法，其特征在于，所述识别多个第一目标之间的关联信息，如果所述关联信息指示多个第一目标之间相关联，则获取相关联的多个第一目标在所述备选图像中的第一复合区域，包括：
4.根据权利要求2或权利要求3所述的多目标图像查询方法，其特征在于，所述获取相关联的多个第一目标在所述备选图像中的第一复合区域，包括：
5.根据权利要求3所述的多目标图像查询方法，其特征在于，所述以多个第一目标区域之间的重叠信息表征多个第一目标之间的关联信息，包括：
6.根据权利要求1所述的多目标图像查询方法，其特征在于，在所述查询信息是查询图像的情况下，所述根据所述查询信息对所述向量数据库进行查询，输出匹配所述查询信息的备选图像，包括：
7.根据权利要
8.根据权利要求6或权利要求7所述的多目标图像查询方法，其特征在于，所述构建所述备选图像与所述第一特征向量、所述第二特征向量之间的对应关系，将所述第一特征向量、所述第二特征向量存储到向量数据库中，包括：
9.一种多目标图像查询装置，其特征在于，包括：
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至权利要求8中任一项所述的多目标图像查询方法。
...【技术特征摘要】
1.一种多目标图像查询方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多目标图像查询方法，其特征在于，所述对每张所述备选图像进行目标分割处理，得到从所述备选图像中分割出的每个第一目标对应的每张单体图像以及相关联的多个第一目标对应的第一复合图像，包括：
3.根据权利要求2所述的多目标图像查询方法，其特征在于，所述识别多个第一目标之间的关联信息，如果所述关联信息指示多个第一目标之间相关联，则获取相关联的多个第一目标在所述备选图像中的第一复合区域，包括：
4.根据权利要求2或权利要求3所述的多目标图像查询方法，其特征在于，所述获取相关联的多个第一目标在所述备选图像中的第一复合区域，包括：
5.根据权利要求3所述的多目标图像查询方法，其特征在于，所述以多个第一目标区域之间的重叠信息表征多个第一目标之间的关联信息，包括：
6.根据权...
【专利技术属性】
技术研发人员：邵浩云，段金辉，何志文，潘浩，
申请(专利权)人：天翼视联科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。