基于语义的透视图像检索方法及其装置制造方法及图纸

本申请提供了基于语义的透视图像检索方法、基于语义的透视图像检索装置、电子设备、以及计算机可读介质，所述方法包括：由透视图获取装置获得针对其中包括被查验对象的空间的透视图像；利用第一方法对透视图像进行语义划分，以获得多个语义区域单元；利用第二方法构建特征提取网络；基于透视图像及其多个语义区域单元中的每个语义区域单元，利用特征提取网络提取针对每个语义区域单元的特征；以及基于针对每个语义区域单元的特征，从图像特征库中检索与该语义区域单元最相似的图像，以用于辅助确定该语义区域单元中的被查验对象。助确定该语义区域单元中的被查验对象。助确定该语义区域单元中的被查验对象。

【技术实现步骤摘要】
基于语义的透视图像检索方法及其装置


[0001]本公开涉及图像识别领域，并且更具体地涉及一种基于语义的透视图像检索方法、一种基于语义的透视图像检索装置、一种电子设备以及一种计算机可读存储介质。

技术介绍

[0002]利用透视图像对封闭空间(例如，集装箱、行李箱包、火车车厢、厢式货车、小货车等)中包括的被查验对象进行查验是海关通关以及其他安防业务采用的重要手段之一。透视图像的成像原理使得其与自然图像有明显差异，这种差异会增加查验人员直观理解图像的难度，使得查验人员对敏感物品的敏感性降低，给相应安防业务带来了巨大的挑战。
[0003]因此，需要一种更高效且更精确的透视图像检索方法。

技术实现思路

[0004]为了解决现有技术的问题，本申请提供了一种基于语义的透视图像检索方法及其装置。根据本申请的方法包括三个阶段，分别为图像语义理解阶段、图像特征表示阶段、图像检索阶段。
[0005]图像语义理解阶段，是对透视图像进行语义要素提取，将图像划分成视觉可分的独立物体区域，独立物体区域即为语义区域，后续检索将对划分的每一语义区域进行单独检索。
[0006]图像特征表示阶段是对每一划分的图像语义区域进行特征表示，该特征能够描述图像每一语义区域的主要信息。
[0007]图像检索阶段是从历史图像特征库中按照某种准则，为每一透视图像的语义区域进行检索。
[0008]简言之，以上三个阶段可对透视图像进行语义区域划分，并为每一区域检索历史相似区域及其历史申报信息，辅助查验人员对每一图像语义区域进行对比分析。
[0009]图像语义理解阶段，该阶段主要在于，对透视图像按照不同的视觉形态或不同的摆放形式，将其拆分为肉眼可分的不同语义区域，并且所有语义区域需要覆盖整个透视图像的物体范围。解决该问题的相关技术主要是似物性推荐方法(objectness proposal)，在深度学习领域中采用区域推荐网络(Region Proposal Net，RPN)的方法较为普遍。该阶段使得图像检索具有针对性和局部性，可以对图像的各个独立区域进行精细化检索。
[0010]图像特征表示阶段，该阶段主要针对上一阶段划分出的图像语义区域进行特征表示。本阶段利用深度学习技术对图像进行特征表示，深度学习方法相较于传统表示方法具有较大的优势，传统方法提取的特征一般是人为设计出的固定特征，具有一定的局限性，而基于深度学习的方法是根据训练数据本身特性自主学习出的更有效特征，更具有适应性，更利于图像检索。
[0011]图像检索阶段，该阶段检索的基本单元为第一阶段划分出的覆盖整个图像范围中的每一语义区域。针对每一区域，将在历史图像中为其匹配最相似图像区域并给出相似图
像区域的申报信息和相似度信息，辅助查验人员对透视图像每一区域进行对比，帮助其对每一区域进行理解，具有对混杂透视图像进行每一区域检索的特点。需要注意的是，在对每一划分区域进行检索前，需要事先构建历史图像特征库，历史图像特征库中的每一特征以划分出的语义区域为基本单元，并且需具有描述该特征所属货物类别、区域图像归属、区域所在图像的申报信息、物体区域坐标等信息。
[0012]具体地，在本申请的第一方面中，提供了一种基于语义的透视图像检索方法，可以包括：由透视图获取装置获得针对其中包括被查验对象的空间的透视图像；利用第一方法对所述透视图像进行语义划分，以获得多个语义区域单元；利用第二方法构建特征提取网络；基于所述透视图像及其所述多个语义区域单元中的每个语义区域单元，利用所述特征提取网络提取针对每个语义区域单元的特征；以及基于针对每个语义区域单元的特征，从图像特征库中检索与该语义区域单元最相似的图像，以用于辅助确定该语义区域单元中的被查验对象。
[0013]根据第一方面，其中，所述第一方法是以下方法中的一种或多种：选择性搜索、似物性方法、区域推荐网络RPN。
[0014]根据第一方面，其中，所述第二方法为在基础网络Resnet中引入特征金字塔网络FPN。
[0015]根据第一方面，其中，基于所述透视图像及其所述多个语义区域单元中的每个语义区域单元利用所述特征提取网络提取针对每个语义区域单元的特征包括：基于所述透视图像，利用所述特征提取网络获得针对所述透视图像的特征图；以及基于每个语义区域单元在所述透视图像中的坐标，在所述特征图中获得针对每个语义区域单元的相应特征。
[0016]根据第一方面，所述方法还可以包括：对所获得的针对每个语义区域单元的相应特征执行特征维度固定，以使得针对每个语义区域单元的相应特征被归一化成相同大小的特征维度。
[0017]根据第一方面，其中，所述图像特征库是基于历史的不具有嫌疑物的透视图像建立的，并且其中，用于建立所述图像特征库的透视图像记录有一个或多个条目信息。
[0018]根据第一方面，其中，基于所述条目信息从所述图像特征库中检索与语义区域单元最相似的图像。
[0019]根据第一方面，其中，与语义区域单元最相似的图像为预定数量个图像。
[0020]根据第一方面，所述方法还可以包括：通过显示单元显示与所述被查验对象相关的信息。
[0021]在本申请的第二方面中，提供了一种基于语义的透视图像检索装置，可以包括：透视图获取模块，被配置为获得针对其中包括被查验对象的封闭空间的的透视图像；图像语义划分模块，被配置为利用第一方法对所述透视图像进行语义划分，以获得多个语义区域单元；特征提取模块，被配置为：利用第二方法构建特征提取网络；以及基于所述透视图像及其所述多个语义区域单元中的每个语义区域单元，利用所述特征提取网络提取针对每个语义区域单元的特征；以及图像检索模块，被配置为基于针对每个语义区域单元的特征，从图像特征库中检索与该语义区域单元最相似的图像，以帮助确定该语义区域单元中的被查验对象。
[0022]在本申请的第三方面中，提供了一种电子设备，可以包括：一个或多个处理器；以
及存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现根据第一方面所述的方法。
[0023]在本申请的第四方面中，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现根据第一方面所述的方法。
[0024]基于以上方面，利用图像检索技术为透视图像的每一语义区域提供相似图像和申报信息推荐，对海关通关、箱包查验等安防领域有积极作用。当前技术手段是利用模式识别，针对整体区域进行检索，并没有考虑被查验对象的语义要素，而实际应用中针对混杂的被查验对象的情况，将可分的语义区域作为最小单元进行检索是非常必要的。
[0025]本专利考虑图像语义信息，对图像进行语义要素提取，以透视图像每一语义区域为基本单元进行检索，给出每一语义区域的相似物体区域和申报信息等，使得查验人员能进行图像区域的对比，提升辅助查验的能力。
附图说明
[0026]通过参考附图详细描述本公开的实施例，本公开的上述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义的透视图像检索方法，包括：由透视图获取装置获得针对其中包括被查验对象的空间的透视图像；利用第一方法对所述透视图像进行语义划分，以获得多个语义区域单元；利用第二方法构建特征提取网络；基于所述透视图像及其所述多个语义区域单元中的每个语义区域单元，利用所述特征提取网络提取针对每个语义区域单元的特征；以及基于针对每个语义区域单元的特征，从图像特征库中检索与该语义区域单元最相似的图像，以用于辅助确定该语义区域单元中的被查验对象。2.根据权利要求1所述的基于语义的透视图像检索方法，其中，所述第一方法是以下方法中的一种或多种：选择性搜索、似物性方法、区域推荐网络RPN。3.根据权利要求1所述的基于语义的透视图像检索方法，其中，所述第二方法为在基础网络Resnet中引入特征金字塔网络FPN。4.根据权利要求1所述的基于语义的透视图像检索方法，其中，基于所述透视图像及其所述多个语义区域单元中的每个语义区域单元利用所述特征提取网络提取针对每个语义区域单元的特征包括：基于所述透视图像，利用所述特征提取网络获得针对所述透视图像的特征图；以及基于每个语义区域单元在所述透视图像中的坐标，在所述特征图中获得针对每个语义区域单元的相应特征。5.根据权利要求4所述的基于语义的透视图像检索方法，还包括：对所获得的针对每个语义区域单元的相应特征执行特征维度固定，以使得针对每个语义区域单元的相应特征被归一化成相同大小的特征维度。6.根据权利要求1所述的基于语义的透视图像检索方法，其中，所述图像特征库是基于...

【专利技术属性】
技术研发人员：张丽，陈志强，李元景，邢宇翔，孟凡华，李强，李苇，傅罡，
申请(专利权)人：同方威视技术股份有限公司，
类型：发明
国别省市：