基于二分图和图注意力机制的模板匹配系统及匹配方法技术方案

本发明专利技术涉及一种基于二分图和图注意力机制的模板匹配方法，其特征是：构建MLF网络模块，用于提取模板图像和搜索图像的融合特征；构建BGAM网络模块，用于编码模板节点与搜索节点的关系，并为每个搜索节点和模板节点聚合相应的局部信息，生成定位模板的响应图；系统，包括网络构建模块、学习与预训练模块和计算与定位模块。有益效果：本发明专利技术实现了模板图像和搜索图像间局部到局部的信息传递，MLF网络模块通过融合目标不同层次表征意义的特征，提升了对模板目标的表示能力。本方法在众多实际的复杂场景中都可以准确稳定的实现模板匹配，减少了计算量和显存占用，利于在工程实践中部署。利于在工程实践中部署。利于在工程实践中部署。

【技术实现步骤摘要】
基于二分图和图注意力机制的模板匹配系统及匹配方法


[0001]本专利技术属于计算机视觉与图像处理
，尤其涉及一种基于二分 图和图注意力机制的模板匹配系统及匹配方法。

技术介绍

[0002]模板匹配是计算机视觉与图像处理
中最为基础的任务之一。 给定一个模板图像，模板匹配技术即可在搜索图像中自动地估计出目标的 位置及尺度信息。该技术被广泛应用于图像匹配、标志识别、三维重建和 军事领域等方面。尽管现有的模板匹配技术取得了长足的发展，但是在复 杂场景下，由于遮挡、变形、背景变化等诸多原因，实现准确鲁棒的模板 匹配仍然是一项具有挑战性的任务。
[0003]对于传统的模板匹配算法，例如平方差和、绝对值差和、归一化互相 关等，都是以构造更加精确的相似度度量为出发点，来提升模板匹配的精 度。这类算法以像素为基本特征单元，通过滑动窗口的方式计算相似度， 当模板的背景出现变化时，算法的精度会大幅降低。
[0004]近年来，随着深度学习方法的发展，特别是卷积神经网络 (Convolutional Neural Network，CNN)在目标分类、目标检测等计算 机视觉与图像处理领域的出色表现，图像的深度卷积特征也被逐渐用于模 板匹配任务中。已有的一些算法一定程度上解决了目标遮挡、非刚性变形 或目标背景变化等问题，但由于所设计的相似度度量复杂，使得算法的计 算量巨大。而且，现有的应用CNN的模板匹配算法，将整个模板图像特征 作为一个整体来匹配搜索图像特征，忽略了模板图像和搜索图像之间的局 部对应关系，因此在目标的形状、姿态以及背景发生变化时，匹配的准确 性难以保证。

技术实现思路

[0005]本专利技术的目的在于克服上述技术的不足，而提供一种基于二分图和图 注意力机制的模板匹配系统及匹配方法，在目标的形状、姿态以及背景发 生变化时，提高了模板匹配的准确性，减少计算量和显存占用，利于在工 程实践中部署。
[0006]本专利技术为实现上述目的，采用以下技术方案：一种基于二分图和图注 意力机制的模板匹配系统，包括网络构建模块、学习与预训练模块和计算 与定位模块，
[0007]所述网络构建模块用于在孪生网络框架下，构建多层次特征融合MLF 模块，用于提取模板图像和搜索图像的融合特征并建模，构建BGAM模块；
[0008]所述学习与预训练模块用于利用大规模数据图像数据集，对所述孪生 网络模型进行预训练，通过对模板图像和搜索图像的多层次融合特征，以 及所述BGAM模块中的图注意力聚合特征进行学习，以得到模板图像和搜 索图像之间的局部对应信息；
[0009]所述计算与定位模块用于利用经预训练后的孪生网络模型，分别从模 板分支和搜索分支中提取所述模板图像与搜索图像的融合特征并输入到 BGAM网络模块，生成用于定位模板的响应图。
[0010]一种基于二分图和图注意力机制的模板匹配方法，构建MLF网络模 块，用于提取模板图像和搜索图像的融合特征；构建BGAM网络模块， 用于编码模板节点与搜索节点的关系，并为每个搜索节点和模板节点聚合 相应的局部信息，生成定位模板的响应图；具体步骤如下：
[0011]一)在孪生网络框架下，基于CNN卷积神经网络模型构建多层次特征 融合MLF网络模块；
[0012]二)在孪生网络框架下，构建基于二分图及图注意力机制的局部信息 匹配BGAM网络模块，通过二分图及图注意力机制来编码模板节点与搜 索节点的关系，通过学习注意力系数，为每个搜索节点和模板节点聚合相 应的局部信息，为后续模板定位生成定位模板的响应图；
[0013]三)所述MLF网络模块和BGAM网络模块构建孪生网络模型，利用 大规模数据集对构建的孪生网络模型进行预训练，并对孪生网络模型中的 参数进行调整；
[0014]四)经预训练后的所述MLF网络模块使用CNN卷积神经网络的不同 卷积层的输出结果作为MLF网络模块的输入来提取模板图像和搜索图像 的融合特征；
[0015]五)将所述模板图像的融合特征和搜索图像的融合特征输入到BGAM 网络模块，对输入的融合特征进行完全二分图建模并编码模板节点与搜索 节点的局部特征关系，分别得到模板图像和搜索图像的图注意力聚合特 征，通过卷积互相关的方式，计算两个子图间的相似度得分，生成定位模 板的响应图；
[0016]六)根据响应图定位模板图像的位置及尺度信息，相似度得分最高的 区域，即得最佳匹配区域。
[0017]进一步的，步骤四)中，所述CNN卷积神经网络的不同卷积层的输 出大小通过双三次插值调整到相同大小，其中，为每个卷积特征乘上一个 权重系数，多层次特征融合MLF网络模块的公式表述为：
[0018][0019]其中，||表示在通道维度进行连接，α
i
(i＝1,2,3,...,n)为不同卷积层特征C
i
的权重系数，且满足约束α
i
(i＝1,2,3,...,n)∈[0,1]，
[0020]进一步的，步骤五)中，所述模板图像的融合特征F
t
和搜索图像的融 合特征F
s
中的每一个1
×1×
c的网格视为一个节点，该节点则表征了特征图 的局部信息，其中c表示特征通道的数量；设V
t
为包含F
t
中所有节点的集 合，设S
t
为包含S
t
中所有节点的集合，则描述模板目标和搜索区域之间局 部特征关系的完全二分图可定义为：
[0021][0022]完全二分图G的两个子图定义为：和对于每个 (i,j)∈E，令e
ij
表示节点i∈V
t
和节点j∈V
s
的相关分数其中 和是节点i和节点j的特征向量；
[0023]为了自适应地学习节点之间的相关性，对节点特征进行线性变换，取 变换后的特征向量之间的内积来计算相关分数，即其中W
t
和W
s
是线性变换矩阵；
[0024]为了平衡传递到搜索区域的信息量，使用softmax函数对e
ij
进行归一化， 得到图注意力系数此时，a
ij
的含义可描述为：模板特征 上的每一个节点i应该给予搜索节点j多少“注意力”；
[0025]进一步地，步骤五)所述完全二分图G，利用从子图G
t
中的所有节点 传递到子图G
s
中第j个节点的注意力，计算节点j的注意力聚合特征 其中W
v
为用于线性变换的矩阵；使用多头注意力的方式扩 展图注意力机制使用K个独立的注意力机制分别进行计算，然后将计算所 得的特征串联起来，得到大小为的图注意力聚合特征
[0026][0027]同理，计算从子图G
s
所有节点映射到子图G
t
第i个节点的注意力机制聚 合特征，可表示为
[0028][0029]有益效果：与现有技术相比，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二分图和图注意力机制的模板匹配系统，其特征是：所述模板匹配系统包括网络构建模块、学习与预训练模块和计算与定位模块，所述网络构建模块用于在孪生网络框架下，构建多层次特征融合MLF模块，用于提取模板图像和搜索图像的融合特征并建模，构建BGAM模块；所述学习与预训练模块用于利用大规模数据图像数据集，对所述孪生网络模型进行预训练，通过对模板图像和搜索图像的多层次融合特征，以及所述BGAM模块中的图注意力聚合特征进行学习，以得到模板图像和搜索图像之间的局部对应信息；所述计算与定位模块用于利用经预训练后的孪生网络模型，分别从模板分支和搜索分支中提取所述模板图像与搜索图像的融合特征并输入到BGAM网络模块，生成用于定位模板的响应图。2.一种基于二分图和图注意力机制的模板匹配方法，其特征是：应用权利要求1所述的模板匹配系统，构建MLF网络模块，用于提取模板图像和搜索图像的融合特征；构建BGAM网络模块，用于编码模板节点与搜索节点的关系，并为每个搜索节点和模板节点聚合相应的局部信息，生成定位模板的响应图；具体步骤如下：一)在孪生网络框架下，基于CNN卷积神经网络模型构建多层次特征融合MLF网络模块；二)在孪生网络框架下，构建基于二分图及图注意力机制的局部信息匹配BGAM网络模块，通过二分图及图注意力机制来编码模板节点与搜索节点的关系，通过学习注意力系数，为每个搜索节点和模板节点聚合相应的局部信息，为后续模板定位生成定位模板的响应图；三)所述MLF网络模块和BGAM网络模块构建孪生网络模型，利用大规模数据集对构建的孪生网络模型进行预训练，并对孪生网络模型中的参数进行调整；四)经预训练后的所述MLF网络模块使用CNN卷积神经网络的不同卷积层的输出结果作为MLF网络模块的输入来提取模板图像和搜索图像的融合特征；五)将所述模板图像的融合特征和搜索图像的融合特征输入到BGAM网络模块，对输入的融合特征进行完全二分图建模并编码模板节点与搜索节点的局部特征关系，分别得到模板图像和搜索图像的图注意力聚合特征，通过卷积互相关的方式，计算两个子图间的相似度得分，生成定位模板的响应图；六)根据响应图定位模板图像的位置及尺度信息，相似度得分最高的区域，即得最佳匹配区域。3.根据权利要求2所述的基于二分图和图注意力机制的模板匹配方法，其特征是：步骤四)中，所述CNN卷积神经网络的不同卷积层的输出大小通过双三次插值调整到相同大小，其中，为每个卷积特征乘上一个权重系数，多层...

【专利技术属性】
技术研发人员：赵凯，徐友春，朱愿，潘世举，李华，王任栋，苏致远，
申请(专利权)人：中国人民解放军陆军军事交通学院军事交通运输研究所，
类型：发明
国别省市：