【技术实现步骤摘要】
本专利技术涉及电路板图像配准，特别涉及一种基于语义特征引导的电路板图像跨域配准模型及方法。
技术介绍
1、电路板图像配准是工业领域中一项关键技术，常用于解决不同感光设备在不同环境下采集的样本图像的比对问题。
2、当前主流的电路板图像配准方法如下所述：
3、1、基于传统机器视觉特征的图像配准方法：包括基于灰度信息、特征和变换域的图像配准方法，这些方法通过找到图像中的显著特征，并利用这些特征进行匹配和变换，从而实现图像的配准。
4、2、基于神经网络特征的图像特征点配准方法：该方法沿用了基于传统机器视觉特征的图像配准思想，如点特征和纹理特征等，但是其通过神经网络模型提取特征，优化了特征表达。
5、然而，以上两种主流的电路板图像配准方法也存在着一些缺陷，具体如下：
6、1、基于传统机器视觉特征的图像配准方法主要依赖人工定义的特征模式提取图像特征，这种方法容易受到图像分辨率、旋转角度和图像噪声等因素的影响，导致鲁棒性不足。
7、2、基于神经网络特征的图像配准方法主要依赖数据学习特征模式，适应各种复杂特征匹配的场景。然而，当电路板图像和基准电路板图像存在较大的域差时，该方法难以达到理想的匹配效果。
技术实现思路
1、为了解决当前主流的电路板图像配准方法存在的缺陷与不足，本专利技术中披露了一种基于语义特征引导的电路板图像跨域配准模型及方法，用以增强鲁棒性并提高图像特征匹配性，本专利技术的技术方案是这样实施的：
2
3、所述图像特征提取模块用于提取图像的图像特征；
4、所述语义特征提取模块用于提取图像的语义特征；
5、所述语义植入模块用于融合图像的语义特征和图像特征，得到含语义信息的图像特征；
6、所述特征匹配模块用于将图像的含语义信息的图像特征转换为特征匹配矩阵。
7、所述特征匹配模块包括位置编码层模块、自注意力层模块、交叉注意力层模块和多层感知机模块。
8、所述特征匹配模块中设置有损失函数，具体如下：
9、所述损失函数包括语义triplet损失函数、控制匹配损失函数和精细匹配损失函数；
10、总损失＝语义triplet损失函数+控制匹配损失函数+精细匹配损失函数；
11、其中，语义triplet损失函数：
12、
13、其中，c表示语义类别，t表示采样数量(采样语义类别置信度数值排名前t的样本)，d(·，·)表示l2距离，表示前t个正样本距离，表示前t个负样本距离，m为距离间隔，[·]+表示合页函数。
14、控制匹配损失函数：
15、
16、其中，mds代表控制匹配矩阵，mgt定义为两组1/8分辨率图像中匹配的互近邻，i、j分别是控制匹配矩阵的行列次序数。
17、精细匹配损失函数：
18、
19、其中，是通过高分辨率特征预测的从图a到图b的匹配位置的数学期望，是通过空间变换转换从图a的高分辨率到图b的高分辨率的真实匹配位置，mf是所有精细匹配项，代表特征图的方差。
20、本专利技术的第二个方面是公开了一种基于语义特征引导的电路板图像跨域配准方法，包括步骤如下：
21、s1、训练所述模型；
22、具体地，所述步骤s1中使用数据训练所述模型包括预训练和正式训练。
23、预训练：将电路板图像语义分割数据集输入所述语义特征提取模块进行预训练。
24、正式训练：将训练用电路板图像和基准电路板图像输入所述模型进行正式训练，其中，所述语义特征提取模块的参数值为冻结状态，在正式训练过程中不更新，所述特征匹配模块输出的特征匹配矩阵需要满足所述损失函数的最小总损失。
25、s2、将待测电路板图像和基准电路板图像输入训练好的模型；
26、s3、所述图像特征提取模块提取所述待测电路板图像的图像特征和所述基准电路板图像的图像特征；
27、所述语义特征提取模块提取所述待测电路板图像的语义特征和所述基准电路板图像的语义特征；
28、s4、将所述待测电路板图像的图像特征和语义特征、所述基准电路板图像的图像特征和语义特征输入到所述语义植入模块中；
29、s5、所述语义植入模块融合所述待测电路板图像的图像特征和语义特征，得到所述待测电路板图像的含语义信息的图像特征；
30、所述语义植入模块融合所述基准电路板图像的图像特征和语义特征，得到所述基准电路板图像的含语义信息的图像特征；
31、具体地，所述语义特征添加全局平均池化，获得语义潜在向量，再通过公式计算，对所述图像特征进行细化，所述公式如下所示：
32、
33、其中，hg表示提取的图像特征，hs代表语义潜在向量，和表示hg在通道级上的均值和方差，γ(hs)和β(hs)表示用1x1卷积神经网络对hs提取的语义信息。
34、s6、将所述待测电路板图像的含语义信息的图像特征和所述基准电路板图像的含语义信息的图像特征输入到所述特征匹配模块；
35、s7、所述特征匹配模块将所述待测电路板图像的含语义信息的图像特征和所述基准电路板图像的含语义信息的图像特征转化为特征匹配矩阵。
36、对所述待测电路板图像的含语义信息的图像特征进行拉平，得到所述待测电路板图像的线结构的序列特征，然后输入位置编码层模块进行位置编码，并与所述序列特征融合，得到带有位置编码的序列特征，再将一个所述带有位置编码的序列特征输入所述自注意力层模块进行自变换，得到所述待测电路板图像的自变换的序列特征；
37、对所述基准电路板图像的含语义信息的图像特征进行拉平，得到所述基准电路板图像的线结构的序列特征，然后输入位置编码层模块进行位置编码，并与所述序列特征融合，得到带有位置编码的序列特征，再将一个所述带有位置编码的序列特征输入所述自注意力层模块进行自变换，得到所述基准电路板图像的自变换的序列特征；
38、随后再将所述待测电路板图像的自变换的序列特征和所述基准电路板图像的自变换的序列特征输入所述交叉注意力层模块进行互相关操作，得到特征相似性高度相关的特征矩阵，最后输入所述多层感知机模块进行全连接变换操作，得到特征匹配矩阵。
39、本专利技术的优点如下：
40、(1)本专利技术采用深度学习技术，将关键点匹配学习问题建模为相似特征学习问题，通过可优化的方式学习电路板图像与基准电路板图像之间的配准关系，使模型更加鲁棒。
41、(2)本专利技术将语义信息作为高级的、本质的匹配特征，融入到图像特征中，并将语义作为一种监督信号，与图像特征进行拟合，使语义和图像特征保持一致性，迫使模型在匹配图像特征中学习语义本文档来自技高网...
【技术保护点】
1.一种基于语义特征引导的电路板图像跨域配准模型，其特征在于，包括图像特征提取模块、语义特征提取模块、语义植入模块和特征匹配模块；
2.一种基于语义特征引导的电路板图像跨域配准方法，其特征在于，包括步骤如下：
3.根据权利要求1所述的一种基于语义特征引导的电路板图像跨域配准模型，其特征在于，所述特征匹配模块包括位置编码层模块、自注意力层模块、交叉注意力层模块和多层感知机模块。
4.根据权利要求3所述的一种基于语义特征引导的电路板图像跨域配准模型，其特征在于，所述特征匹配模块中设置有损失函数；
5.根据权利要求2所述的一种基于语义特征引导的电路板图像跨域配准方法，其特征在于，所述步骤S1和步骤S7中，还包括损失函数计算：
6.根据权利要求5所述的一种基于语义特征引导的电路板图像跨域配准方法，其特征在于，所述步骤S1中包括预训练和正式训练；
7.根据权利要求6所述的一种基于语义特征引导的电路板图像跨域配准方法，其特征在于，所述步骤S5包括：
8.根据权利要求7所述的一种基于语义特征引导的电路板图像跨域
...【技术特征摘要】
1.一种基于语义特征引导的电路板图像跨域配准模型，其特征在于，包括图像特征提取模块、语义特征提取模块、语义植入模块和特征匹配模块；
2.一种基于语义特征引导的电路板图像跨域配准方法，其特征在于，包括步骤如下：
3.根据权利要求1所述的一种基于语义特征引导的电路板图像跨域配准模型，其特征在于，所述特征匹配模块包括位置编码层模块、自注意力层模块、交叉注意力层模块和多层感知机模块。
4.根据权利要求3所述的一种基于语义特征引导的电路板图像跨域配准模型，其特征在于，所述特征匹配模块中设...
【专利技术属性】
技术研发人员：王庆庆，陈果，
申请(专利权)人：苏州深视信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。