一种基于可变形卷积的印制线路板电子元器件目标检测方法技术

一种基于可变形卷积的印制线路板电子元器件目标检测方法属于计算机视觉领域。针对印制电路板(PCB)目标检测过程中由于拍摄角度多样化产生的检测对象形变问题，实现对PCB电子元器件的识别定位。该检测方法通过可变形卷积结构，使得卷积核根据目标的尺寸大小以及形状改变自适应地进行变形，提升神经网络对未知变化的适应性，增强泛化能力，从而提升PCB目标检测的精度；解决了当前基于深度神经网络目标检测难以解决物体空间形变的问题；实验结果表明该方法能够准确地对PCB电子元器件进行检测，并具有较强的自适应能力，提升目前废弃电器电子产品回收拆解过程中的智能化程度，提升工艺的自动化程度。的自动化程度。的自动化程度。

【技术实现步骤摘要】
一种基于可变形卷积的印制线路板电子元器件目标检测方法


[0001]本专利技术利用一种基于可变形卷积的印制线路板电子元器件目标检测方法实现废旧家电回收过程中对印制线路板(PCB)的目标检测，PCB是电子工业的重要部件之一，也是家用电器的核心组成部分。PCB目标检测是是废旧家电回收的重要环节，是计算机视觉领域的重要分支，既属于控制领域，又属于计算机领域。

技术介绍

[0002]随着我国经济高速发展与科技快速进步，人民生活水平不断提高，家用电器保有量不断增长并且更新换代周期有所缩短，废旧家电数量保持逐年增长趋势，为电子设备回收再利用行业提供了充足的原材料。原材料充足的供给和下游市场充分的需求将为电子废弃物拆解行业持续健康发展提供了有力的支撑。因此，本专利技术的研究成果具有广阔的应用前景。
[0003]印制线路板(PCB)是电子工业的重要部件之一，也是电子设备用于各元件之间电气互连的必要组成部分。导电线路和绝缘底板的双重作用，简化了电子产品的装配、焊接工作；缩小了整机体积，降低产品成本，提高电子设备的质量和可靠性。PCB通常与电子元器件结合使用，例如电容、变压器、电阻等。对电子元器件的识别回收再利用，可以减少企业制造成本，同时减少硅、铝、镍、铜、塑料、等原材料消耗，促进行业绿色发展，因此废旧家电PCB电子元器件检测是废旧家电回收的重要子过程之一，也应是电器目标检测的研究重点。
[0004]目标检测的一个关键挑战是如何使模型适应目标尺度、姿态、视角以及部分的几何变换。尽管近些年卷积神经网络在图像分类、目标检测、语义分割等视觉识别任务中取得巨大成功，但其对几何变换建模的能力主要来自于广泛的图像数据增强以及模型规模扩充。工业PCB电子元器件目标检测通常具有复杂性，废旧家电电子元器件往往放置于移动的传送带之上且无法完全有序排列摆放，这就会带来多角度产生的形变以及一定程度的遮挡。同时，大部分具体领域工业数据集规模无法与通用目标检测数据集相比。因此，必须建立新的目标检测模型，以满足工业PCB电子元器件目标检测的需要，解决目标形变带来的挑战，提升检测精度。准确的目标检测可以提升废旧家电回收的质量，从而促进家电回收产业发展。此外，通过提高检测过程的自动化水平，还可以有效减少减少人工识别带来的高额企业成本。
[0005]本专利技术设计了一种基于可变形卷积的印制线路板电子元器件目标检测方法，通过构建网络模型，利用模型预测方法实现对PCB电子元器件识别定位。

技术实现思路

[0006]为了解决上述实际问题，本专利技术一种基于可变形卷积的印制线路板电子元器件目标检测方法，通过将可变形卷积加入Faster R
‑
CNN的区域建议网络中，可变形卷积通过二维偏移量使得采样网络针对输入特征，进行自适应的变形。该检测方法相较于传统方法，对PCB电子元器件检测的精度有所提升，解决了工业PCB检测中存在的形变问题。
[0007]一种基于可变形卷积的印制线路板电子元器件目标检测方法，其特征在于，包括以下步骤：
[0008]包括“数据采集”、“可变形卷积电子元器件检测模型建立”、“可变形卷积电子元器件检测模型训练”、“可变形卷积电子元器件检测模型预测”共4个阶段，具体步骤如下：
[0009](1)数据采集阶段
[0010]获取印制线路板电子元器件图像数据集，共5类电子元器件图像，包括：电阻、电容、芯片、变压器、压敏电阻；将印制线路板电子元器件图数据集划分为训练集、验证集、测试集，图片数量比例为4:1:1；将印制线路板电子元器件图像数据集中每张图像的像素归一化至[0,1]，每张图片进行尺寸缩放，短边固定为600，长边小于等于1000；
[0011](2)可变形卷积电子元器件检测模型建立阶段
[0012]可变形卷积电子元器件检测模型包括电子元器件特征提取、可变形区域建议、电子元器件建议框特征图生成、电子元器件检测框生成共4个模块；
[0013]①
电子元器件特征提取
[0014]构建卷积残差特征提取，卷积残差特征提取包含4个阶段：第1个阶段由1个卷积核为7
×
7的卷积层，1个批量归一化处理层，1个激活函数层组成，1个3
×
3最大池化层组成，其余3个阶段分别由3、4、6个瓶颈结构组成，每个瓶颈结构公式如下：
[0015]Y
i
＝H(X
i
)+F(X
i
,W
i
)
ꢀꢀ
(1)
[0016][0017]其中公式(1)X为第i个瓶颈结构的特征输入，i＝1,2,
…
,13，Y
i
为第i个瓶颈结构输出，H(X
i
)为X
i
直接线性映射，包含卷积操作，F(X
i
,W
i
)为非线性映射，包含三次卷积操作，三次批归一化和两次激活函数，W
i
为标准卷积核参数，公式(2)为瓶颈结构输出激活函数，X
i+1
为第i+1个瓶颈结构特征输入，σ(Y
i
)为第i个瓶颈结构输出Y
i
的激活函数；特征提取最终输出特征图维度为1024；
[0018]②
可变形区域建议
[0019]构建可变形区域建议，其结构为1个卷积核为3
×
3可变形卷积层，并行连接2个卷积核为1
×
1的卷积层，具体结构为：
[0020]3×
3可变形卷积层表达公式为：
[0021][0022]P＝P0+P
n
+ΔP
n
ꢀꢀ
(4)
[0023]c(P)＝c(P0+P
n
+ΔP
n
)
ꢀꢀ
(5)
[0024]其中公式(3)，R＝{(
‑
1,
‑
1),(
‑
1,0),
…
,(0,1),(1,1)}代表了卷积核9个点的相对位置集合，中心为(0,0)，P
n
为卷积核的每一个位置，h为可变形卷积核参数，c为输入特征，P0为特征图上的单个特征点，d为输出特征，{ΔP
n
|n＝1,
…
,N},N＝|R|，对应着R中9个位置偏置，如R[0]＝(
‑
1,
‑
1)，ΔP
n
为二维量，对应横纵坐标偏置，Δm
n
为坐标偏置附加权重，公式(4)P为加入偏置后位置，为浮点数，公式(5)中c(P)为加入偏置后位置特征值，等价于对通过双线性插值法求得，其表达公式为：
[0025][0026]G(Q,P)＝g(Q
x
,P
x
)
·
g(Q
y
,P
y
)
ꢀꢀ
(7)
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可变形卷积的印制线路板电子元器件目标检测方法，其特征在于，包括以下步骤：包括“数据采集”、“可变形卷积电子元器件检测模型建立”、“可变形卷积电子元器件检测模型训练”、“可变形卷积电子元器件检测模型预测”共4个阶段，具体步骤如下：(1)数据采集阶段获取印制线路板电子元器件图像数据集，共5类电子元器件图像，包括：电阻、电容、芯片、变压器、压敏电阻；将印制线路板电子元器件图数据集划分为训练集、验证集、测试集，图片数量比例为4∶1∶1；将印制线路板电子元器件图像数据集中每张图像的像素归一化至[0，1]，每张图片进行尺寸缩放，短边固定为600，长边小于等于1000；(2)可变形卷积电子元器件检测模型建立阶段可变形卷积电子元器件检测模型包括电子元器件特征提取、可变形区域建议、电子元器件建议框特征图生成、电子元器件检测框生成共4个模块；
①
电子元器件特征提取构建卷积残差特征提取，卷积残差特征提取包含4个阶段：第1个阶段由1个卷积核为7
×
7的卷积层，1个批量归一化处理层，1个激活函数层组成，1个3
×
3最大池化层组成，其余3个阶段分别由3、4、6个瓶颈结构组成，每个瓶颈结构公式如下：Y
i
＝H(X
i
)+F(X
i
，W
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中公式(1)X为第i个瓶颈结构的特征输入，i＝1，2，
…
，13，Y
i
为第i个瓶颈结构输出，H(X
i
)为X
i
直接线性映射，包含卷积操作，F(X
i
，W
i
)为非线性映射，包含三次卷积操作，三次批归一化和两次激活函数，W
i
为标准卷积核参数，公式(2)为瓶颈结构输出激活函数，X
i+1
为第i+1个瓶颈结构特征输入，σ(Y
i
)为第i个瓶颈结构输出Y
i
的激活函数；特征提取最终输出特征图维度为1024；
②
可变形区域建议构建可变形区域建议，其结构为1个卷积核为3
×
3可变形卷积层，并行连接2个卷积核为1
×
1的卷积层，具体结构为：3
×
3可变形卷积层表达公式为：P＝P0+P
n
+ΔP
n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)c(P)＝c(P0+P
n
+ΔP
n
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中公式(3)，R＝{(
‑
1，
‑
1)，(
‑
1，0)，
…
，(0，1)，(1，1)}代表了卷积核9个点的相对位置集合，中心为(0，0)，P
n
为卷积核的每一个位置，h为可变形卷积核参数，c为输入特征，P0为特征图上的单个特征点，d为输出特征，{ΔP
n
|n＝1，
…
，N}，N＝|R|，对应着R中9个位置偏置，如R[0]＝(
‑
1，
‑
1)，ΔP
n
为二维量，对应横纵坐标偏置，Δm
n
为坐标偏置附加权重，公式(4)P为加入偏置后位置，为浮点数，公式(5)中c(P)为加入偏置后位置特征值，等价于对通过双线性插值法求得，其表达公式为：
G(Q，P)＝g(Q
x
，P
x
)
·
g(Q
y
，P
y
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(7)g(a，b)＝max(0，1
‑
|a
‑
b|)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)其中c(P)为加入偏置后位置特征值，由公式(6)得出，Q为的特征图上距离P最近且距离小于1的4个点位，G(Q，P)为对Q，P坐标执行求距离操作，c(Q)为Q对应像素值，公式(7)为G(Q，P)公式，为2个g函数相乘，g函数分别对Q，P横纵坐标执行操作，Q
x
，Q
y
，P
x
，P
y
为Q，P对应坐标，x表示横坐标，y表示纵坐标，公式(8)为g(a，b)具体公式，a，b为公式...

【专利技术属性】
技术研发人员：李方昱，牛末寒，刘峥，韩红桂，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：