基于互信息配准消除冗余背景的模型加速方法技术

本发明专利技术提出了基于互信息配准消除冗余背景的模型加速方法，在采集设备固定的基础上，生产环境光线多样性下，采集工业场景下目标检测任务的数据集；选取批量数据集，在现场确定摄像头位置后，选取一张图像为参照，其中，以下均称为参照图，将数据集中样本与参照图进行互信息图像配准；互信息图像配准时，将参照图和某个样本图转换为灰度图像，构建两个灰度图像的二维向量；参照图和样本图为刚性配准，使用直方图估计法计算两个灰度图像二维向量的联合概率密度，以确定并跳过冗余背景进行推理计算。本发明专利技术提高卷积神经网络的计算效率，满足工业生产线目标检测的实时性。工业生产线目标检测的实时性。工业生产线目标检测的实时性。

【技术实现步骤摘要】
基于互信息配准消除冗余背景的模型加速方法


[0001]本专利技术涉及工业计算机应用
，具体为基于互信息配准消除冗余背景的模型加速方法。

技术介绍

[0002]工业化和信息化不断融合发展，物联网、人工智能技术为工业生产注入了新鲜血液。工业现场环境的复杂性和生产线产品检测实时性的需求给人工智能技术应用带来了挑战。人工智能技术的部署边缘设备需满足可靠、安全、具备一定的计算能力等要求，特别是满足一定计算性能和低延时的条件，算法模型目标检测的推理速度直接影响了生产线的效率。模型输入采集的工业现场实时图像，需要进行一些数学计算，如卷积、积分变换、范数等。其中卷积在数字图像处理发挥提取目标特征的重要作用，同时也是推理时间的主要组成部分之一，尤其是面对复杂目标的特征提取时，需要更深层次的卷积神经网络才能更好的提取特征，同时这也大大增加了推理的时间，为满足生产线实时性需求的算法模型部署带来了诸多挑战。

技术实现思路

[0003]本专利技术的目的在于提供基于互信息配准消除冗余背景的模型加速方法，为实现上述目的，本专利技术提供如下技术方案：基于互信息配准消除冗余背景的模型加速方法，包括，包括以下步骤：
[0004]S1、采集工业场景下目标检测任务的数据集，图像采集设备的位置固定，在满足工业生产线现场的需求下，被检测目标所在的产品在图像中所占比例尽可能的大；数据集的采集需在采集设备固定的基础上，需在不同光线条件下，如在不同的生产时段下包括白天和晚上灯光下等生产环境光线多样性的数据集；
[0005]S2、选取批量数据集，在现场确定摄像头位置后，选取一张图像为参照，其中，以下均称为参照图，将数据集中样本与参照图进行互信息图像配准；互信息图像配准时，将参照图和某个样本图转换为灰度图像，构建两个灰度图像的二维向量；
[0006]S3、由于参照图和样本图为刚性配准，则使用直方图估计法，计算两个灰度图像的二维向量的联合概率密度；
[0007]S4、根据直方图估计法的结果，当概率密度达到一定值时，表示样本图和参照图重叠度较高；对识别为同一背景的样本图，与参照图对应位置作差，根据差判断是否在一定范围内，确定冗余背景，并使用矩阵二值化表示，得到二值化矩阵T(T∈C
n
×
n
)；
[0008]S5、对采集的数据集进行目标标注，将数据集输入卷积神经网络中进行训练，训练读取数据集时，与二值化矩阵T
′
对应相乘，以加速训练过程；
[0009]S6、将训练后的模型部署于边缘计算设备上处理单张图像输入的推理，在单张图像输入后，通过二值化矩阵T
′
过滤输入图像的冗余背景，加速模型的计算推理。
[0010]优选的，步骤S1中图像采集设备固定和被检测目标所在的产品在图像中所占比例
尽可能的大，其特征在于，包括：
[0011]S11、工业生产线由一系列确定的工序组成，生产线上的产品位置变化相对较小，因此图像采集设备的位置也可以确定；
[0012]S12、图像采集设备的位置影响着图像中目标的清晰度，所采集图像中目标所占整个图像比例越大，噪点对目标检测任务的影响越小，对目标特征提取越容易，即采集的图像尽可能充实的成像目标产品；
[0013]S13、数据集的采集需在生产阶段不同时段进行，包括白天时段和晚上灯光时段，以确保数据集的丰富性。
[0014]优选的，选取批量数据集，在现场确定摄像头位置后，选取一张图像为参照其中，以下均称为参照图，将数据集中样本与参照图进行互信息图像配准；互信息图像配准时，将参照图和某个样本图转换为灰度图像，构建两个灰度图像的二维向量，其特征在于：
[0015]S21、选取工业现场摄像头固定后的一张样本作为参照图；
[0016]S22、将参照图与采集的数据集中的每个样本通过互信息图像配准，首先参照图和当前单张对比样本灰度化；
[0017]S23、构建参照图与当前单张对比样本每个像素对应的二维向量(如图4)；
[0018]优选的，由于参照图和样本图为刚性配准，则使用直方图估计法，计算两个灰度图像的二维向量的联合概率密度，其特征在于，包括：
[0019]S31、由于需要在单张样本中分离冗余背景，图像仅仅经过旋转和平移等操作，目标在变换前后任意两点间的距离不变，因此采用刚性配准的方法；
[0020]S32、采用非参数估计方法直方图估计法，在样本足够多的基础上，将参照图与数据集中单张样本构建的二维向量中每个位置数值的取值范围分成等间隔的区间，统计每个区间内样本个数，计算每个区间的概率密度；
[0021]优选的，根据直方图估计法的结果，当概率密度达到一定值时，表示样本图和参照图重叠度较高；对识别为同一背景的样本图，与参照图对应位置作差，根据差判断是否在一定范围内，确定冗余背景，并使用矩阵二值化表示，得到二值化矩阵T(T∈C
n
×
n
)；
[0022]S41、根据直方图估计法计算的概率密度，当概率密度达到一定值时，表示该样本图与参照图的重叠度较高，判定为相似图像；
[0023]S42、将样本图与参照图对应像素点作差，根据某点像素差是否在一定范围内，确定该点是否为冗余背景，若该点像素差在一定范围内则矩阵二值化中对应该点位置置1，反之置0，以构成二值化矩阵T
k
其中，k表示为第k个样本；
[0024]S43、取二值化矩阵集合T的交集,即任意两个二值化矩阵对应位置进行或操作，以确定最终的冗余背景二值化矩阵T
′
；
[0025]T＝{T1,T2,
…
，T
n
},T
’
＝T1∩T2∩
…
∩T
n
[0026]优选的，对采集的数据集进行目标标注，将数据集输入卷积神经网络中进行训练，训练读取数据集时，与二值化矩阵T
′
对应相乘，以加速训练过程,其特征在于，包括：
[0027]S51、首先对二值化矩阵T
′
每个位置取反，此时某个像素点值为0表示为冗余背景像素，反之则需要进行推理计算；
[0028]S52、训练过程中读取训练样本时，首先与二值化矩阵T
′
进行对应位置相乘，处于冗余位置像素会与矩阵T
′
对应位置的0相乘，以达到过滤冗余背景的目的；感兴趣的目标区
域与矩阵T
′
对应位置的1相乘，保留原图像的像素信息；在训练时，会跳过冗余背景进行卷积运算，以此来缩小感兴趣的目标区域，加速模型的训练；
[0029]优选的，将训练后的模型部署于边缘计算设备上处理单张图像输入的推理，在单张图像输入后，将输入图像与二值化矩阵T
′
对应相乘，加速模型的计算推理，其特征在于，包括：
[0030]将训练后的模型部署于边缘计算设备，输入单张图像推理时，将输入图像与二值化矩阵T...

【技术保护点】

【技术特征摘要】
1.基于互信息配准消除冗余背景的模型加速方法，包括，其特征在于，包括以下步骤：S1、采集工业场景下目标检测任务的数据集，图像采集设备的位置固定，在满足工业生产线现场的需求下，被检测目标所在的产品在图像中所占比例尽可能的大；数据集的采集需在采集设备固定的基础上，需在不同光线条件下，如在不同的生产时段下包括白天和晚上灯光下等生产环境光线多样性的数据集；S2、选取批量数据集，在现场确定摄像头位置后，选取一张图像为参照，其中，以下均称为参照图，将数据集中样本与参照图进行互信息图像配准；互信息图像配准时，将参照图和某个样本图转换为灰度图像，构建两个灰度图像的二维向量；S3、由于参照图和样本图为刚性配准，则使用直方图估计法，计算两个灰度图像的二维向量的联合概率密度；S4、根据直方图估计法的结果，当概率密度达到一定值时，表示样本图和参照图重叠度较高；对识别为同一背景的样本图，与参照图对应位置作差，根据差判断是否在一定范围内，确定冗余背景，并使用矩阵二值化表示，得到二值化矩阵T(T∈C
n
×
n
)。S5、对采集的数据集进行目标标注，将数据集输入卷积神经网络中进行训练，训练读取数据集时，与二值化矩阵T
′
对应相乘，以加速训练过程；S6、将训练后的模型部署于边缘计算设备上处理单张图像输入的推理，在单张图像输入后，通过二值化矩阵T
′
过滤输入图像的冗余背景，加速模型的计算推理；2.根据权利要求1所述的基于互信息配准消除冗余背景的模型加速方法，步骤S1中图像采集设备固定和被检测目标所在的产品在图像中所占比例尽可能的大，其特征在于，包括：S11、工业生产线由一系列确定的工序组成，生产线上的产品位置变化相对较小，因此图像采集设备的位置也可以确定；S12、图像采集设备的位置影响着图像中目标的清晰度，所采集图像中目标所占整个图像比例越大，噪点对目标检测任务的影响越小，对目标特征提取越容易，即采集的图像尽可能充实的成像目标产品；S13、数据集的采集需在生产阶段不同时段进行，包括白天时段和晚上灯光时段，以确保数据集的丰富性；3.根据权利要求2所述的基于互信息配准消除冗余背景的模型加速方法，选取批量数据集，在现场确定摄像头位置后，选取一张图像为参照其中，以下均称为参照图，将数据集中样本与参照图进行互信息图像配准；互信息图像配准时，将参照图和某个样本图转换为灰度图像，构建两个灰度图像的二维向量，其特征在于：S21、选取工业现场摄像头固定后的一张样本作为参照图；S22、将参照图与采集的数据集中的每个样本通过互信息图像配准，首先参照图和当前单张对比样本灰度化；S23、构建参照图与当前单张对比样本每个像素对应的二维向量；4.根据权利要求3所述的基于互信息配准消除冗余背景的模型加速方法，由于参照图和样本图为刚性配准，则使用直方图估计法，计算两个灰度图像的二维向量的联合概率密度，其特征在于，包括：S31、由于需要在单张样本中分离冗余背景，图像仅仅经过旋转和平移等操作，目...

【专利技术属性】
技术研发人员：李忠涛，袁朕鑫，赵帅，赵富，肖鑫，
申请(专利权)人：济南大学，
类型：发明
国别省市：