【技术实现步骤摘要】
本专利技术属于自动对焦，具体涉及一种基于明暗场融合的基板玻璃缺陷图像自动对焦方法及系统。
技术介绍
1、液晶显示器具有低功耗、体积轻薄、大幅面显示、全色显示等特点，被广泛应用于智能手机、医疗影像、工业控制等场景。基板玻璃作为液晶显示器的核心基础部件，其性能决定了显示设备的分辨率、透光度、可视角度等关键指标。基板玻璃厚约5cm，缺陷可能会出现在玻璃的不同厚度上，只有将面阵相机镜头调整到合适的距离，才能清晰地对玻璃缺陷进行成像。
2、自动对焦任务大多基于清晰度评价函数进行，清晰度评价函数会在物距最合适的位置产生最大的响应值，从而找到最清晰的图像。清晰度评价函数通常利用梯度、频率和信息熵等进行构造，例如brenner算法计算相邻像素差的平方和，tenengrad算法采用sobel算子分别提取水平和垂直方向的梯度值，laplacian算法计算图像的二阶梯度，fft、dct和小波变换计算图像的频率特性，像素方差、香农熵分析图像的统计特性。目前，基于清晰度评价函数的自动对焦工作在自然图像中已经有了很成熟的应用，但是在基板玻璃图像上表现不佳。最近，利用深度学习处理自动对焦任务已经有了初步进展，这类方法将该任务视为分类或回归任务，直接利用网络预测出最清晰的图像，但针对的场景依然是自然图像，无法适应明、暗场交叉成像下的基板玻璃图像。
3、综上，传统的基于图像梯度、频率、信息熵的清晰度评价函数大多是针对自然图像所设计，并不适用于明场和暗场成像下的基板玻璃。因此，如何高效精准地选择最清晰的基板玻璃缺陷图像已成为亟待解决的问题。
技术实现思路
1、本专利技术的目的是针对目前大多数自动对焦算法是针对自然图像所设计，无法适用于明、暗场交叉成像下的基板玻璃，无法找到最清晰的基板玻璃缺陷明场、暗场图像的问题，本专利技术技术方案提出基于深度学习框架下的序数回归技术，提出一种基于明暗场融合的基板玻璃缺陷图像自动对焦方法及系统，旨在找到最清晰的基板玻璃缺陷明场、暗场图像。该方法同时利用明场、暗场图像，采用双分支特征交叉融合网络交换明场图像序列和暗场图像序列的特征信息，实现高通量、精准地缺陷图像自动对焦，能够在预测精度和时间复杂度方面表现出优异的性能。
2、为此，本专利技术提供如下技术方案：
3、一方面，本专利技术提供一种基于明暗场融合的基板玻璃缺陷图像自动对焦方法，包括以下步骤：
4、获取相机拍摄的基板玻璃明场、暗场图像得到明场图像序列、暗场图像序列；
5、提取所述明场图像序列、所述暗场图像序列的图像特征得到明场特征图、暗场特征图；
6、利用若干个串接的cim模块，再连接全局平均池化和1*1卷积层构建出双分支特征交叉融合网络，前一个cim模块的输出作为下一个cim模块的输入，所述cim模块为2输入2输出的空间、通道注意力交叉融合模块；
7、将所述明场特征图、暗场特征图输入所述双分支特征交叉融合网络得到明场、暗场对应的网络输出向量、，并利用网络输出向量、确定最清晰的明场图像和暗场图像，实现对焦；
8、其中，利用相机拍摄不同物距下的基板玻璃明场、暗场图像构建训练样本，并利用其中最清晰的明场图像、暗场图像制作真值标签，然后与训练样本的对焦结果进行比对完成网络训练。
9、进一步可选的，每个cim模块的处理过程均为：
10、首先，利用卷积通道注意力机制cam获取输入的明场、暗场特征图分别对应的通道自注意力向量以及通道跨注意力向量；
11、然后，将明场对应的通道自注意力向量与明场特征图逐通道相乘得到，暗场对应的通道自注意力向量与暗场特征图逐通道相乘得到，暗场对应的通道跨注意力向量与明场特征图逐通道相乘得到，明场对应的通道跨注意力向量与暗场特征图逐通道相乘得到；
12、接着，针对、、、均使用卷积空间注意力机制sam获取空间自注意力矩阵和和空间跨注意力矩阵、；
13、最后，将、、、一一对应与、、、逐元素相乘得到、、、，进而与相加得到，与相加得到，向量、为cim模块的输出。
14、进一步可选的，所述卷积通道注意力机制cam是由沿空间维度的最大池化层、沿空间维度的平均池化层、多层感知机mlp、sigmoid函数构成，得到的明场的通道自注意力向量以及通道跨注意力向量相等；得到的暗场的通道自注意力向量以及通道跨注意力向量相等；
15、所述卷积空间注意力机制sam是由沿通道维度的最大池化层、沿通道维度的平均池化层、卷积层、sigmoid函数构成。
16、进一步可选的，获取相机拍摄的基板玻璃暗场图像得到暗场图像序列之后，该方法还包括对所述暗场图像序列进行梯度引导，再将梯度引导后的暗场图像序列输入特征图提取网络得到暗场特征图；
17、梯度引导操作如下：
18、首先，针对暗场图像序列，使用拉普拉斯算子逐通道计算二阶梯度，并将低于梯度阈值的梯度置0，最终得到梯度图序列；
19、接着，依次计算每张梯度图的方差得到方差向量；
20、然后，设计双层全连接编码网络，并对所述方差向量进行编码，编码公式如下：
21、,
22、,
23、式中，和为第一层网络训练参数，和为第二层网络训练参数，为第一层输出，是编码网络的输出向量，v为方差向量；
24、最后，将输出向量中的元素与暗场图像序列相乘得到梯度引导后的暗场图像序列。
25、进一步可选的，获取相机拍摄的基板玻璃明场、暗场图像得到明场图像序列、暗场图像序列之后，提取明场图像序列、所述暗场图像序列的图像特征得到明场特征图、暗场特征图之前，该方法还包括：获取相机拍摄的明场图像序列、暗场图像序列后，使用gamma变换增强明场图像序列的图像，以及使用中值滤波算法依次处理暗场图像序列的图像。
26、进一步可选的，相机采用交叉成像方式拍摄不同物距下的基板玻璃明场、暗场图像构建训练样本，选择物距调整的偶数次拍摄明场图像、奇数次拍摄暗场图像；或者选择物距调整的奇数次拍摄暗场图像、偶数次拍摄明场图像；
27、进而从训练样本中查找的最清晰的明场图像和暗场图像为相邻图像，并记录最清晰的明场图像、暗场图像的序列号和，再利用序列号和确定各个明场图像序列号与的距离、各个暗场图像序列号j与的距离：
28、,
29、,
30、式中，为明场图像序列号i与的距离，为暗场图像序列号j与的距离再基于分布类型对应的函数将距离向量、转换为软标签，用于训练网络模型参数，、为明场图像序列、暗场图像序列构成的距离向量；
31、其中，若是选择laplace分布，则通过归一化指数函数和距离向量、构造的软标签和表示为：
32、,
33、,
34、式中，表示归一化指数函数，为明场的真值软标签，为暗场的真值软标签。
35、进一步可选的，网络训练时，使用kl散度作为训练损失，adam为优化器，并使用函本文档来自技高网...
【技术保护点】
1.一种基于明暗场融合的基板玻璃缺陷图像自动对焦方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的方法，其特征在于：每个CIM模块的处理过程均为：
3.根据权利要求2所述的方法，其特征在于：所述卷积通道注意力机制CAM是由沿空间维度的最大池化层、沿空间维度的平均池化层、多层感知机MLP、Sigmoid函数构成，得到的明场的通道自注意力向量以及通道跨注意力向量相等；得到的暗场的通道自注意力向量以及通道跨注意力向量相等；
4.根据权利要求1所述的方法，其特征在于：获取相机拍摄的基板玻璃暗场图像得到暗场图像序列之后，所述方法还包括对所述暗场图像序列进行梯度引导，再将梯度引导后的暗场图像序列输入特征图提取网络得到暗场特征图；
5.根据权利要求1所述的方法，其特征在于：获取相机拍摄的基板玻璃明场、暗场图像得到明场图像序列、暗场图像序列之后，提取明场图像序列、所述暗场图像序列的图像特征得到明场特征图、暗场特征图之前，所述方法还包括：获取相机拍摄的明场图像序列、暗场图像序列后，使用Gamma变换增强明场图像序列的图像，以及使用中值滤波算法
6.根据权利要求1所述的方法，其特征在于：相机采用交叉成像方式拍摄不同物距下的基板玻璃明场、暗场图像构建训练样本，选择物距调整的偶数次拍摄明场图像、奇数次拍摄暗场图像；或者选择物距调整的奇数次拍摄暗场图像、偶数次拍摄明场图像；
7.根据权利要求6所述的方法，其特征在于：网络训练时，使用KL散度作为训练损失，ADAM为优化器，并使用函数处理和得到明场、暗场对应的向量、，使得满足非负和一约束；向量、中最大元素值所对应的索引对应明场、暗场图像为最清晰的明场图像、暗场图像；
8.一种基于权利要求1-7任一项所述方法的系统，其特征在于，包括：
9.一种电子终端，其特征在于：包括：
10.一种计算机可读存储介质，其特征在于：存储了计算机程序，所述计算机程序被处理器调用以实现：
...【技术特征摘要】
1.一种基于明暗场融合的基板玻璃缺陷图像自动对焦方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的方法，其特征在于：每个cim模块的处理过程均为：
3.根据权利要求2所述的方法，其特征在于：所述卷积通道注意力机制cam是由沿空间维度的最大池化层、沿空间维度的平均池化层、多层感知机mlp、sigmoid函数构成，得到的明场的通道自注意力向量以及通道跨注意力向量相等；得到的暗场的通道自注意力向量以及通道跨注意力向量相等；
4.根据权利要求1所述的方法，其特征在于：获取相机拍摄的基板玻璃暗场图像得到暗场图像序列之后，所述方法还包括对所述暗场图像序列进行梯度引导，再将梯度引导后的暗场图像序列输入特征图提取网络得到暗场特征图；
5.根据权利要求1所述的方法，其特征在于：获取相机拍摄的基板玻璃明场、暗场图像得到明场图像序列、暗场图像序列之后，提取明场图像序列、所述暗场图像序列的图像特征得到明场特征图、暗场特征图之前，所述方...
【专利技术属性】
技术研发人员：张辉，汪海，刘嘉轩，赵禀睿，刘学兵，谢核，毛建旭，王耀南，
申请(专利权)人：湖南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。