一种基于深度学习的裂像自动对焦方法技术

本发明专利技术涉及图像处理技术领域，具体公开了一种基于深度学习的裂像自动对焦方法，包括：在显微镜当前位置采集原始图像；提取原始图像中裂像图案所在的图像子块；利用训练好的深度学习模型对图像子块进行修复，以得到修复后的图像子块；利用相似度算法计算修复后的图像子块中左右裂像图案的相对像素距离；根据提前标定好的关系模型，由相对像素距离预测所述原始图像的散焦距离；根据预测后的散焦距离，移动物镜至目标位置，以完成显微镜自动对焦。本发明专利技术实现了从单张图像完成对焦，极大地提高了显微镜自动对焦的速度，并且在预测中利用深度学习模型对图像进行修复，能够更好的对抗图像中复杂前景带来的干扰，有效提高自动对焦的精度和鲁棒性。和鲁棒性。和鲁棒性。

【技术实现步骤摘要】
一种基于深度学习的裂像自动对焦方法


[0001]本专利技术涉及图像处理
，更具体地，涉及一种基于深度学习的裂像自动对焦方法。

技术介绍

[0002]自动对焦技术在显微镜成像过程中至关重要，不仅减少了手动对焦造成的主观误差，而且极大的提高了对焦速度。自动对焦技术可分为主动式对焦技术和被动式对焦技术。主动式对焦技术需要对显微镜安装额外的距离传感器来直接测量物镜与样本之间的距离。被动式对焦技术则根据数字图像来预测离焦量。
[0003]目前显微镜中常用的是基于数字图像处理的被动式自动对焦方法。该方法包括图像清晰度评价算法和迭代搜索算法，根据图像清晰度算法对当前位置拍摄的图像进行清晰度评价来推测其离焦程度，并结合迭代搜索算法通过最少的移动次数使图像对比度最大化，获得理想的焦平面。
[0004]在工业生产中，常常需要对加工后的产品表面进行检测，因为产品表面时常存在的缺陷、噪声、灰尘等杂质。基于数字图像处理的自动对焦方法在采用清晰度评价函数对不同焦平面上的图像进行评价时，由于杂质作为图像中的前景，会干扰评价函数的曲线走势，使得其不再满足单峰性和无偏性，经常出现多个峰并发生偏移的情况。故在很多场景下，会误将噪声、灰尘等对象认为是对焦主体，严重影响自动对焦的准确性。并且在不同的场景、不同的光照条件和不同的物镜倍率下，各种复杂前景在相机中成的像具有不确定性，为后续的图像处理带来了困难。
[0005]针对上述基于数字图像处理的自动对焦方法需要采集多张图像而导致对焦过程耗时较长，并且对缺陷、噪声、灰尘等杂质形成的复杂前景敏感，造成准确性和鲁棒性差等问题，需要研发高性能的基于数字图像处理的自动对焦算法，使得其具有更快的速度、更高的精度和更强的鲁棒性。

技术实现思路

[0006]针对上述显微镜自动对焦存在的技术问题，本专利技术提供了一种基于深度学习的裂像自动对焦方法，以解决现有显微镜自动对焦速度慢，精度低和鲁棒性差等技术问题。
[0007]作为本专利技术的第一个方面，提供一种基于深度学习的裂像自动对焦方法，包括如下步骤：
[0008]步骤S1：在显微镜当前位置采集原始图像；
[0009]步骤S2：提取所述原始图像中裂像图案所在的图像子块；
[0010]步骤S3：利用训练好的深度学习模型对所述图像子块进行修复，以得到修复后的图像子块；
[0011]步骤S4：利用相似度算法计算所述修复后的图像子块中左右裂像图案的相对像素距离；
[0012]步骤S5：根据提前标定好的关系模型，由相对像素距离预测所述原始图像的散焦距离；
[0013]步骤S6：根据预测后的散焦距离，移动物镜至目标位置，以完成显微镜自动对焦。
[0014]进一步地，所述提取所述原始图像中裂像图案所在的图像子块，包括：
[0015]将所述原始图像的对比度拉伸到0～255之间；
[0016]选取特定阈值T分割原始图像的前景与背景；
[0017]定位原始图像中前景所在的中心位置，以所述前景所在的中心位置为基准，提取大小为1536
×
1536的图像子块。
[0018]进一步地，所述利用训练好的深度学习模型对所述图像子块进行修复之前，包括：
[0019]构建基于对抗生成网络的深度学习模型；
[0020]制作用于训练深度学习模型的成对数据样本；
[0021]根据所述成对数据样本对所述基于对抗生成网络的深度学习模型进行训练，以生成所述训练好的深度学习模型。
[0022]进一步地，所述基于对抗生成网络的深度学习模型包括生成器和鉴别器，所述生成器为基于深度可分离卷积网络，所述鉴别器为PatchGAN；
[0023]所述生成器将接收到的图像先通过3次下采样提取图像特征，然后通过3次上采样生成修复图像；
[0024]所述鉴别器输入图像，经过3次下采样后接全连接层处理，并由Sigmoid函数输出评价值。
[0025]进一步地，所述制作用于训练深度学习模型的成对数据样本，包括：
[0026]定步长和定行程以采集不同前景下各个焦平面的图像，并提取所有图像中裂像图案所在的图像子块，得到多组焦点堆栈；
[0027]根据一个判断准则来确定每组焦点堆栈的基准图像子块，即理想焦平面，并按照所述基准图像子块为每组焦点堆栈中的其他图像子块标注真实的散焦距离；
[0028]将所有焦点堆栈中标注为相同散焦距离的图像子块归为一类；
[0029]在每一类图像子块中将所有干净前景的图像以取平均的方式拟合成一张新的图像，作为每一类图像子块的标签图像；
[0030]将每张复杂前景的图像与其所在类对应的标签图像组成一对数据样本，制作出全部的成对数据样本。
[0031]进一步地，所述根据所述成对数据样本对所述基于对抗生成网络的深度学习模型进行训练，以生成所述训练好的深度学习模型，包括生成器的训练和鉴别器的训练：
[0032]所述生成器的训练包括：
[0033]将所述成对数据样本中复杂背景的图像输入到生成器，输出修复后的图像，并将修复后的图像输入到鉴别器，输出评价值；
[0034]根据所述修复后的图像与标签图像的均方根损失和输出评价值的二分类交叉熵损失，两者按照不同的权重比得到总损失函数；
[0035]根据总损失函数更新生成器的网络参数，重复上述过程，直至训练好生成器；
[0036]所述鉴别器的训练包括：
[0037]将所述成对数据样本中的标签图像和复杂背景的图像作为真假图像分别输入到
鉴别器中，根据输出评价值的二分类交叉熵损失来更新鉴别器的网络参数，重复上述过程，直至训练好鉴别器。
[0038]进一步地，所述根据一个判断准则来确定每组焦点堆栈的基准图像子块，包括：
[0039]利用相似度算法估计每组焦点堆栈中所有图像子块左右裂像图案的相对像素距离，选取相对像素距离最小的图像子块作为初始基准图像子块，并按照所述初始基准图像子块为每组焦点堆栈中的其他图像子块标注真实散焦距离；
[0040]根据提前标定好的关系模型，由每张图像子块的相对像素距离预测其散焦距离，计算初始基准图像子块左右各10张图像子块对应的真实散焦距离与预测散焦距离的均方差；
[0041]选取初始基准图像子块的左右各两张图像子块分别作为新的基准图像子块，并按照上述步骤分别计算各自的均方差；
[0042]比较5个不同基准图像子块下的均方差，选取均方差最小的图像子块作为最终的基准图像子块。
[0043]进一步地，所述利用相似度算法计算所述修复后的图像子块中左右裂像图案的相对像素距离，包括：
[0044]分割出所述修复后的图像子块中右裂像图案占据的所有像素，并计算右裂像图案的质心位置，同时将右裂像图案垂直翻转；
[0045]根据翻转之后的右裂像图案利用相似度算法定位左裂像图案的质心位置；
[0046]根据左右裂像图案的质心位置得到两者的相对像素距离。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的裂像自动对焦方法，其特征在于，包括如下步骤：步骤S1：在显微镜当前位置采集原始图像；步骤S2：提取所述原始图像中裂像图案所在的图像子块；步骤S3：利用训练好的深度学习模型对所述图像子块进行修复，以得到修复后的图像子块；步骤S4：利用相似度算法计算所述修复后的图像子块中左右裂像图案的相对像素距离；步骤S5：根据提前标定好的关系模型，由相对像素距离预测所述原始图像的散焦距离；步骤S6：根据预测后的散焦距离，移动物镜至目标位置，以完成显微镜自动对焦。2.根据权利要求1所述的一种基于深度学习的裂像自动对焦方法，其特征在于，所述提取所述原始图像中裂像图案所在的图像子块，包括：将所述原始图像的对比度拉伸到0~255之间；选取特定阈值T分割原始图像的前景与背景；定位原始图像中前景所在的中心位置，以所述前景所在的中心位置为基准，提取大小为1536
×
1536的图像子块。3.根据权利要求1所述的一种基于深度学习的裂像自动对焦方法，其特征在于，所述利用训练好的深度学习模型对所述图像子块进行修复之前，包括：构建基于对抗生成网络的深度学习模型；制作用于训练深度学习模型的成对数据样本；根据所述成对数据样本对所述基于对抗生成网络的深度学习模型进行训练，以生成所述训练好的深度学习模型。4.根据权利要求3所述的一种基于深度学习的裂像自动对焦方法，其特征在于，所述基于对抗生成网络的深度学习模型包括生成器和鉴别器，所述生成器为基于深度可分离卷积网络，所述鉴别器为PatchGAN；所述生成器将接收到的图像先通过3次下采样提取图像特征，然后通过3次上采样生成修复图像；所述鉴别器输入图像，经过3次下采样后接全连接层处理，并由Sigmoid函数输出评价值。5.根据权利要求3所述的一种基于深度学习的裂像自动对焦方法，其特征在于，所述制作用于训练深度学习模型的成对数据样本，包括：定步长和定行程以采集不同前景下各个焦平面的图像，并提取所有图像中裂像图案所在的图像子块，得到多组焦点堆栈；根据一个判断准则来确定每组焦点堆栈的基准图像子块，即理想焦平面，并按照所述基准图像子块为每组焦点堆栈中的其他图像子块标注真实的散焦距离；将所有焦点堆栈中标注为相同散焦距离的图像子块归为一类；在每一类图像子块中将所有干净前景的图像以取平均的方式拟合成一张新的图像，作为每一类图像子块的标签图像；将每张复杂前景的图像与其所在类对应的标签图像组成一对数据样本，制作出全部的成对数据样本。
6.根据权利要求3所述的一种基于深度学习的裂像自动对焦方法，其特征在于，所述根据所述成对数据样本对所述基于对抗生成网络的深度学习模型进行训练，以生成所述训练好的深度学习模型，包括生成器的训练和鉴别器的训练：所述生成器的训练包括：将所述成对数据样本中复杂背...

【专利技术属性】
技术研发人员：华智捷，张旭，
申请(专利权)人：华中科技大学无锡研究院，
类型：发明
国别省市：