利用深度学习系统的自动光学检测分类设备及其训练设备技术方案

本发明专利技术提供一种利用深度学习系统的自动光学检测分类设备，包括摄影机、以及处理器。该处理器加载储存单元后执行深度学习系统，包括：输入层；神经网络群层，用以对输入影像执行特征提取并于最终获取多个影像特征，该神经网络群层包括一或多个神经网络子区块层、以及最大值池化层，该神经网络子区块层中包括具有共同输入的第一运算符集及第二运算符集、进行残差运算的残差映像层、以及进行非线性化运算的线性整流单元；以及全连结群层用以依据权重比例进行分类，最终输出检测结果。

Automatic optical detection and classification equipment and its training equipment using deep learning system

【技术实现步骤摘要】
利用深度学习系统的自动光学检测分类设备及其训练设备
本专利技术有关于一种自动光学检测分类设备及其训练设备，特别是指一种利用深度学习系统的自动光学检测分类设备及其训练设备。。
技术介绍
深度学习(DeepLearning)最常见的应用，包括影像识别、语音识别、自然语言处理等，甚至推荐系统、生医信息等，各种和生活相关的领域都可以看到深度学习的推广应用。而其中影像辨识于深度学习的应用上最为广泛，技术成熟度也相较其他的领域来得要高。光学检测为了避免人检的缺失，通常利用人工智能(ArtificialIntelligence)和机器学习(MachineLearning)来取代一般的肉眼检测，由此减少误判的可能性。在类神经网络的发展中，目前主流的方式是通过增加类神经网络的深度借以提升分类的准确度。然而经过大量实验的结果，单纯增加类神经网络的深度最终并没有增加分类的准确度，实实际上反而降低了分类的准确度，细究其原因可能在于反像传播的训练方式随着类神经网络的深度增加反而增加了收敛的难度，而比起末端的神经网络层，前端的神经网络层对于检测的结果的影响更大。另一方面，单纯的增加类神经网络的深度，检测的速度及效率也会随之下降，变程必须要提供更高的硬件效能去推动类神经网络的运作，是以，有必要针对现有的类神经网络架构进行改善。
技术实现思路
本专利技术的主要目的，在于改善增加类神经网络深度时，训练的收敛效果不佳、且运算的效率亦随之下降的缺点。为达到上述目的，本专利技术系提供一种利用深度学习系统的自动光学检测分类设备，通过待测物影像，检测待测物瑕疵。该自动光学检测分类设备包括连接至该摄影机的处理器。该摄影机用以拍摄并获取待测物的待测影像。该处理器系加载储存单元后系执行该深度学习系统，该深度学习系统由输入至输出包括：输入层，用以接收待测影像并将该待测影像进行正规化处理；神经网络群层，用以对输入影像执行特征提取并于最终获取多个影像特征，该神经网络群层由输入至输出包括一或多个神经网络子区块层、以及最大值池化层(MaxPool)，其中任一或多个该神经网络子区块层中包括具有共同输入的第一运算符集及第二运算符集、将该第一运算符集及该第二运算符集的输出进行残差运算的残差映像层(Eltwise)、以及将该残差映像层的输出进行非线性化运算的线性整流单元(ReLU)；以及全连结群层，包括一或多个全连结层依据权重比例进行分类，最终输出检测结果。本专利技术的另一目的，在于提供一种深度学习系统的训练设备，包含自动视觉检测设备(AVI)、以及如上所述的自动光学检测分类设备。该自动视觉检测设备(AVI)用以对待测物进行检测，以产生瑕疵影像与相关瑕疵信息，其中，该相关瑕疵信息包括瑕疵种类及瑕疵位置。该自动光学检测分类设备经由该自动视觉检测设备获得该瑕疵影像后将该瑕疵影像传送至该深度学习系统进行训练。经多次测试的结果，本专利技术不仅可以有效地增加自动光学检测对瑕疵的检出率及准确率，改良后的神经网络架构于检测的速度上亦有大幅的提升，增加了瑕疵检测的效果及效率。附图说明图1，为本专利技术自动光学检测分类设备的方块示意图。图2，为本专利技术深度学习系统的结构示意图(一)。图3，为本专利技术深度学习系统的结构示意图(二)。图4，为本专利技术训练系统的方块示意图。图5，为反向传播的训练流程。附图标记说明：100自动光学检测分类设备10摄影机20图像处理设备21处理器22储存单元30移载设备40辅助光源50自动视觉检测设备60拍照机L1输入层L2神经网络群层L3全连结群层1A第一神经网络子区块层1B第二神经网络子区块层1C第三神经网络子区块层S1非线性卷积特征提取层S11卷积层S12正规化层S2线性卷积特征提取层S21卷积层S22正规化层S3最大值池化层S4残差映射层S5线性整流单元P待测物步骤S21-S24具体实施方式有关本专利技术之详细说明及
技术实现思路
，现就配合图式说明如下。本专利技术应用于自动光学检测分类设备(AutomatedOpticalInspection,AOI)上，用于对半导体芯片、晶圆、工件、面板、电路板(PCB、FPC、陶瓷电路板)等零件进行表面瑕疵检测，检测对象表面的缺陷或瑕疵。以下针对自动光学检测分类设备的架构举一具体实施例进行说明，请参阅图1，为本专利技术自动光学检测分类设备的方块示意图，如图所示：本实施例中所述的自动光学检测分类设备100主要包括摄影机10、以及连接至该摄影机的图像处理设备20。一般而言，为了实现全自动化检测，通常会再增加移载设备30，用于将待测物P移载至检测区域进行拍摄，实现全自动化控制；此外，针对不同的待测物P或瑕疵种类，自动光学检测分类设备100上亦可安装有各式的辅助光源40，用以对待测物P进行照明。所述的辅助光源40例如可以为但不限定于平行光灯具、漫射光灯具、穹形灯等，一些特殊的待测物可能会用到两组以上的辅助光源40，端看所对应的待测物种类决定。用于自动光学检测的摄影机10依据实际需求而配置。通常对于工件的精密度及可靠度有相当程度的需求时，必须要配置更为精密的摄影机：反之，为了减少设备的成本，可选用较为低阶的摄影机，此部分端看厂商的需求而定。一般摄影机10种类可分为面扫描摄影机(AreaScanCamera)、以及线扫描摄影机(LineScanCamera)，配合实际上的需求所述的两种摄影机都有可能被使用。线扫描摄影机较常用于动态检测，于待测物P移动的同时进行拍摄，可确保检测流程的连续性。摄影机10连接于后台的图像处理设备20，经由图像处理设备20分析摄影机10所获得的影像，以经由影像中得到待测物P表面上的瑕疵。在一优选的实施例中，摄影机10配置有微处理器(通常于摄影机10出厂时配置)用以控制摄影机10或是针对摄影机10所拍摄到的影像进行预处理。图像处理设备20经由该摄影机10(或微处理器)获取影像后，将该影像进行前处理程序(例如影像强化、去除噪声、加强对比、加强边缘、获取特征、影像压缩、影像转换等)，并将输出的影像经由视觉软件工具和算法进行分析，以获得判定结果并将判定结果输出或储存于数据库。所述的图像处理设备20用以加载深度学习系统执行影像辨识处理。该图像处理设备20包括处理器21以及连接至该处理器21、或与该处理器21共构而成的储存单元22，处理器21经由加载该储存单元22执行本专利技术的深度学习系统。自动光学检测中，待测物P上的异尘及瑕疵不管是经由人工检测的方式或是机器视觉检测的方式经常有混淆误认的情况，主要原因在于机器视觉中对于异尘及瑕疵的定义都是相对母片而言的噪点，虽然异尘及瑕疵在特性上尚有一些差异(例如异尘通常是立体、突出于表面上，瑕疵例如刮痕、碎亮点通常形成于内侧)，但对于一般机器视觉而言，两者均是与母片不相同的部分，一般的本文档来自技高网...

【技术保护点】
1.一种利用深度学习系统的自动光学检测分类设备，通过待测物影像，检测待测物瑕疵，其特征在于，该自动光学检测分类设备包括：/n处理器，该处理器加载储存单元后执行该深度学习系统，该深度学习系统由输入至输出包括：/n输入层，用以接收待测影像并将该待测影像进行正规化处理；/n神经网络群层，用以对输入影像执行特征提取并于最终获取多个影像特征，该神经网络群层由输入至输出包括一或多个神经网络子区块层、以及最大值池化层，其中任一或多个该神经网络子区块层中包括具有共同输入的第一运算符集及第二运算符集、将该第一运算符集及该第二运算符集的输出进行残差运算的残差映像层、以及将该残差映像层的输出进行非线性化运算的线性整流单元；以及/n全连结群层，包括一或多个全连结层依据权重比例进行分类，最终输出检测结果。/n

【技术特征摘要】
20180629 TW 1071226401.一种利用深度学习系统的自动光学检测分类设备，通过待测物影像，检测待测物瑕疵，其特征在于，该自动光学检测分类设备包括：
处理器，该处理器加载储存单元后执行该深度学习系统，该深度学习系统由输入至输出包括：
输入层，用以接收待测影像并将该待测影像进行正规化处理；
神经网络群层，用以对输入影像执行特征提取并于最终获取多个影像特征，该神经网络群层由输入至输出包括一或多个神经网络子区块层、以及最大值池化层，其中任一或多个该神经网络子区块层中包括具有共同输入的第一运算符集及第二运算符集、将该第一运算符集及该第二运算符集的输出进行残差运算的残差映像层、以及将该残差映像层的输出进行非线性化运算的线性整流单元；以及
全连结群层，包括一或多个全连结层依据权重比例进行分类，最终输出检测结果。


2.如权利要求1所述的自动光学检测分类设备，其特征在于，该第一运算符集包括第一卷积神经单元，该第一卷积神经单元包括进行特征提取的卷积层、以及将该提取的特征进行批量正规化处理的正规化层。


3.如权利要求1所述的自动光学检测分类设备，其特征在于，该第一运算符集为空操作数。


4.如权利要求2或3所述的自动光学检测分类设备，其特征在于，该第二运算符集由输入至输出包括两个第二卷积神经单元、以及一第三卷积神经单元，该第二卷积神经单元包括一进行特征提取的卷积层、一将该提取的特征进行批量正规化处理的正规化层、以及一将正规化处理后的特征进行非线性化运算的线性整流单元。


5.如权利要求2或3所述的自动光学检测分类设备，其特征在于，该第二运算符集由输入至输出包括一第二卷积神经单元、以及一第三卷积神经单元，该第二卷积神经单元包括一进行特征提取的卷积层、一将该提取的特征进行批量正规化处理的正规化层、以及一将正规化处理后的特征进行非线性化运算的线性...

【专利技术属性】
技术研发人员：安比卡帕亚鲁木鲁甘，林建仲，谢承桦，
申请(专利权)人：由田新技股份有限公司，
类型：发明
国别省市：中国台湾;71