【技术实现步骤摘要】
本专利技术涉及一种基于深度学习的产品不规则形变字符检测方法及设备，特别涉及了一种针对不同异形曲面产品镭雕、印刷、移印等形变字符的通用检测技术。
技术介绍
1、在工业产品生产制造过程当中，常采用激光镭雕、印刷、移印等技术将产品的信息以字符形式呈现在产品的外形表面上，然后在自动生产过程中通过视觉成像技术识别产品表面的字符来判断产品的对应信息。在具有圆柱面、球面或不规则曲面的产品表面呈现的字符具有畸形、失真等现象，同时这类具有不规则表面的产品在成像过程中受反光、材质、曲率等多方面因素的影响，如图9所示，使得对产品信息字符的检测难度大。目前如字符断点、重影、偏移和异色等字符缺陷难以采用统一标准进行判定，仅能依靠人工逐字目视检测，人工检测方法存在效率低、漏检率高、检测效果主观性强等缺点。
2、传统的基于固定模板匹配的视觉检测方法只能够准确识别较为规整的字符，难以适用具有不规则表面变形字符的产品检测，对产品生产环节质量检测带来了巨大的困扰。故迫切需要一种基于深度学习的产品不规则字符检测方法及设备来解决上述问题。
3、对复杂的异形产品表面变形字符在视觉检测过程中面临如下的技术性难题：
4、(1)不规则曲面字符成像不规则，建模难度大。圆柱面、球面或不规则弯曲在小孔成像过程当中，曲面字符从三维空间投射到二维成像平面，因深度信息丢失导致字符图像出现拉伸、压缩或扭曲等特征，难以通过建立模型逆向判断字符质量。
5、(2)产品材质差异大，成像噪声干扰大。不同品类产品表面材质差异大，外观存在光滑、粗糙、异色等
6、(3)现有曲面通用性检测方法适应性差。现有光学检测设备绝大部分是针对单一产品进行开发设计，光学方案单一，检测算法简单，难以满足现有产线兼容小品种、多样化、快速换型等需求，急需研制一种通用性强的曲面字符检测设备。
7、另，公开号为cn116168395a的中国专利申请公开了一种字符检测方法和装置、电子设备及存储介质，该专利的技术方案是：获取文本图像，对文本图像进行特征提取，获取文本图像中字符对应的中心位置及字符区域信息，从而检测文本图像中的字符。但是没有考虑在光照条件下曲面容易出现反光，曝光等情况，导致表面字符出现模糊，缺失等情况，影响后续字符的边缘、颜色或纹理特征的提取，从而影响检测的性能。
8、公开号为cn117727052a的中国专利申请公开了一种字符缺陷检测方法和装置、电子设备以及存储介质，该专利的技术方案是：获取图像中待测区域所对应的待测字符信息，基于字符信息生成模板字符图像，利用模板字符图像对至少一个待测字符进行匹配检测，可以避免待测字符无法检测的情况出现。但在字符检测过程中会不断出现新的字符，这样会频繁生成模板字符图像，待测字符需要从大量的模板字符图像中进行准确匹配，使得在检测过程中需要消耗大量的时间，从而影响产能。
9、因此，开发一种通过机器人手眼协同的最优感知姿态与深度学习算法相结合的产品不规则形变字符检测技术，解决现有检测方法的不足，具有重要意义和市场需求。
技术实现思路
1、本专利技术解决的技术问题是：针对现有的视觉检测方法在不规则变形字符的检测存在的不足，提供一种基于深度学习的产品不规则形变字符检测方法及设备。
2、本专利技术采用如下技术方案实现：
3、本专利技术首先公开了一种基于深度学习的产品不规则形变字符检测方法，具体包括如下步骤：
4、s1、采用手眼协同的搭载相机的机械臂对产品上的不规则形变字符进行图像试采集，通过比对不规则形变字符的试采集图像与标准图像之间的位置特征与结构特征获得机械臂的采集位姿偏差，优化调整机械臂的最优采集位姿，所述机械臂通过最优采集位姿对待检测产品字符进行图像采集；
5、s2、将步骤s1采集的待检测产品字符图像去噪预处理后，通过归一化互相关确认图像中待检测产品字符所在的感兴趣区域，将所述感兴趣区域与标准图像进行仿射变换，矫正待检测产品字符图像中的字符畸变和倾斜，得到所述感兴趣区域的矫正后字符图像；
6、s3、所述感兴趣区域的矫正后字符图像送入基于图像边缘分割的深度学习字符识别模型，将图像中的字符文本区域与背景区域分离，生成字符文本区域的文本框；
7、s4、所述文本框输入crnn文本识别模型，将文本框内的字符行作为一个单元进行识别，字符识别完成后以序列形式返回字符行的文本序列；
8、s5、将步骤s4识别的文本序列与产品标准字符文本序列进行匹配，判断识别的待检测产品字符属于不合格或合格，并依据匹配结果输出待检测产品是否合格的产品信息。
9、在本专利技术的一种基于深度学习的产品不规则形变字符检测方法中，具体的，在步骤s1中，所述相机固定于机械臂执行末端并随机械臂移动，通过棋盘格标定法对相机和机械臂进行手眼标定。
10、在本专利技术的一种基于深度学习的产品不规则形变字符检测方法中，具体的，所述步骤s1中，将产品不规则形变字符的试采集图像与标准图像输入图像匹配模型进行匹配，提取两幅图像的位置特征和结构特征，
11、首先根据位置特征，选取试采集图像与标准图像中具有共有特征的特征点f并计算两幅图像特征点f之间的欧氏距离d，将所述欧氏距离d与设定的阈值d比较，若d>d，通过相机的内参和外参将试采集图像的特征点坐标转换为机械臂所在的世界坐标，获得试采集图像与标准图像中的特征点f在世界坐标中的第一移动矢量，通过第一移动矢量转换计算机械臂在世界坐标中的第二移动矢量，解算得到机械臂进行试采集移动的位置和姿态参数，调整机械臂的位置和姿态参数移动试采集，保证d≤d；
12、然后对于结构特征，将试采集图像与标准图像的亮度、对比度和结构参数通过下式获得两幅图像之间的ssim指数：
13、ssim(x，y)＝l(x，y)α·c(x，y)β·s(x，y)γ
14、l(x，y)表示亮度参数，通过比较两幅图像的平均亮度得到，c(x，y)为表示对比度参数，通过比较两幅图像的标准差得到，s(x，y)表示结构参数，通过比较两幅图像之间的协方差得到，(x，y)表示从试采集图像与标准图像提取亮度、对比度和结构参数的位置坐标，α、β、γ是权重参数，ssim指数的取值范围为[-1，1]，ssim指数趋近1表示两幅图像完全相同，ssim指数趋近-1表示两幅图像之间相似度差；
15、再通过以下损失函数loss对试采集图像与标准图像之间的ssim指数进行优化：
16、loss＝(ssimcurrent-ssimtarget)2+λ·penalty(x，t)
17、其中，ssimcurrent是试采集图像与标准图像之间当前ssim指数，ssimtarget是试采集图像与标准图像之间目标ssim指数，ssimtarhet取0.8～0.9本文档来自技高网...
【技术保护点】
1.一种基于深度学习的产品不规则形变字符检测方法，其特征在于包括如下步骤：
2.根据权利要求1所述的一种基于深度学习的产品不规则形变字符检测方法，其特征在于：在步骤S1中，所述相机固定于机械臂执行末端并随机械臂移动，通过棋盘格标定法对相机和机械臂进行手眼标定。
3.根据权利要求2所述的一种基于深度学习的产品不规则形变字符检测方法，其特征在于：所述步骤S1中，将产品不规则形变字符的试采集图像与标准图像输入图像匹配模型进行匹配，提取两幅图像的位置特征和结构特征，
4.根据权利要求1所述的一种基于深度学习的产品不规则形变字符检测方法，其特征在于：所述步骤S2中，采用非局部均值去噪法对采集的待检测产品字符图像进行去噪处理。
5.根据权利要求1所述的一种基于深度学习的产品不规则形变字符检测方法，其特征在于：所述步骤S2中，使用基于归一化互相关的模板匹配方法来定位待检测产品字符图像中字符的核心区域，从步骤S1中的标准图像上截取字符区域的模板目标图像Tm×n，利用模板目标图像Tm×n在待检测产品字符图像IM×N中滑动匹配，滑动过程中采用归一化互相
6.根据权利要求1所述的一种基于深度学习的产品不规则形变字符检测方法，其特征在于：所述步骤S3中，所述深度学习字符识别模型采用Canny边缘分割算法，具体包括如下子步骤：
7.根据权利要求6所述的一种基于深度学习的产品不规则形变字符检测方法，其特征在于：对所述感兴趣区域中的字符文本区域进行聚类，识别和合并属于同一文本的局部区域，筛选聚类后的字符文本区域，保留文本字符区域连续且大于设定区域大小阈值Sa的字符文本区域，对筛选保留的字符文本区域使用外接矩形生成文本框。
8.根据权利要求5所述的一种基于深度学习的产品不规则形变字符检测方法，其特征在于：所述步骤S4中，所述CRNN文本识别模型通过如下子步骤输出文本框内字符行的文本序列：
9.一种基于深度学习的产品不规则形变字符检测设备，其特征在于：包括字符检测机械臂，所述字符检测机械臂的执行末端搭载对产品不规则形变字符进行图像采集的相机组件，所述字符检测机械臂对待检测的产品不规则形变字符进行图像采集，并将采集的图像传输至设备控制主机，所述设备控制主机通过权利要求1-8中的检测方法判断产品不规则形变字符是否合格。
10.根据权利要求9所述的一种基于深度学习的产品不规则形变字符检测设备，其特征在于：还包括运输传送带、产品上料模块和产品分拣模块；
...【技术特征摘要】
1.一种基于深度学习的产品不规则形变字符检测方法，其特征在于包括如下步骤：
2.根据权利要求1所述的一种基于深度学习的产品不规则形变字符检测方法，其特征在于：在步骤s1中，所述相机固定于机械臂执行末端并随机械臂移动，通过棋盘格标定法对相机和机械臂进行手眼标定。
3.根据权利要求2所述的一种基于深度学习的产品不规则形变字符检测方法，其特征在于：所述步骤s1中，将产品不规则形变字符的试采集图像与标准图像输入图像匹配模型进行匹配，提取两幅图像的位置特征和结构特征，
4.根据权利要求1所述的一种基于深度学习的产品不规则形变字符检测方法，其特征在于：所述步骤s2中，采用非局部均值去噪法对采集的待检测产品字符图像进行去噪处理。
5.根据权利要求1所述的一种基于深度学习的产品不规则形变字符检测方法，其特征在于：所述步骤s2中，使用基于归一化互相关的模板匹配方法来定位待检测产品字符图像中字符的核心区域，从步骤s1中的标准图像上截取字符区域的模板目标图像tm×n，利用模板目标图像tm×n在待检测产品字符图像im×n中滑动匹配，滑动过程中采用归一化互相关相似度来度量模板目标图像tm×n和待检测产品字符图像im×n的相似度，具体包括；
6.根据权利要求1所述的一种...
【专利技术属性】
技术研发人员：吴成中，王耀南，张辉，冯明涛，程军，谭玲平，范崇高，张聪炫，祝振敏，刘学兵，钟杭，熊鹏文，郭晨，李达，周博文，卢笑，梁韬，刘世福，葛继，朱青，
申请(专利权)人：江西省通讯终端产业技术研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。