【技术实现步骤摘要】
：本专利技术涉及工业视觉检测，具体地说是一种能够对物体光滑表面的凹凸缺陷进行高效、高准确性检查以及标记，进而显著提高工业品生产效率、降低生产成本的物体光滑表面凹凸形态缺陷检测方法。
技术介绍
0、
技术介绍
：
1、热敏打印制造业行业在基板制作过程中，其玻璃表面常存在隐约可见的凹凸等瑕疵，严重影响产品打印质量，使该行业的一些生产厂家深受困扰。目前大部分厂家都是采用人工显微镜下目视检测，由于劳动强度高，采用的是抽样检测/不检查，导致产品不合格率较高。当然也有小部分厂家采用目前主流的深度学习方法来代替检验员肉眼浏览图片来完成缺陷识别，解决人工判别缺陷存在的问题。但是，因缺陷凹凸形态方向大小不一，不同缺陷受光线角度及方向影响严重，会造成缺陷漏检的情况。
技术实现思路
0、
技术实现思路
：
1、本专利技术针对现有技术中存在的缺点和不足，提出了一种能够对物体光滑表面的凹凸缺陷进行高效、高准确性检查以及标记，进而显著提高工业品生产效率、降低生产成本的物体光滑表面凹凸形态缺陷检测方法及系统。
2、本专利技术通过以下措施达到：
3、一种物体光滑表面凹凸形态缺陷检测方法，其特征在于，包括以下步骤：
4、步骤1：采集图像数据并进行预处理：
5、步骤1-1：采用线扫相机采集物体光滑表面的图像数据，按多角度、多方向成像采图片，其中，先按照检测物体表面材质及缺陷种类，确定采集方向和角度，方向和角度的确定方式为：首先确定在某方向角度上能最大范围
6、步骤1-2：对获得的图片进行对齐操作，在找到图片的共同特征点后，采用求得透射变换矩阵进行对齐操作，具体为：对同一检测区域内进行的多个角度、多方向拍摄的n张图片进行对齐操作为：将n张图像投影到统一视平面，变换公式为：
7、
8、其中，(u,v)是原始的图像像素坐标，w取值为1，
9、(x＝x'/z',y＝y'/z')是透射变换后的结果，a00,a01,a02……的矩阵称为透视变换矩阵：
10、
11、其中：t1表示对图像进行线性变换，t2对图像进行平移，t3表示对图像进行投射变换，a22设为1，找到四个点，其中任意三个不共线，然后获取变换矩阵t，再进行透射变换，对图像进行对齐操作，四点位置通过角点特征提取或特征匹配获得；
12、步骤1-3：进行图像融合，包括两种融合方式，方式一：n张图片按照设置好的各自权重比例进行融合；方式二：n张图片逐轮依次提取对应行数据组成新图像，第一轮，第1张图片提取第1行数据，……第n张图片提取第n行数据；第i轮，第1张图片提取(i-1)*n+1行数据，……第n张图片提取(i-1)*n+n行；直至提取完成，两种图像融合方式的选择根据各个角度缺陷成像清晰度及某个角度的缺陷是否要加强检测来确定，若需要加强某一个或某几个角度的缺陷，选择方式一，将需加强的角度权重比例调高，如果各个角度无特殊要求选择方式二；
13、步骤2：建立凹凸形态缺陷检测模型以及分类模型，并对凹凸形态缺陷检测模型以及分类模型进行训练，其中，建立并训练凹凸形态缺陷检测模型具体包括以下步骤：
14、步骤2-1：建立凹凸形态缺陷检测模型，分为特征提取层、特征融合及输出层，所述凹凸形态缺陷检测模型为改进后的yolov5模型，具有全局特征融合模块，所述凹凸形态缺陷检测模型的特征提取层结构为：
15、[[-1,1,卷积模块，[64,3]],
16、[-1,1,卷积模块,[128,3,2]],
17、[-1,1,全局特征融合模块,[128]],
18、[-1,1,卷积模块,[256,3,2]],
19、[-1,2,全局特征融合模块,[256]],
20、[-1,1,卷积模块,[512,3,2]],
21、[-1,3,全局特征融合模块,[512]],
22、[-1,1,卷积模块,[1024,3,2]],
23、[-1,3,全局特征融合模块,[1024]],
24、[-1,1,快速空间金字塔,[1024,5]],
25、]
26、特征融合及输出层的结构为：
27、[[-1,1,卷积模块,[512,1,1]],
28、[-1,1,nn.upsample,[none,2，’nearest’]],[[-1,6],1,合并,[1]],
29、[-1,3,全局特征融合模块,[512,false]],
30、[-1,1,卷积模块[256,1,1]],
31、[-1,1,nn.upsample,[none,2,’nearest’]],[[-1,4],1,合并,[1]],
32、[-1,3,全局特征融合模块,[256,false]],
33、[-1,1,卷积模块,[256,3,2]],
34、[[-1,14],1,合并,[1]],
35、[-1,3,全局特征融合模块,[512,false]],
36、[-1,1,卷积模块,[512,3,2]],
37、[[-1,10],1,合并,[1]],
38、[-1,3,全局特征融合模块,[1024,false]],
39、[[17,20,23],1,检测头,[nc,anchors]],
40、]；
41、步骤2-2：对步骤1输出的图片进行标注，打框标注缺陷，获取缺陷坐标及类别；
42、步骤2-3：对标注后的图片随机选择增强方式进行数据增强，包括几何增强、颜色增强及组合增强，几何增强操作包括裁剪，旋转，反转，缩放，变形，颜色变换包括模糊、颜色转换、擦除、填充等方式对图像进行处理，组合增强将几何增强和颜色增强组合在一起对图像进行增强；
43、步骤2-4：输入至凹凸形态缺陷检测模型进行训练，图像经过特征提取层，特征融合层及输出层，输出层获得缺陷左上角(x1,y1)及右下角(x2,y2)坐标值；
44、步骤3：利用步骤2中获得的凹凸形态缺陷检测模型进行缺陷检测，并将检测后有缺陷的数据送入分类模型，利用分类模型输出缺陷位置信息以及缺陷种类。
45、本专利技术步骤2中建立并训练分类模型还包括以下步骤：
46、步骤2-5：将图片输入训练后的检测模型，获取检测出缺陷小图片；
47、步骤2-6：按照缺陷类别分别存放图片，每种缺陷放在单独的文件夹，文件夹命名按照自定义缺陷种类命名；
48、步骤2-7：输入分类模型进行训练，分类模型采用mobilenetv2网络，主要结构和层描述如下：
49、输入层：接收输入图像的数据。
本文档来自技高网...
【技术保护点】
1.一种物体光滑表面凹凸形态缺陷检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种物体光滑表面凹凸形态缺陷检测方法，其特征在于，步骤2中建立并训练分类模型还包括以下步骤：
3.根据权利要求1所述的一种物体光滑表面凹凸形态缺陷检测方法，其特征在于，步骤1-3中包括两种融合方式，方式一：n张图片按照设置好的各自权重比例进行融合；方式二：n张图片逐轮依次提取对应行数据组成新图像，第一轮，第1张图片提取第1行数据，……第n张图片提取第n行数据；第i轮，第1张图片提取(i-1)*n+1行数据，……第n张图片提取(i-1)*n+n行；直至提取完成，两种图像融合方式的选择根据各个角度缺陷成像清晰度及某个角度的缺陷是否要加强检测来确定，若需要加强某一个或某几个角度的缺陷，选择方式一，将需加强的角度权重比例调高，如果各个角度无特殊要求选择方式二。
4.根据权利要求1所述的一种物体光滑表面凹凸形态缺陷检测方法，其特征在于，所述凹凸形态缺陷检测模型的特征提取层结构为：
5.根据权利要求1所述的一种物体光滑表面凹凸形态缺陷检测方法，其特征在
...【技术特征摘要】
1.一种物体光滑表面凹凸形态缺陷检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种物体光滑表面凹凸形态缺陷检测方法，其特征在于，步骤2中建立并训练分类模型还包括以下步骤：
3.根据权利要求1所述的一种物体光滑表面凹凸形态缺陷检测方法，其特征在于，步骤1-3中包括两种融合方式，方式一：n张图片按照设置好的各自权重比例进行融合；方式二：n张图片逐轮依次提取对应行数据组成新图像，第一轮，第1张图片提取第1行数据，……第n张图片提取第n行数据；第i轮，第1张图片提取(i-1)...
【专利技术属性】
技术研发人员：李莹莹，尹虎，贺春芝，
申请(专利权)人：威海北洋电气集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。