【技术实现步骤摘要】
本专利技术涉及缺陷检测领域，尤其涉及一种基于多模态数据的印花布面疵点智能识别方法。
技术介绍
1、在现代制造业中，尤其是在纺织品生产领域，产品质量的控制成为企业竞争力的关键因素之一。随着全球市场对纺织品品质的期望不断提高，传统的人工检测方法显现出其局限性，不仅耗时耗力，还容易受人为因素影响，导致检测结果不一致。为此，智能化、自动化的疵点检测技术逐渐成为研究和应用的热点。
2、近年来，随着计算机视觉和机器学习技术的飞速发展，基于视觉检测的智能疵点识别系统因为其高效、精确和可重复性好等优点，日益受到重视。
技术实现思路
1、为了解决上述问题，本专利技术的目的在于提供一种基于多模态数据的印花布面疵点智能识别方法，能够有效识别并评估印花布面疵点，实现高精度、高效率的检测。
2、为实现上述目的，本专利技术采用以下技术方案：
3、一种基于多模态数据的印花布面疵点智能识别方法，包括以下步骤：
4、s1:使用高分辨率的rgb摄像机获取印花布面全局图像，并进行预处理；
5、s2:基于图像识别模型，识别潜在的疵点候选区域，并结合非最大值抑制以减少重叠的疵点候选区域；
6、s3:通过近红外摄像设备获取疵点候选区域的图像，并通过高光谱成像，获取高光谱图像；
7、s4:从疵点候选区域的近红外图像、高光谱图像中提取特征，并进行特征融合；
8、s5:根据融合后的特征，基于多模态检测模型，对疵点候选区域进行细粒度疵点识
9、s6:通过后处理步骤，去除虚假阳性并合并相邻区域，提升疵点检测精度，最后生成检测报告，标出疵点的位置、类型和可能面积，供操作人员对之后的工艺做出调整。
10、进一步的，预处理具体如下：
11、通过自动白平衡算法，实时调整红、绿、蓝三色通道的增益，确保颜色的真实性和一致性；
12、使用高斯滤波器去除图像噪声，增强图像信噪比，并使用傅立叶变换去除周期性噪声；
13、通过直方图均衡化增强图像的对比度，使得疵点更易于被辨识，调整伽马值，优化图像的整体亮度，从而在未饱和的颜色线谱中更好地展现出布料的纹理和颜色细节。
14、进一步的，使用高斯滤波器去除图像噪声，增强图像信噪比，并使用傅立叶变换去除周期性噪声，具体如下：
15、高斯滤波器将高斯核与图像进行卷积：
16、；
17、其中，2g+1是高斯核的大小，i(x,y)表示输入图像的像素值，i′(x,y)表示输出图像的像素值；(x,y)是图像中像素的位置；(i,j)为高斯核的相对偏移坐标；表示高斯核；
18、傅立叶变换将高斯滤波处理后的图像从空间域转换到频域，识别和去除特定频率的噪声，对输入图像i′(x,y)进行二维傅立叶变换，得到频率域表示 f(u,v)；
19、；
20、其中，m和n分别表示输入图像的宽度和高度；u 和 v是二维频率的索引；为虚数单位；
21、识别并抑制表现周期性噪声的高频或特定频带，在傅立叶平面上，将对应的噪声频率设置为零：
22、f′(u,v)=f(u,v)×h(u,v)
23、其中，h(u,v) 是频域滤波器；
24、对处理后的频域图像f′(u,v)进行二维逆傅立叶变换，恢复到空间域：
25、。
26、进一步的，图像识别模型基于卷积特征提取网络、区域建议网络和faster r-cnn构建，具体如下：
27、卷积特征提取网络采用resnet网络，在图像上提取丰富的特征表示。
28、区域建议网络rpn通过滑动窗口在特征图上生成一组候选区域，每个窗口滑动到一个特征点时，产生不同尺度和宽高比的多个候选区域anchor；
29、rpn使用二分类判别模型来确定每个anchor是否包含目标以及特定疵点类别；
30、进一步通过回归调整候选区域的精确边界，损失函数为：
31、；
32、其中，为候选区域被预测为某个类别的概率值；为候选区域的真实类别标签；为预测的边界框回归参数；为真实的边界框回归参数；为分类损失的归一化因子，为回归损失的归一化因子，为损失权重系数，为分类损失函数；为回归损失函数：
33、fast r-cnn提取roi特征，基于rpn生成的候选区域通过roi pooling从卷积特征图裁剪固定大小的特征，并使用全连接层对每个候选特征进行类别判别和边界框精修，获取疵点候选区域。
34、进一步的，结合非最大值抑制以减少重叠的疵点候选区域，具体如下：
35、将所有检测结果的边界框按其类别置信度大小降序排列，
36、对于一个边界框集合 {bk}，按置信度降序排列：
37、l(b)={b1,b2,...,bk,...,bn ∣ score(bk)≥score(bk+1)};
38、从排好序的候选框集合l(b)中，每循环一次，选择置信度最高的框 bmax；
39、计算重叠iou：
40、
41、对所有其他框bk，若iou(bk,bmax)>θ，θ为预设阈值，则调整积分评分:
42、
43、其中，为控制参数；
44、移除得分低于预设阈值的框，重复更新计算。
45、进一步的，s4具体为：
46、对输入的近红外图像和高光谱图像数据进行标准化处理，包括对每个波段做分布归一化处理；
47、对高光谱图像数据通过主成分分析进行降维；
48、分别对近红外图像和降维后的高光谱图像数据应用cnn，提取出基本的特征表示；
49、fnir=cnnnir(xnir);
50、fhsi=cnnhsi(xhsi);
51、其中，xnir和xhsi分别为近红外图像和降维后的高光谱图像数据；cnnnir和cnnhsi分别为对应图像预训练的卷积神经网络；fnir和fhsi分别为提取的近红外特征和高光谱特征；wnir和whsi为权重；
52、使用联合特征堆叠策略，将 fnir和 fhsi通过加权方式生成融合特征向量 fu:
53、;
54、在融合特征中加入位置编码pe，使得模型能够利用序列顺序：
55、；
56、其中，pos 指的是位置，是维度索引，dmodel是特征的维度。
57、进一步的，多模态检测模型，具体如下：
58、基于改进r-cnn架构构建多模态检测模型，使用自定义模块引入通道注意力机制和空间注意力机制，突出疵点重要特征；
59、通道注意力，强调特征图中重要的通道，通过全局平均池化和全局最大池化生成通道注意力mc(x)：
60、mc(x)=σs本文档来自技高网...
【技术保护点】
1.基于多模态数据的印花布面疵点智能识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多模态数据的印花布面疵点智能识别方法，其特征在于，所述预处理具体如下：
3.根据权利要求2所述的基于多模态数据的印花布面疵点智能识别方法，其特征在于，所述使用高斯滤波器去除图像噪声，增强图像信噪比，并使用傅立叶变换去除周期性噪声，具体如下：
4.根据权利要求1所述的基于多模态数据的印花布面疵点智能识别方法，其特征在于，所述图像识别模型基于卷积特征提取网络、区域建议网络和Faster R-CNN构建，具体如下：
5.根据权利要求4所述的基于多模态数据的印花布面疵点智能识别方法，其特征在于，所述结合非最大值抑制以减少重叠的疵点候选区域，具体如下：
6.根据权利要求1所述的基于多模态数据的印花布面疵点智能识别方法，其特征在于，所述S4具体为：
7.根据权利要求6所述的基于多模态数据的印花布面疵点智能识别方法，其特征在于，所述多模态检测模型，具体如下：
8.根据权利要求7所述的基于多模态数据的印花布面疵点
9.根据权利要求1所述的基于多模态数据的印花布面疵点智能识别方法，其特征在于，所述S6具体为：
...【技术特征摘要】
1.基于多模态数据的印花布面疵点智能识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多模态数据的印花布面疵点智能识别方法，其特征在于，所述预处理具体如下：
3.根据权利要求2所述的基于多模态数据的印花布面疵点智能识别方法，其特征在于，所述使用高斯滤波器去除图像噪声，增强图像信噪比，并使用傅立叶变换去除周期性噪声，具体如下：
4.根据权利要求1所述的基于多模态数据的印花布面疵点智能识别方法，其特征在于，所述图像识别模型基于卷积特征提取网络、区域建议网络和faster r-cnn构建，具体如下：
5.根据权利要求4...
【专利技术属性】
技术研发人员：王明辉，陈建雄，舒万红，
申请(专利权)人：福建宇邦纺织科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。