【技术实现步骤摘要】
本专利技术属于工业布匹面料图像配准领域，具体是基于并行大卷积u-net网络结构的布匹面料图像配准方法及系统，用于调整图像偏移。
技术介绍
1、随着智能化应用场景的不断拓展，工业界越来越多地使用机器视觉技术来实现自动化生产和监测。比如在纺织布匹的过程中，通过摄像头采集面料图像进行异常检测，就能第一时间进行调整，提高了工作效率。例如公开号为cn117805095a的一种布匹面料图像获取方法及基于此的检测方法，将采集周期对应的高斯随机数和高斯随机数均值分别对应作为侧面光源照射和正面光源照射的触发参考值，使得布匹面料在不同角度照射下的图像信息更丰富，有助于识别质量的提升。然而，由于实际场景环境的限制，比如设备震动、环境变化或安装不稳定等因素，机器运作时，用来采集图像数据的摄像头也会略微发生移动，从而也会影响到后续图像处理。故而提出利用图像配准将采集到的图像校准到一个统一的空间坐标系中，从而消除由于摄像头移动引起的图像错位和变形现象，保证后续图像处理和分析的准确性和可靠性。
2、传统的图像配准主要包括特征匹配方法，指在两幅图像中提取特征点，并通过匹配这些特征点来实现图像配准。常用的特征包括角点、边缘、斑点等。常见的特征匹配算法包括sift(尺度不变特征变换)、surf(加速稳健特征)和orb(oriented fast and rotatedbrief)等，在一般配准任务上也取得了成功。随着基于深度学习的可变形配准的开发，大大提高了计算效率，一旦配准模型生成，配准在几秒钟内就能完成配准。其中无监督配偶凭借其在配准训练时不依赖于
3、u-net网络架构一般是在医学领域发挥巨大作用，但是应用在工业布匹面料环境中发现由于设备和环境的复杂性，特征提取时对于细致的纹理、纤维等细节还有所不足。因此，为了解决图像配准网络中特征提取能力不足以及感受野的问题，提出一种基于并行大卷积u-net网络结构的布匹面料图像配准方法。此专利技术主要研究在u-net网络中如何有效扩增感受野，引入了并行大卷积块来替代原始单独卷积块，相较于通过级联卷积块来增强性能，并行结构的卷积块在参数数量上能够更简洁；同时大卷积块由一层恒等快捷方式和三层卷积核大小不一的卷积层构成，这种并行路径不仅可以处理遥远的空间信息，还捕获和融合了空间信息在更精细的尺度上，有利于更精确地配准。
技术实现思路
1、本专利技术的目的是解决工业上异常检测时因环境影响造成的图像偏移问题，提出了一种基于并行大卷积u-net网络结构的布匹面料图像配准方法，实现异常检测前的预处理。
2、为实现上述目的，本专利技术采用以下技术方案：
3、s1.获取正常角度和异常角度下摄像头采集的布匹面料图像；
4、s2.将正常角度图像定为固定图像，与剩余异常角度图像一一配对，制作成数据集，并划分训练集、验证集和测试集；
5、s3.构建图像配准架构，包括u-net网络和空间变换网络；
6、s4.构建并行大卷积块，多层卷积混合提取特征；
7、s5.将u-net的编码器和解码器中的原始卷积块修改为并行大卷积块；
8、s6.将数据集图像对输入到修改后的网络架构中获取形变场；
9、s7.将形变场和异常角度图像通过空间变换网络生成形变图像；
10、s8.最小化形变图像和正常角度图像的损失，完成迭代训练，保存模型；
11、s9.将待配准角度图像输入到模型中，得到配准后的正常角度图像，以供后续的瑕疵检测。
12、进一步的，所述步骤s1中，正常角度图像应该是最适合的摄像头摆放位置，此时获取的图片聚焦效果最好，图像细节也足够明显。摄像头位置移动得到的异常角度图像通常表现为聚焦效果差，较为模糊，甚至是畸变图像；
13、进一步的，所述步骤s2中，对图片数据进行图像裁剪、数据增强等处理，并将正常角度的固定图像if和移动图像im进行配对，得到多组图像对(if，im)，划分成训练集dtrain、验证集dvalid和测试集dtest；
14、进一步的，所述步骤s3中，构建图像配准网络架构，由u-net网络和空间变换网络(stn)组成。u-net主要由一个编码器和一个具有跳跃连接的解码器组成，主要用于捕获图像对的特征。
15、其中编码器中的每一层通过级联连接到解码器中的相应层，以增强特征聚合并防止梯度消失，编码部分随着特征尺寸的收缩，特征数量也会增加，而解码部分与之相反，随着上采样进行，特征数量会逐渐减少。空间变换网络能够学习输入图像中的空间变换，由定位网络、空间变换器和采样器三部分组成，通过对输入图像进行空间变换，将输入图像从一个空间变换到另一个空间，使得图像之间的特征对齐，获取形变图像；
16、进一步的，所述步骤s4中，为了更好得提取布匹面料图像对的复杂特征，构建并行大卷积块。相较于级联结构的串联卷积块，并行卷积块在增加卷积层内核大小的时候，参数数量增长更加稳定。而过大的参数数量会严重影响训练过程，容易导致崩溃或者过拟合。
17、并行大卷积块的构成由一个恒等快捷方式(identity shortcut)和三层卷积层构成：1*1卷积块、3*3卷积块和k*k卷积块。其中1x1卷积层通常用于降低输入特征的维度，减少模型参数的数量，并增加网络的计算效率。1x1卷积可以将输入特征的通道数进行压缩或扩展，从而使得网络能够更好地学习到特征的组合和变换。而3x3卷积层具有较大的感受野和较强的特征提取能力，能够捕获输入特征的空间信息，并对特征进行局部的卷积操作，从而提高网络的感知能力和表达能力。k*k卷积块就是在原始3*3卷积块的基础上，更灵活不同尺度特征，也是进一步扩充特征提取强度的关键。恒等捷径是为了将输入直接连接到输出，从而保持输入特征的维度不变。恒等捷径有助于加速梯度的反向传播，减少梯度消失和梯度爆炸问题，同时可以提高网络的训练速度和稳定性。
18、进一步的，所述步骤s5中，为了解决实际过程中u-net网络的有效感受野不足的问题，在此将u-net网络的编码器和解码器中都有的3*3的卷积块替换成s4中构建好的并行大卷积块。不仅可以处理遥远的空间信息，还能在更精细的尺度上捕捉和融合特征信息。每层得到的特征输出会逐元素相加得到最终的卷积输出；
19、进一步的，所述步骤s6中，将训练集中的图像对输入到修改后的网络架构中，生成形变场，模型表示如下：
20、φ＝fθ(if,im)
21、其中，fθ表示为并行大卷积u-net网络，将if和im输入到网络中，通过最佳参数θ输出变形场φ；
22、进一步的，所述步骤s7中，利用空间变换网络中的定位网络从形变场中提取变换参数，空间变换器根据这些参数对移动图像进行变换，最终通过采样器生本文档来自技高网...
【技术保护点】
1.一种基于并行大卷积U-Net网络结构的布匹面料图像配准方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种基于并行大卷积U-Net网络结构的布匹面料图像配准方法，其特征在于，所述步骤S1中，利用工业摄像头获取正常角度和异常角度下获取到的布匹面料图像。
3.根据权利要求1所述的一种基于并行大卷积U-Net网络结构的布匹面料图像配准方法，其特征在于，所述步骤S2中，对布匹面料数据进行图像裁剪、数据增强等操作，构建包含图像对(If,Im)的数据集，并划分为训练集Dtrain、验证集Dvalid和测试集Dtest。
4.根据权利要求1所述的一种基于并行大卷积U-Net网络结构的布匹面料图像配准方法，其特征在于，所述步骤S3中，构建由U-Net网络和空间变换网络(STN)组成的图像配准架构；其中U-Net由一个编码器和一个具有跳跃连接的解码器组成，编码部分随着特征尺寸的收缩，特征数量逐渐增加，解码部分则是与之相反进行复原；U-Net的主要作用就是进行特征提取，形成每个像素的位移形变场；空间变换网络能够学习输入图像中的空间变换，通过对输入图像进行
5.根据权利要求1所述的一种基于并行大卷积U-Net网络结构的布匹面料图像配准方法，其特征在于，所述步骤S4中，为了增强U-Net网络对布匹图像特征提取时候的有效感受野范围，构建包括一个恒等捷径方式和三层并行卷积层的并行大卷积块；通过设计具有并行路径的网络模块来实现特征提取，这样的结构能够增强单独卷积块的特征提取能力，同时保持模型的参数数量相对较少；具体实现方式如下：
6.根据权利要求1所述的一种基于并行大卷积U-Net网络结构的布匹面料图像配准方法，其特征在于，所述步骤S5中，U-Net编码解码过程中都依赖3x3卷积层的参与，在此将卷积块都替换成步骤S4中设计的并行大卷积块，解决局部感受野问题，而后接上激活函数ReLU函数。
7.根据权利要求1所述的一种基于并行大卷积U-Net网络结构的布匹面料图像配准方法，其特征在于，所述步骤S6中，将训练集中的图像对输入到修改后的网络架构中，生成形变场，模型表示如下：
8.根据权利要求1所述的一种基于并行大卷积U-Net网络结构的布匹面料图像配准方法，其特征在于，所述步骤S7中，利用空间变换网络将移动图像Im与形变场φ结合，变化输出形变图像Iw。
9.根据权利要求1所述的一种基于并行大卷积U-Net网络结构的布匹面料图像配准方法，其特征在于，所述步骤S8中，迭代训练过程通过最小化损失函数进行，图像配准吃的损失函数由两部分构成，一是用来惩罚固定图像和配准图像相似度的正则化损失函数Lsim，选用结构相似性指数约定相似程度，表示为：
10.根据权利要求1所述的一种基于并行大卷积U-Net网络结构的布匹面料图像配准方法，其特征在于，所述步骤S9中，调整偏移图像和正常角度下的图像样本输入到保存的模型中，得到配准图像，从而可以进行之后的其它图像分析。
11.一种基于并行大卷积U-Net网络结构的布匹面料图像配准系统，其特征在于包括如下模块：
...【技术特征摘要】
1.一种基于并行大卷积u-net网络结构的布匹面料图像配准方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种基于并行大卷积u-net网络结构的布匹面料图像配准方法，其特征在于，所述步骤s1中，利用工业摄像头获取正常角度和异常角度下获取到的布匹面料图像。
3.根据权利要求1所述的一种基于并行大卷积u-net网络结构的布匹面料图像配准方法，其特征在于，所述步骤s2中，对布匹面料数据进行图像裁剪、数据增强等操作，构建包含图像对(if,im)的数据集，并划分为训练集dtrain、验证集dvalid和测试集dtest。
4.根据权利要求1所述的一种基于并行大卷积u-net网络结构的布匹面料图像配准方法，其特征在于，所述步骤s3中，构建由u-net网络和空间变换网络(stn)组成的图像配准架构；其中u-net由一个编码器和一个具有跳跃连接的解码器组成，编码部分随着特征尺寸的收缩，特征数量逐渐增加，解码部分则是与之相反进行复原；u-net的主要作用就是进行特征提取，形成每个像素的位移形变场；空间变换网络能够学习输入图像中的空间变换，通过对输入图像进行空间变换，将输入图像从一个空间变换到另一个空间，使得图像之间的特征对齐，获取形变图像。
5.根据权利要求1所述的一种基于并行大卷积u-net网络结构的布匹面料图像配准方法，其特征在于，所述步骤s4中，为了增强u-net网络对布匹图像特征提取时候的有效感受野范围，构建包括一个恒等捷径方式和三层并行卷积层的并行大卷积块；通过设计具有并行路径的网络模块来实现特征提取，这样的结构...
【专利技术属性】
技术研发人员：高山，高峰，吴博，
申请(专利权)人：太阳洲上海电气科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。