基于多尺度集成特征编码的纹理识别模型建立方法及应用技术

本发明专利技术公开了一种基于多尺度集成特征编码的纹理识别模型建立方法及应用，属于图像处理领域，模型建立方法包括：建立先验引导特征提取网络、特征融合网络、多尺度编码网络和多尺度集成学习网络，依次连接各网络后进行训练，得到纹理识别模型；模型中各网络依次用于：首先，利用纹理先验信息提取对纹理结构表达能力较强的卷积特征；其次，将深层特征与浅层特征融合，得到多尺度强语义信息特征；接着，对各尺度的特征进行编码，得到对异常点鲁棒的全局纹理特征；最后，利用得到的多尺度全局纹理特征进行集成学习，实现多尺度纹理的鲁棒识别。本发明专利技术能够有效提高在复杂背景干扰及大尺度变化情况下的纹理识别结果鲁棒性和准确性。变化情况下的纹理识别结果鲁棒性和准确性。变化情况下的纹理识别结果鲁棒性和准确性。

【技术实现步骤摘要】
基于多尺度集成特征编码的纹理识别模型建立方法及应用


[0001]本专利技术属于图像处理领域，更具体地，涉及一种基于多尺度集成特征编码的纹理识别模型建立方法及应用。

技术介绍

[0002]纹理是图像的基本微结构，是进行图像理解、场景理解的重要的中层特征。因此，纹理识别，即提取纹理特征并进行准确分类，是计算机视觉领域一个重要的视觉任务。纹理识别在许多视觉任务中都有应用，如图像检索、工业视觉检测、人脸分析、地形识别等。
[0003]由于众多因素的影响，如光照变化、视角变化、旋转、尺度、图像退化(模糊、噪声、背景干扰等)，导致纹理识别依然是一个极具挑战的视觉任务。目前，已有大量算法被提出来解决纹理识别难题。现有纹理识别算法将图像的局部纹理特征映射到可学习的词袋模型，并将编码后的局部特征集成为全局纹理特征进行纹理识别。
[0004]然而，现有方法在编码过程中均将局部区域的特征视为纹理特征。多数场景中纹理图像受复杂背景区域干扰。因此，图像的局部特征中往往包含了来自于背景区域的局部特征。在编码过程中若不对异常特征进行额外的处理将影响编码后的全局特征的判别性能，进而制约此类方法对具有背景异常干扰的识别精度与鲁棒性。同时，现有方法均仅利用单尺度的卷积特征进行纹理编码，难以编码多尺度纹理信息。因此，现有纹理识别方法无法解决存在复杂背景干扰及大尺度变化情况下的纹理识别问题。

技术实现思路

[0005]针对现有技术的缺陷和改进需求，本专利技术提供了一种基于多尺度集成特征编码的纹理识别模型建立方法及应用，其目的在于，提高在复杂背景干扰及大尺度变化情况下的纹理识别结果鲁棒性和准确性。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种基于多尺度集成特征编码的纹理识别模型建立方法，包括：
[0007]建立先验引导特征提取网络，用于获得输入图像的N
s
个尺度的卷积特征和先验纹理特征，并将对应尺度的卷积特征和先验纹理特征融合，得到N
s
个尺度的融合卷积特征；
[0008]建立特征融合网络，用于将N
s
个尺度的融合卷积特征中，最深层的融合卷积特征分别与其余各尺度的融合卷积特征融合，由N
s
‑
1个融合结果连同最深层的融合卷积特征一起构成N
s
个尺度的强语义信息特征；
[0009]建立多尺度编码网络，用于对N
s
个尺度的强语义信息特征进行编码，使得每一个强语义信息特征中，属于纹理区域的局部特征被映射到超球体内部，而属于背景区域的局部特征被映射到超球体外部，得到N
s
个全局纹理特征；超球体有K个，分别以K个可学习的纹理基元为中心；
[0010]建立多尺度集成学习网络，用于利用N
s
个全局纹理特征进行集成学习，得到输入图像的纹理识别结果；
[0011]依次连接先验引导特征提取网络、特征融合网络、多尺度编码网络和多尺度集成学习网络，并利用纹理类别已知的图像数据集对连接所得的模型进行训练，在训练结束后，得到用于对图像进行纹理识别的纹理识别模型；
[0012]其中，N
s
和K均为预设的正整数。
[0013]本专利技术所建立的纹理识别模型中，先验引导特征提取网络同时提取输入图像多个尺度下的卷积特征和先验纹理特征，并将对应尺度的卷积特征和先验纹理特征融合，所得到的融合卷积特征对于输入图像的纹理结构具有更强的表达能力，有利于提高纹理识别的准确性；先验引导特征提取网络所获得多个融合卷积特征中，最深层的融合卷积特征，即尺度最小的融合卷积特征，对于纹理解结构的语义表达能力最强，而浅层融合卷积特征的语义表达能力相对较弱；本专利技术所建立的纹理识别模型中，特征融合网络将最深层的融合卷积特征与其余各浅层的融合卷积特征分别融合，在提升浅层特征语义表达能力的同时，保留了各层特征的尺度，因此，特征融合网络所得到的多个尺度的强语义信息特征既具备较好的语义特征表达能力，同时保持了多尺度特性；本专利技术所建立的纹理识别模型中，多尺度编码网络对于各尺度的强语义信息特征分别进行编码，使得各强语义信息特征中，属于纹理区域的局部特征被映射到超球体内部，而属于背景区域的局部特征被映射到超球体外部，由此得到的全局纹理特征对于背景区域和纹理区域具有较强的判别性，能够抵抗异常局部特征(即背景区域局部特征)的干扰，实现复杂背景干扰下的鲁棒识别；本专利技术所建立的纹理识别模型中，多尺度集成学习网络对多个全局纹理特征进行集成学习，能够有效集成各个尺度的全局纹理特征，实现多尺度纹理的鲁棒识别。总体而言，本专利技术所建立的纹理识别模型，同时处理输入图像多个尺度的特征信息，通过特征融合和编码，提高各尺度特征信息对于纹理结构的语义表达能力以及对于背景区域局部特征干扰的判别能力，并通过集成学习融合多个尺度的特征信息，能够有效提高在复杂背景干扰及大尺度变化情况下的纹理识别结果鲁棒性和准确性。
[0014]进一步地，先验引导特征提取网络包括：主干网络、纹理特征提取模块、N
s
个下采样模块和N
s
个先验融合模块；
[0015]主干网络，用于提取输入图像的N
s
个尺度的卷积特征；
[0016]纹理特征提取模块，用于提取输入图像的先验纹理特征；
[0017]N
s
个下采样模块，分别用于对纹理特征提取模块所提取的先验纹理特征进行下采样，得到得到N
s
个尺度的先验纹理特征；N
s
个尺度的先验纹理特征与N
s
个尺度的卷积特征的尺度一一对应；
[0018]N
s
个先验融合模块，分别用于将其中一个尺度下的卷积特征和先验纹理特征融合，得到N
s
个融合卷积特征。
[0019]本专利技术中，先验引导特征提取网络利用纹理特征提取模型提取输入图像的先验纹理特征，同时利用主干网络提取多个尺度的卷积特征，相应地将所提取的先验纹理特征下采样至与各卷积特征一一对应的尺度，并将对应尺度下的卷积特征和先验纹理特征融合，由此能够得到多尺度的纹理特征信息，同时，在先验的纹理特征的基础上，通过融合卷积特征，增加了输入信息量，可以有效提升模型对全局纹理结构的表达能力，提高识别精度。
[0020]进一步地，先验融合模块包括：一个先验上下文学习分支、一个通道注意力分支和一个第一融合模块；
[0021]先验上下文学习分支，用于提取先验纹理特征的注意力分数图；注意力分数图用于描述先验纹理特征中任意第j个区域对任意第k个区域的影响权重；
[0022]通道注意力分支，用于学习卷积特征中不同通道的权重向量，并与卷积特征相乘，以规整不同通道的重要性，得到规整后的特征图；
[0023]第一融合模块，用于融合注意力分数图和规整后的特征图，得到融合卷积特征。
[0024]本专利技术中，先验引导特征提取网络中的先验融合模块在融合对应尺度下的卷积特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度集成特征编码的纹理识别模型建立方法，其特征在于，包括：建立先验引导特征提取网络，用于获得输入图像的N
s
个尺度的卷积特征和先验纹理特征，并将对应尺度的卷积特征和先验纹理特征融合，得到N
s
个尺度的融合卷积特征；建立特征融合网络，用于将所述N
s
个尺度的融合卷积特征中，最深层的融合卷积特征分别与其余各尺度的融合卷积特征融合，由N
s
‑
1个融合结果连同所述最深层的融合卷积特征一起构成N
s
个尺度的强语义信息特征；建立多尺度编码网络，用于对所述N
s
个尺度的强语义信息特征进行编码，使得每一个强语义信息特征中，属于纹理区域的局部特征被映射到超球体内部，而属于背景区域的局部特征被映射到超球体外部，得到N
s
个全局纹理特征；所述超球体有K个，分别以K个可学习的纹理基元为中心；建立多尺度集成学习网络，用于利用所述N
s
个全局纹理特征进行集成学习，得到所述输入图像的纹理识别结果；依次连接所述先验引导特征提取网络、所述特征融合网络、所述多尺度编码网络和所述多尺度集成学习网络，并利用纹理类别已知的图像数据集对连接所得的模型进行训练，在训练结束后，得到用于对图像进行纹理识别的纹理识别模型；其中，N
s
和K均为预设的正整数。2.如权利要求1所述的基于多尺度集成特征编码的纹理识别模型建立方法，其特征在于，所述先验引导特征提取网络包括：主干网络、纹理特征提取模块、N
s
个下采样模块和N
s
个先验融合模块；所述主干网络，用于提取所述输入图像的N
s
个尺度的卷积特征；所述纹理特征提取模块，用于提取所述输入图像的先验纹理特征；所述N
s
个下采样模块，分别用于对所述纹理特征提取模块所提取的先验纹理特征进行下采样，得到得到N
s
个尺度的先验纹理特征；所述N
s
个尺度的先验纹理特征与所述N
s
个尺度的卷积特征的尺度一一对应；所述N
s
个先验融合模块，分别用于将其中一个尺度下的卷积特征和先验纹理特征融合，得到N
s
个融合卷积特征。3.如权利要求2所述的基于多尺度集成特征编码的纹理识别模型建立方法，其特征在于，所述先验融合模块包括：一个先验上下文学习分支、一个通道注意力分支和一个第一融合模块；所述先验上下文学习分支，用于提取先验纹理特征的注意力分数图；所述注意力分数图用于描述先验纹理特征中任意第j个区域对任意第k个区域的影响权重；所述通道注意力分支，用于学习卷积特征中不同通道的权重向量，并与卷积特征相乘，以规整不同通道的重要性，得到规整后的特征图；所述第一融合模块，用于融合所述注意力分数图和所述规整后的特征图，得到融合卷积特征。4.如权利要求2所述的基于多尺度集成特征编码的纹理识别模型建立方法，其特征在于，所述先验引导特征提取网络还包括解码器；所述解码器的结构与所述主干网络的对称，所述解码器与所述主干网络构成编码器
‑
解码器结构；所述解码器用于在利用纹理类别已知的图像数据集对连接所得的模型进行训
练时，利用最深层的卷积特征重构出与所述输入图像相同大小的图像，以通过重构损失优化所述主干网络的训练效果。5.如权利要求1
‑
4任一项所述的基于多尺度集成特征编码的纹理识别模型建立方法，其特征在于，所述特征融合网络将最深层的融合卷积特征与其余任意一个较浅层融合卷积特征融合的方式包括：将所述最深层的融合卷积特征的尺寸放大至与所述较浅层融合卷积特征一致后，与所述较浅层融合卷积特征按通道堆叠，得到与所述较浅层融合卷积特征尺度一致的强语义信息特征。6.如权利要求1
‑
4任一项所述的基于多尺度集成特征编码的纹理识别模型建立方法，其特征在于，所述多尺度编码网络包括：N
s
个纹理编码模块，分别用于对所述N
s
个尺度的强语义信息特征进行编码；所述纹理编码模块包括：第一卷积层、纹理特征编码分支和第一全连接层；所述第一卷积层，用于对强语义信息特征进行卷积操作，以减少其通道数；所述纹理特征编码分支，用于对减少通道数后的强语义信息特征中的各个局部特征进行编码，使得属于纹理区域的局部特征被映射到超球体内部，而属于背景区域的局部特征被映射到超球体外部，所述超球体有K个，分别以K个可学习的纹理基元为中心；基于各局部特征的编码结果，计算每个纹理基元的一阶残差向量和二阶残差向量，归一化后级联为对应纹理基元的残差编...

【专利技术属性】
技术研发人员：杨华，宋开友，尹周平，侯岳，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：