【技术实现步骤摘要】
本专利技术属于图像识别，特别涉及一种基于孪生重建网络的高光谱图像偏标签学习方法及系统。
技术介绍
1、高光谱成像是一种可以捕获关于地物丰富的光谱信息的前沿技术，可以获取具有光谱分辨率高、波段多的高光谱图像，进而可以获取几乎连续的地物光谱曲线，并根据需要选择或提取特定波段，突出目标地物的特征。因此，高光谱图像被广泛应用在环境检测、军事侦察以及食品安全分析领域。为了挖掘高光谱图像数据的实际应用潜力，人们探索了包括高光谱图像目标检测、高光谱图像解混和高光谱图像分类在内的数据处理技术。作为各种高光谱图像处理技术中最为关键的技术之一，高光谱图像分类的目的是识别图像中每个像素的具体地物类型，且受益于深度学习技术的发展，其在上述大多数应用中发挥着重要的作用。
2、基于深度学习的高光谱图像分类方法其本质上是一种数据驱动式的学习方法，因此需要大量的标记样本去监督模型的训练过程以达到令人满意的分类性能。由于高光谱图像分类是一种像素级分类任务，因此高光谱图像标注需要对图像中的像素进行详细的标注，这使得收集大量标注的高光谱数据十分困难且成本昂贵。究其原因在于高光谱图像中的标签歧义问题：在高光谱图像的某些区域内，像元的类间相似度高但类内相似度底，加之标注者对某些地物类型的光谱特点不是非常了解会使得标注者们很难识别此类像素的真实类别标签。在此情况下，标注者倾向于将看起来可能是真实标签的标签都分配给像素，这些标签构成了候选标签集并将这种数据称为部分标记数据。与此同时，针对此类数据，研究者们提出了偏标签学习(pll)框架旨在降低模型对数据的标注要求
3、偏标签学习是一种弱监督学习框架，它允许训练样本关联由多个获选标签组成的候选标签集，其中只有一个真实标签，其他都是假阳性标签。pll的核心是如何从候选标签集中识别出真实标签，即标签消歧，进而为训练过程提供有效的监督信息。近年来，基于深度学习的偏标签方法得到了广泛的应用。这些方法通过将真实标签视为隐藏变量和并在模型训练的过程中不断优化以实现标签消歧。然而，现有大方法大多是针对普通自然图像设计的，很少考虑高光谱图像的特点，因此难以直接应用于高光谱图像中。因此，在高光谱图像分类领域，如何针对高光谱图像的特点设计出性能良好的偏标签学习框架是减轻其标注压力、减少标注成本的关键。
技术实现思路
1、本专利技术针对高光谱图像的数据特点，首先提供了一种基于孪生重建网络的高光谱图像偏标签学习方法，采用一个结合了重构网络和孪生网络的连贯框架，来进行空谱特征提取和高质量特征表示；采用一种简化的交叉注意力机制，来建立空间特征表示和光谱特征表示之间的交互；采用一种新的最大化匹配融合机制，即利用与特征表示最为匹配的标签的语义表示来增强特征表示的可靠性；基于潜在真实标签的预测概率与其余标签之间的差距应越大越好的设定，采用了一种新的最大差异损失，来引导标签消歧以及模型训练的过程。本方法可以更好地捕获高光谱图像中的空谱信息，可以为标签消歧提供高质量的可靠的特征表示，并且在标签消歧方面比其他偏标签学习方法具有优势。
2、为达到上述目的，本专利技术提供如下技术方案：
3、一种基于孪生重建网络的高光谱图像偏标签学习方法，包括以下步骤：s1：高光谱图像获取，获取包含c种地物类型的目标场景高光谱图像(hyperspectral image，hsi)i∈rh×w×b，其中h和w图像的尺寸，b是光谱维度；s2：数据预处理，对高光谱图像进行预处理，获取用于光谱和空间信息提取的数据形式，并划分训练样本数据和测试样本数据；s3：将训练样本输入孪生重建网络进行表示学习；s4：标签消歧，依据s3获取的样本特征表示输入网络的分类器，并根据分类器输出进行标签消歧；s5：计算整体损失并更新模型参数；s6：训练完成后对测试样本进行分类获得测试结果。
4、进一步，在步骤s2中，对高光谱图像进行预处理，具体包括：s11、数据降维与分块，利用主成分分析方法将光谱维度从b降至l，然后以每个像素为中心用s×s大小的窗口为其划分数据块用于空间信息提取(空间数据)，其中心像素的原始光谱用于光谱信息提取(光谱数据)；s12、数据划分，将每个像素的原始光谱和经过降维划分后的数据块作为模型输入，并按照1:99的比列划分为训练集和测试集；s13、候选标签置信向量构建，首先通过按照一定阈值r将像素的非真实标签随机转化为候选标签，然后按照one-hot编码方式为训练样本生成候选标签向量y(对应候选标签的位置的值为1，反之为0)，最后将非零元素归一化后得到获得初始的像素的候选标签置信向量
5、进一步，在步骤s3中，对训练样本进行特征提取；首先，在光谱维度上进行特征提取之前，通过1d卷积将像素的一维的原始光谱向量ii∈rb映射到二维表示形式i′i∈rb×d，从而将每光谱都嵌入到更具表现力的d维特征表示；再利用长短记忆网络作为光谱编码层来进一步处理i′i＝{s1，s2，...，sl}∈rb×d，从而获取长距离光谱信息，即在时间步长为p时，隐状态可借助输入和p-1步输出进行更新，具体公式如下：
6、spep＝frelu(flstm(spep-1，sp))
7、其中sp是像素中第p个光谱的嵌入特征向量，spep表示经过光谱编码后的第p个光谱的特征表示(spe为整体光谱特征表示)，flstm(·)和frelu(·)分别表示长短记忆网络和激活函数。
8、进一步，对每个像素为中心划分的数据块hi∈rs×s×1进行空间特征提取。通过2d卷积对hi进行空间维度上的下采样，捕获像素的空间特征表示spa，具体公式如下：
9、
10、其中是卷积核大小为k×k的卷积网络，fpool(·)为池化操作过程。
11、进一步，经过光谱特征提取和空间特征提取后，通过交叉注意力机制在输出的光谱特征表示spe和空间特征表示spa之间建立语义交互，进而捕获高光谱图像中更具价值的信息。交叉注意力机制先通过两个线性全连接层将spe和spa分别进行特征强化，具体公式如下：
12、spe′＝spe×w1
13、spa′＝reshape(spa)×w2
14、其中w1和w2分别为线性全连接层的映射权重，reshap(·)为将3d的空间特征表示重塑为与光谱表示一样的2d表示形式。然后计算spe′和spa′之间的相似性分数矩阵，公式如下：
15、
16、其中d为特征表示维度数，softmax(·)为归一化操作。最后分别计算spe′和spa′与相似度分数矩阵s之间的点积，并分别将其与对应的光谱特征表示spe和spa相加，得到空谱交互后的特征表示，具体公式如下：
17、spe＝spe+s×spa
18、spa＝spa+reshape(st×spe)
19、进一步，将空谱交互后的特征表示spe和spa分别作为第二次光谱特征提取和空间提取的输入，再将其输出通过交叉注意力进行空谱交互，最后将第本文档来自技高网...
【技术保护点】
1.一种基于孪生重建网络的高光谱图像偏标签学习方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于孪生重建网络的高光谱图像偏标签学习方法，其特征在于：在步骤S1中，获取包含c种地物类型的目标场景高光谱图像(hyperspectral image，HSI)I∈Rh×w×b，其中h和w图像的尺寸，b是光谱维度。
3.根据权利要求2所述的基于孪生重建网络的高光谱图像偏标签学习方法及系统，其特征在于：在步骤S2中，对获取的高光谱图像进行预处理与划分，对经过主成分分析处理后的高光谱图像每个像素为中心使用13×13的窗口为其分块得到对应的空间数据，然后以对应中心像素的原始光谱作为光谱数据并为其分配候选标签向量，将这两种数据按照1∶99的比列划分训练集和测试集，用于模型的训练和测试。
4.根据权利要求3所述的基于孪生重建网络的高光谱图像偏标签学习方法，其特征在于：在步骤S3中，所述孪生重建网络包括用于光谱信息和空间信息的提取的空谱编码器，空间解码器、光谱解码器以及孪生空谱编码器，在空谱编码器中，基于长短记忆网络和卷积网络构建了分别针对光谱数据和空间
5.根据权利要求4所述的基于孪生重建网络的高光谱图像偏标签学习方法，其特征在于：在空谱编码过程中，通过交叉注意力机制在输出的光谱特征表示Spe和空间特征表示Spa之间建立语义交互，进而捕获高光谱图像中更具价值的信息，交叉注意机制的公式如下：
6.根据权利要求4所述的基于孪生重建网络的高光谱图像偏标签学习方法，其特征在于：在空谱编码器中空谱编码的最后一层构建最大化匹配机制，通过预训练语言模型(Bert)对每个标签词进行编码，进而获取到标签空间中包含每个标签语义表示的查询表S∈Rl×d，然后将最后一层光谱编码层和空间编码层的输出经过打平、取平均操作后将两者按照特征维度进行拼接，得到综合的空谱特征表示V，最后通过最大化匹配机制将与V最相似的标签语义表示与其进行加权和，得到增强的语义表示，最大化匹配机制的操作公式如下：
7.根据权利要求4所述的基于孪生重建网络的高光谱图像偏标签学习方法，其特征在于：基于重建网络的编解码形式构建了光谱解码和空间解码过程，将最后一层光谱编码层和空间编码层输出的光谱特征表示Spe和空间特征表示Spe还原到原始的输入形式，然后建立原始输入与解码输出之间的一致性约束，解码过程和特征一致性约束的公式如下：、
8.根据权利要求4所述的基于孪生重建网络的高光谱图像偏标签学习方法，其特征在于：为了进一步增强特征表示的健壮性，对于加噪后的光谱数据和空间数据，设计了与空谱编码器共享权重的孪生空谱编码器，得到空谱特征表示然后将V和分别输入到分类器中，得到样本关于标签的预测概率向量p和然后分别计算p和与两者均值q之间的KL散度作为两者的对齐损失，具体公式如下：
9.根据权利要求8所述的基于孪生重建网络的高光谱图像偏标签学习方法，其特征在于：需要根据预测的标签概率向量p进行标签消歧操作，即用标签预测向量p更新标签置信向量标签消歧的公式如下：
10.一种基于孪生重建网络的高光谱图像偏标签学习系统，其特征在于：该系统配置有如权利要求1至9中任一项所述的基于孪生重建网络的高光谱图像偏标签学习方法。
...【技术特征摘要】
1.一种基于孪生重建网络的高光谱图像偏标签学习方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于孪生重建网络的高光谱图像偏标签学习方法，其特征在于：在步骤s1中，获取包含c种地物类型的目标场景高光谱图像(hyperspectral image，hsi)i∈rh×w×b，其中h和w图像的尺寸，b是光谱维度。
3.根据权利要求2所述的基于孪生重建网络的高光谱图像偏标签学习方法及系统，其特征在于：在步骤s2中，对获取的高光谱图像进行预处理与划分，对经过主成分分析处理后的高光谱图像每个像素为中心使用13×13的窗口为其分块得到对应的空间数据，然后以对应中心像素的原始光谱作为光谱数据并为其分配候选标签向量，将这两种数据按照1∶99的比列划分训练集和测试集，用于模型的训练和测试。
4.根据权利要求3所述的基于孪生重建网络的高光谱图像偏标签学习方法，其特征在于：在步骤s3中，所述孪生重建网络包括用于光谱信息和空间信息的提取的空谱编码器，空间解码器、光谱解码器以及孪生空谱编码器，在空谱编码器中，基于长短记忆网络和卷积网络构建了分别针对光谱数据和空间数据的光谱编码层和空间编码层，输出光谱特征表示和空间特征表示，编码操作的公式如下：
5.根据权利要求4所述的基于孪生重建网络的高光谱图像偏标签学习方法，其特征在于：在空谱编码过程中，通过交叉注意力机制在输出的光谱特征表示spe和空间特征表示spa之间建立语义交互，进而捕获高光谱图像中更具价值的信息，交叉注意机制的公式如下：
6.根据权利要求4所述的基于孪生重建网络的高光谱图像偏标签学习方法，其特征在于：在空谱编码...
【专利技术属性】
技术研发人员：罗甫林，石姗姗，付川，郭坦，周鹏展，段宇乐，
申请(专利权)人：重庆大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。