一种添加非共现信息优化检索的方法技术

本发明专利技术公开了一种添加非共现信息优化检索的方法，通过添加实例对之间的语义因素来作为非共现信息，对相似性矩阵进行增强；使用图卷积网络(GCN)来挖掘文本语义特征，并将标签形成的相似性矩阵输入到GCN中作为邻接矩阵，本发明专利技术通过引入了一种多标签非共现相似性度量方法，该方法在多标签相似性度量中添加实例之间的多标签非同现信息，以增强相似性矩阵。因此，我们可以更准确地判断实例之间的相似性。性。性。

【技术实现步骤摘要】
一种添加非共现信息优化检索的方法


[0001]本专利技术属于信息检索
，具体为一种添加非共现信息优化检索的方法。

技术介绍

[0002]自从进入网络时代，特别是大数据时代以来，各个领域都与互联网产生了交集。因此，多模态数据(如视频、文本、图像、音频等)呈现爆炸性增长。跨模态检索旨在从数据的一种模态出发，以查找有关其他相关模态的信息(例如，通过查询文本来检索视频)。由于实例的多模态数据从不同维度描述实例，因此存在语义鸿沟。因此，如何填补语义鸿沟并获得对实例一致的语义描述是一个巨大的挑战。为此，学者们开发了哈希检索技术，希望通过将不同形式的实例映射到汉明空间来获得接近的哈希表示，这是最有效和最流行的方法之一。
[0003]哈希码广泛应用于计算机的各个领域。通过哈希函数将原始数据映射到汉明空间，从而形成哈希码，这不仅速度快，而且计算成本和存储消耗低。早期的跨模态哈希方法基于手工制作的特征，其架构简单，无法很好地提取深层语义特征。因此，检索结果的准确性不能进一步提高。
[0004]神经网络的卓越性能源于其从原始感官数据中提取高级特征并轻松捕获实例的有效表示的能力。到目前为止，已经提出了将深度神经网络应用于跨模态哈希检索的各种方法。在跨模态哈希检索领域，许多研究集中于有监督和无监督检索。这两个研究方向的区别在于是否使用预先标注的标签。在无监督方法中，使用网络提取的实例特征来构建亲和矩阵，作为网络训练的指导。在有监督方法中，我们直接使用标签信息作为训练过程中的有力监督。
[0005]由于图的强大表示能力，基于图的哈希算法得到了学者们的广泛研究。传统上，在学习过程中使用亲和图作为指导。然而，在模型训练过程中，我们需要使用全局相似性度量，因此时间成本非常大。正因为如此，最近对图方法进行了大量研究，研究人员希望将其添加到特征学习过程中，以提取更多的语义信息。例如图卷积哈希(GCH)和用于无监督跨模式检索的基于聚合的图卷积哈希(AGCH)。具体而言，GCH将图卷积网络(GCN)添加到学习框架中，并使用它来探索数据点之间的固有相似性结构，这将有助于生成差异化哈希码。在AGCH中，嵌入在每个模态中的固有信息通过图卷积被有效地组合，以聚集不同模态中的互补语义信息
[0006]在现实生活中，事物都是多方面的。只有使用多个标签来描述实例，才能有效地区分相似性。事实上，大多数实例共享多个标签，我们可以使用成对实例之间的多个共享标签作为监督信息，这可以更准确地描述实例之间的语义相似性。根据成对实例之间的共现标签数量，我们可以测量实例对之间的相似度：实例之间的共现标签数量越多，相似度越高；否则，则不太相似。

技术实现思路
：
[0007]本专利技术的目的就在于为了解决上述问题而提供一种添加非共现信息优化检索的
方法，解决了
技术介绍
中提到的问题。
[0008]为了解决上述问题，本专利技术提供了一种技术方案：
[0009]一种添加非共现信息优化检索的方法，具体步骤包括：
[0010]步骤S101：通过添加实例对之间的语义因素来作为非共现信息，对相似性矩阵进行增强；
[0011]步骤S102：使用图卷积网络(GCN)来挖掘文本语义特征，并将标签形成的相似性矩阵输入到GCN中作为邻接矩阵；
[0012]步骤S103：通过三个方面的损失来约束网络学习过程,使用模态间损失来减少同一实例的不同信息模态之间的语义差异,对于类似的情况，使用模态内损失和量化损失来生成具有区别的哈希码,计算哈希表示之间的余弦相似度，以表示由模型学习的实例之间的语义相似度；
[0013]步骤S104：引入存储库机制，以记住每个训练批中的哈希表示,在每个训练批中，使用实例之间的最新哈希表示和标签约束来进行损失计算，以保留实例中的语义信息和实例之间的语义相关性；
[0014]步骤S105：通过模型评估指标及数据集进行跨模态检索，即可得出最终检索结果。
[0015]作为优选，所述步骤S101中使用大写字母,e，g，,V代表矩阵，小写字母,e，g，,v代表向量；V
i*
和V
*j
分别代表矩阵V的第i行和第j列，使用O＝{o1,o2,...,o
n
}表示拥有n个实例的多模态数据集,每个都是多模态数据集中的一个实例，表示图像模态的d1维特征向量,表示文本模态的d2维特征向量；使用代表实例标签矩阵,其中c表示实例语义类别的数量；如果实例o
i
属于类别k，那么l
ik
＝1，否则l
ik
＝0，sign(
·
)是一个符号函数，此符号函数的定义如下：
[0016][0017]1，相似性构造：
[0018]传统上，s
ij
＝1表示不同模态的实例共享至少一个相同的语义类，否则s
ij
＝0；显然，该方法无助于区分实例之间的相似度，在IDHN和ISDH中，成对相似性分为软相似性和硬相似性，实例之间的相似性s
ij
可以通过使用余弦函数计算其标签之间的距离来获得，类似地，可以使用余弦函数计算实例之间的汉明距离，
[0019][0020]DMSH使用“多级语义相似度”来构造相似度矩阵以保存语义信息；
[0021][0022]在MLSPH中，使用类似于并集交集的方法构造相似矩阵；
[0023][0024]通过上述方法，可以看到实例之间的相似度不再是简单的0和1，而是介于0和1之间的数字，这有助于区分不同实例之间的相似程度；
[0025]对来说，受MDMCH的启发，使用语义因素作为多标签非共现信息来增强相似度矩阵，这可以使得相似度矩阵更精细；
[0026][0027]其中，l
i
是实例O
i
的标签向量，|l
i
|表示标签向量l
i
的长度；是实例O
i
和O
j
之间的非共现类标签的数量；
[0028]通过上述方式，可以在实例之间添加非共现信息；例如，有两个实例O1和O2，他们的标签向量，分别是l1＝{0，1，1，0，1}以及l2＝{1，0，0，0，1}。实例O1和O2都不属于第四语义类；如果如前所述定义，则该非共现信息不会被视为实例1和实例2的相似性；然而，认为，如果两个实例不属于同一语义类，这也可以被视为一种相似性信息；
[0029]因此，可以使用非共现信息和传统相似性来构造的相似性矩阵S
new
，如下所示：
[0030][0031]为了降低复杂性，在下面，使用符号S表示S
new
。
[0032]作为优选，所述步骤S102中，主要包括用于特征学习的两个网络和用于构建相似性矩阵的多标签非共现信息增强方法；图像网络负责提取图像信息以生成图像的哈希表示；类似地，文本网络负责提取文本信息以生成文本的哈希表示；考虑实例之间的非共现标签信息来优化相似性矩阵，并充本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种添加非共现信息优化检索的方法，其特征在于：具体步骤包括：步骤S101：通过添加实例对之间的语义因素来作为非共现信息，对相似性矩阵进行增强；步骤S102：使用图卷积网络(GCN)来挖掘文本语义特征，并将标签形成的相似性矩阵输入到GCN中作为邻接矩阵；步骤S103：通过三个方面的损失来约束网络学习过程,使用模态间损失来减少同一实例的不同信息模态之间的语义差异,对于类似的情况，使用模态内损失和量化损失来生成具有区别的哈希码,计算哈希表示之间的余弦相似度，以表示由模型学习的实例之间的语义相似度；步骤S104：引入存储库机制，以记住每个训练批中的哈希表示,在每个训练批中，使用实例之间的最新哈希表示和标签约束来进行损失计算，以保留实例中的语义信息和实例之间的语义相关性；步骤S105：通过模型评估指标及数据集进行跨模态检索，即可得出最终检索结果。2.根据权利要求1所述的一种添加非共现信息优化检索的方法，其特征在于：所述步骤S101中使用大写字母,e，g，,V代表矩阵，小写字母,e，g，,v代表向量；V
i*
和V
*j
分别代表矩阵V的第i行和第j列，使用O＝{o1,o2,...,o
n
}表示拥有n个实例的多模态数据集,每个都是多模态数据集中的一个实例，表示图像模态的d1维特征向量,表示文本模态的d2维特征向量；使用代表实例标签矩阵,其中c表示实例语义类别的数量；如果实例o
i
属于类别k，那么l
ik
＝1，否则l
ik
＝0，sign(
·
)是一个符号函数，此符号函数的定义如下：1，相似性构造：传统上，s
ij
＝1表示不同模态的实例共享至少一个相同的语义类，否则s
ij
＝0；显然，该方法无助于区分实例之间的相似度，在IDHN和ISDH中，成对相似性分为软相似性和硬相似性，实例之间的相似性s
ij
可以通过使用余弦函数计算其标签之间的距离来获得，类似地，可以使用余弦函数计算实例之间的汉明距离，DMSH使用“多级语义相似度”来构造相似度矩阵以保存语义信息；在MLSPH中，使用类似于并集交集的方法构造相似矩阵；
通过上述方法，可以看到实例之间的相似度不再是简单的0和1，而是介于0和1之间的数字，这有助于区分不同实例之间的相似程度；对来说，受MDMCH的启发，使用语义因素作为多标签非共现信息来增强相似度矩阵，这可以使得相似度矩阵更精细；其中，l
i
是实例O
i
的标签向量，|l
i
|表示标签向量l
i
的长度；是实例O
i
和O
j
之间的非共现类标签的数量；通过上述方式，可以在实例之间添加非共现信息；例如，有两个实例O1和O2，他们的标签向量，分别是l1＝{0，1，1，0，1}以及l2＝{1，0，0，0，1}，实例O1和O2都不属于第四语义类；如果如前所述定义，则该非共现信息不会被视为实例1和实例2的相似性；然而，认为，如果两个实例不属于同一语义类，这也可以被视为一种相似性信息；因此，可以使用非共现信息和传统相似性来构造的相似性矩阵S
new
，如下所示：为了降低复杂性，在下面，使用符号S表示S
new
。3.根据权利要求1所述的一种添加非共现信息优化检索的方法，其特征在于：所述步骤S102中，主要包括用于特征学习的两个网络和用于构建相似性矩阵的多标签非共现信息增强方法；图像网络负责提取图像信息以生成图像的哈希表示；类似地，文本网络负责提取文本信息以生成文本的哈希表示；考虑实例之间的非共现标签信息来优化相似性矩阵，并充分利用标签信息来指导网络学习，同时，将相似性矩阵作为邻接矩阵输入到文本网络中；对于文本网络，受AGCH的启发，使用图卷积网络(GCN)来挖掘文本语义特征，并将标签形成的相似性矩阵输入到GCN中作为邻接矩阵，由于图卷积网络强大的表示能力，可以得到更健壮的文本哈希码；对于图像网络，使用ResNet34，因为其内部残差块使用跳连接，这缓解了深度神经网络中深度增加导致的梯度消失问题，并且其在图像分类中具有优异的性能；使用cur_f来表示图像网络f(o
v
；θ
v
)从实例O
i
＝{o
v
,o
t
}中提取的图像特征。F∈R
k
×
N
表示存储在存储库中的图像的哈希表示；类似地，cur_g表示GCN网络g(o
t
；θ
t
)从实例O
i
＝{o
v
,o
t
}中提取的文本特征；G∈R
k
×
N
表示存储在存储库中的文本的哈希表示；N和k分别表示实例的数量和最终哈希码的长度；图卷积网络(GCN)传播过程如下：其中和W
(l)
是特定于层的权重矩阵；σ(l)表示激活函数；H
(l)
∈R
d
×
m
是第L层中的激活矩阵；因此，二进制代码B_I和B_T生成表示如下：
B_I＝sign(f(o
v
；θ
v
)),B_T＝sign(g(o
t
；θ
t
)),
ꢀꢀꢀꢀꢀꢀꢀꢀ
(8)其中θ
v
和θ
t
表示网络中的参数，为了避免在训练过程中由sign(
·
)函数引起的反向传播梯度问题，使用tanh(
·
)替换它；从等式(7)和(8)中，可以看到，在图卷积网络中，一个实例被视为一个节点，可以通过其邻居更新节点的特征，通过节点邻居的加权求和级联，将其邻居的特征分配给节点，这表明特征空间中相邻节点的特征将更接近，因此，生成的哈希码可以很好地反映特征空间中实例的关系。4.根据权利要求1所述的一种添加非共现信息优化检索的方法，其特征在于：所述步骤S103中，哈希码的质量在一定程度上决定了检索的准确性，因此，获得不仅包含丰富语义信息而且能够区分语义相似实例的哈希码是一个挑战，通过三个方面的损失来约束网络学习过程，为了弥合语义鸿沟，使用模态间损失来减少同一实例的不同信息模态之间的语义差异，对于类似的情况，使用模态内损失和量化损失来生成具有区别的哈希码，计算哈希表示之间的余弦相似度，以表示由模型学习的实例之间的语义相似度，通过不断减少均方误差的损失，可以获得保留越来越多语义信息的哈希码，余弦相似性定义如下：余弦相似度cos(f
i
,g
j
)的范围是[
‑
1,1]，||
·
||
L2
是L2范数，&...

【专利技术属性】
技术研发人员：李明勇，范嘉宝，
申请(专利权)人：重庆师范大学，
类型：发明
国别省市：