跨模态检索方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种跨模态检索方法、装置、设备及存储介质，属于互联网技术领域，所述方法包括：在接收到跨模态检索指令时，根据所述跨模态检索指令确定第一信息和第二信息，所述第一信息与所述第二信息为不同模态的信息；获取所述第一信息与所述第二信息之间的相似度，所述相似度根据所述第一信息和所述第二信息对应的特征确定；根据所述相似度确定跨模态检索结果。本方案可以根据不同模态的第一信息和第二信息对应的特征，来确定第一信息与第二信息之间的相似度，然后根据相似度来确定跨模态检索结果，从而可以在高效率的前提下，提升跨模态检索的精度。模态检索的精度。模态检索的精度。

【技术实现步骤摘要】
跨模态检索方法、装置、设备及存储介质


[0001]本专利技术涉及互联网
，尤其涉及一种跨模态检索方法、装置、设备及存储介质。

技术介绍

[0002]跨模态检索在跨模态领域中是最基础任务，在互联网被广泛应用于搜索相关的业务。常见的跨模态检索方式，在实际使用中，要么是精度高但存在效率较低的问题，要么是效率高但存在精度较低的问题。
[0003]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0004]本专利技术的主要目的在于提出一种跨模态检索方法、装置、设备及存储介质，旨在解决如何在高效率的前提下，提升跨模态检索的精度的技术问题。
[0005]为实现上述目的，本专利技术提供一种跨模态检索方法，所述跨模态检索方法包括：
[0006]此外，为实现上述目的，本专利技术还提出一种跨模态检索装置，所述跨模态检索装置包括：
[0007]在接收到跨模态检索指令时，根据所述跨模态检索指令确定第一信息和第二信息，所述第一信息与所述第二信息为不同模态的信息；
[0008]获取所述第一信息与所述第二信息之间的相似度，所述相似度根据所述第一信息和所述第二信息对应的特征确定；
[0009]根据所述相似度确定跨模态检索结果。
[0010]可选地，所述获取所述第一信息与所述第二信息之间的相似度，包括：
[0011]分别对所述第一信息与所述第二信息进行特征提取，得到第一特征和第二特征；
[0012]根据所述第一特征和所述第二特征确定所述第一信息与所述第二信息之间的相似度。
[0013]可选地，所述分别对所述第一信息与所述第二信息进行特征提取，得到第一特征和第二特征，包括：
[0014]对所述第一信息进行特征提取，得到所述第一信息对应的第一特征；
[0015]对所述第二信息进行特征提取，得到所述第二信息对应的第二特征。
[0016]可选地，所述第一信息为文本形式的信息；
[0017]所述对所述第一信息进行特征提取，得到所述第一信息对应的第一特征，包括：
[0018]通过预设文本编码模型对所述第一信息进行特征提取，得到所述第一信息对应的文本特征；
[0019]将所述文本特征作为第一特征。
[0020]可选地，所述第二信息为图像形式的信息；
[0021]所述对所述第二信息进行特征提取，得到所述第二信息对应的第二特征，包括：
[0022]通过预设图像编码模型对所述第二信息进行特征提取，得到所述第二信息对应的图像特征；
[0023]将所述图像特征作为第二特征。
[0024]可选地，所述根据所述第一特征和所述第二特征确定所述第一信息与所述第二信息之间的相似度，包括：
[0025]根据所述第一特征和所述第二特征进行正向对匹配训练，得到第一相似度；
[0026]根据所述第二特征和所述第一特征进行负向对匹配训练，得到第二相似度；
[0027]结合所述第一相似度和所述第二相似度确定所述第一信息与所述第二信息之间的相似度。
[0028]可选地，所述结合所述第一相似度和所述第二相似度确定所述第一信息与所述第二信息之间的相似度，包括：
[0029]根据所述第一相似度和所述第二相似度进行异或运算；
[0030]根据异或运算结果确定所述第一信息与第二信息之间的相似度。
[0031]可选地，所述根据所述相似度确定跨模态检索结果，包括：
[0032]从所述第一信息中选取第一目标信息；
[0033]根据所述相似度确定所述第一目标信息与各第二信息之间的待选相似度；
[0034]根据所述待选相似度确定跨模态检索结果。
[0035]可选地，所述根据所述待选相似度确定跨模态检索结果，包括：
[0036]对所述待选相似度进行排序；
[0037]根据排序结果确定与所述第一目标信息相匹配的第二目标信息；
[0038]根据所述第一目标信息和所述第二目标信息生成跨模态检索结果。
[0039]可选地，所述根据排序结果确定与所述第一目标信息相匹配的第二目标信息，包括：
[0040]根据排序结果从所述待选相似度中选取最大值作为目标相似度；
[0041]从所述第二信息中选取与所述目标相似度对应的信息作为第二目标信息。
[0042]可选地，所述在接收到跨模态检索指令时，根据所述跨模态检索指令确定第一信息和第二信息之前，还包括：
[0043]获取搜索行为数据；
[0044]根据所述搜索行为数据进行用户查询行为分析；
[0045]根据用户查询行为分析结果确定多个不同模态的训练数据；
[0046]相应地，所述在接收到跨模态检索指令时，根据所述跨模态检索指令确定第一信息和第二信息，包括：
[0047]在接收到跨模态检索指令时，根据所述跨模态检索指令从所述训练数据中提取第一信息和第二信息。
[0048]可选地，所述根据所述搜索行为数据进行用户查询行为分析，包括：
[0049]对所述搜索行为数据进行数据清洗，得到目标搜索行为数据；
[0050]根据所述目标搜索行为数据进行用户查询行为分析。
[0051]可选地，所述对所述搜索行为数据进行数据清洗，包括：
[0052]识别所述搜索行为数据中各数据对应的模态类型；
[0053]获取所述模态类型对应的数据清洗策略；
[0054]根据所述数据清洗策略对所述搜索行为数据中相应模态类型的数据进行数据清洗。
[0055]可选地，所述模态类型包括：第一模态类型和第二模态类型；
[0056]所述获取所述模态类型对应的数据清洗策略，包括：
[0057]获取所述第一模态类型对应的第一数据清洗策略，以及所述第二模态类型对应的第二数据清洗策略；
[0058]相应地，所述根据所述数据清洗策略对所述搜索行为数据中相应模态类型的数据进行数据清洗，包括：
[0059]将所述搜索行为数据中属于所述第一模态类型的数据作为第一行为数据；
[0060]将所述搜索行为数据中属于所述第二模态类型的数据作为第二行为数据；
[0061]根据所述第一数据清洗策略对所述第一行为数据进行数据清洗，并根据所述第二数据清洗策略对所述第二行为数据进行数据清洗。
[0062]此外，为实现上述目的，本专利技术还提出一种跨模态检索设备，所述跨模态检索设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的跨模态检索程序，所述跨模态检索程序被处理器执行时实现如上所述的跨模态检索方法。
[0063]此外，为实现上述目的，本专利技术还提出一种存储介质，所述存储介质上存储有跨模态检索程序，所述跨模态检索程序被处理器执行时实现如上所述的跨模态检索方法。
[0064]本专利技术提出的跨模态检索方法中，在接收到跨模态检索指令时，根据所述跨模态检索指令确定第一信息和第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨模态检索方法，其特征在于，所述跨模态检索方法包括：在接收到跨模态检索指令时，根据所述跨模态检索指令确定第一信息和第二信息，所述第一信息与所述第二信息为不同模态的信息；获取所述第一信息与所述第二信息之间的相似度，所述相似度根据所述第一信息和所述第二信息对应的特征确定；根据所述相似度确定跨模态检索结果。2.如权利要求1所述的跨模态检索方法，其特征在于，所述获取所述第一信息与所述第二信息之间的相似度，包括：分别对所述第一信息与所述第二信息进行特征提取，得到第一特征和第二特征；根据所述第一特征和所述第二特征确定所述第一信息与所述第二信息之间的相似度。3.如权利要求2所述的跨模态检索方法，其特征在于，所述分别对所述第一信息与所述第二信息进行特征提取，得到第一特征和第二特征，包括：对所述第一信息进行特征提取，得到所述第一信息对应的第一特征；对所述第二信息进行特征提取，得到所述第二信息对应的第二特征。4.如权利要求3所述的跨模态检索方法，其特征在于，所述第一信息为文本形式的信息；所述对所述第一信息进行特征提取，得到所述第一信息对应的第一特征，包括：通过预设文本编码模型对所述第一信息进行特征提取，得到所述第一信息对应的文本特征；将所述文本特征作为第一特征。5.如权利要求3所述的跨模态检索方法，其特征在于，所述第二信息为图像形式的信息；所述对所述第二信息进行特征提取，得到所述第二信息对应的第二特征，包括：通过预设图像编码模型对所述第二信息进行特征提取，得到所述第二信息对应的图像特征；将所述图像特征作为第二特征。6.如权...

【专利技术属性】
技术研发人员：谢春宇，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：