【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种基于生成式ai大模型的多模态数据搜索方法、装置、设备、存储介质及产品。
技术介绍
1、在信息化和数据驱动的时代，企业和组织存储的数据形式多种多样，包括结构化数据（如数据库记录）、半结构化数据（如xml、json文件）和非结构化数据（如文本、图像、音频、视频等）。传统的数据查询方法通常针对单一数据源和数据模式设计，依赖于结构化查询语言（sql）或简单的全文搜索技术。然而，面对日益增长的多模态和异构数据，这些方法在数据整合、查询效率和准确性、多模态处理能力以及个性化支持等方面存在明显局限。尤其在大规模数据环境下，传统查询方式难以快速响应用户请求，同时无法提供高度相关和个性化的查询结果。针对这些挑战，现有的研究尝试利用大数据分析、机器学习和深度学习等技术改进数据查询与搜索的性能，但在处理大规模、多源异构数据时效率和准确性都较低。因此，如何提升数据查询的效率和准确性成为一个亟待解决的技术问题。
技术实现思路
1、本申请的主要目的在于提供了一种基于生成式ai大模型的多模态数据搜索方法、装置、设备、存储介质及产品，旨在解决如何提升数据查询的效率和准确性的技术问题。
2、为实现上述目的，本申请提供了一种基于生成式ai大模型的多模态数据搜索方法，所述方法包括以下步骤：
3、从多个异构数据源采集多种类型的数据，得到采集数据；
4、对所述采集数据进行特征信息提取，得到特征数据；
5、基于所述特征数据，构建多模态索引结构；p>
6、将搜索指令与所述多模态索引结构中的索引数据进行匹配；
7、对匹配结果进行融合与排序，得到目标搜索结果。
8、在一实施例中，所述从多个异构数据源采集多种类型的数据，得到采集数据的步骤，包括：
9、建立与所述多个异构数据源的连接；
10、获取待采集任务，对所述待采集任务进行分类与调配；
11、基于分类与调配后的待采集任务，采集所述多个异构数据源中的元数据，得到初步采集数据；
12、对所述初步采集数据进行清洗与校验，得到所述采集数据。
13、在一实施例中，所述基于预设生成式ai大模型对所述采集数据进行特征信息提取，得到特征数据的步骤，包括：
14、对所述采集数据进行预处理，得到预处理数据，其中，所述预处理包括去噪、标准化处理和格式转换中的一种或多种；
15、根据所述预处理数据的数据类型，确定提取方式；
16、基于所述预设生成式ai大模型，对对应的所述预处理数据进行特征提取，得到初步提取数据；
17、对所述初步提取数据进行融合，得到所述特征数据。
18、在一实施例中，所述基于所述特征数据，构建多模态索引结构的步骤，包括：
19、对所述特征数据进行分类与排序，得到分类特征数据；
20、基于所述分类特征数据，构建文本倒排索引、向量索引以及树状索引；
21、将所述文本倒排索引、所述向量索引以及所述树状索引进行融合，得到融合索引；
22、对所述融合索引进行压缩与优化，得到所述多模态索引结构。
23、在一实施例中，所述将搜索指令与所述多模态索引结构中的索引数据进行匹配的步骤，包括：
24、对所述搜索指令进行解析，并基于解析结果，生成查询任务；
25、对所述查询任务进行分解，得到子查询任务；
26、根据预设匹配策略与所述子查询任务的索引类型，确定所述子查询任务的索引映射；
27、基于所述索引映射，将所述子查询任务与所述索引数据进行匹配。
28、在一实施例中，所述对匹配结果进行融合与排序，得到目标搜索结果的步骤，包括：
29、根据述搜索指令的类型与预设用户历史数据，确定融合策略；
30、基于所述融合策略，对所述匹配结果进行评价；
31、基于评价结果对所述匹配结果进行排序，得到有序结果；
32、对所述有序结果进行去重处理，得到所述目标搜索结果。
33、此外，为实现上述目的，本申请还提出一种基于生成式ai大模型的多模态数据搜索装置，所述基于生成式ai大模型的多模态数据搜索装置包括：
34、采集模块，用于从多个异构数据源采集多种类型的数据，得到采集数据；
35、特征提取模块，用于对所述采集数据进行特征信息提取，得到特征数据；
36、多模态索引模块，用于基于所述特征数据，构建多模态索引结构；
37、匹配模块，用于将搜索指令与所述多模态索引结构中的索引数据进行匹配；
38、目标模块，用于对匹配结果进行融合与排序，得到目标搜索结果。
39、此外，为实现上述目的，本申请还提出一种基于生成式ai大模型的多模态数据搜索设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于生成式ai大模型的多模态数据搜索程序，所述基于生成式ai大模型的多模态数据搜索程序配置为实现如上文所述的基于生成式ai大模型的多模态数据搜索方法的步骤。
40、此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质上存储有基于生成式ai大模型的多模态数据搜索程序，所述基于生成式ai大模型的多模态数据搜索程序被处理器执行时实现如上文所述的基于生成式ai大模型的多模态数据搜索方法的步骤。
41、此外，为实现上述目的，本申请还提出一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的基于生成式ai大模型的多模态数据搜索方法的步骤。
42、本申请通过从多个异构数据源采集多种类型的数据，得到采集数据；基于预设生成式ai大模型对采集数据进行特征信息提取，得到特征数据；基于特征数据，构建多模态索引结构；将搜索指令与多模态索引结构中的索引数据进行匹配；对匹配结果进行融合与排序，得到目标搜索结果。本申请通过从多个异构数据源采集多种类型的数据，并采用生成式ai大模型对其进行特征信息提取后构建多模态索引结构，该基于生成式ai大模型的多模态数据搜索方法能够支持搜索指令与多种类型数据的高效匹配；通过融合和排序优化匹配结果，实现了跨模态数据的快速检索和相关性排序，从而提升数据查询的效率和准确性。
本文档来自技高网...【技术保护点】
1.一种基于生成式AI大模型的多模态数据搜索方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述从多个异构数据源采集多种类型的数据，得到采集数据的步骤，包括：
3.如权利要求1所述的方法，其特征在于，所述基于预设生成式AI大模型对所述采集数据进行特征信息提取，得到特征数据的步骤，包括：
4.如权利要求1所述的方法，其特征在于，所述基于所述特征数据，构建多模态索引结构的步骤，包括：
5.如权利要求1所述的方法，其特征在于，所述将搜索指令与所述多模态索引结构中的索引数据进行匹配的步骤，包括：
6.如权利要求1至5任一项所述的方法，其特征在于，所述对匹配结果进行融合与排序，得到目标搜索结果的步骤，包括：
7.一种基于生成式AI大模型的多模态数据搜索装置，其特征在于，所述装置包括：
8.一种计算机设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于生成式AI大模型的多模态数据搜索程序，所述基于生成式AI大模型的多模态数据搜索程序配置为实现
9.一种存储介质，其特征在于，所述存储介质上存储有基于生成式AI大模型的多模态数据搜索程序，所述基于生成式AI大模型的多模态数据搜索程序被处理器执行时实现如权利要求1至6任一项所述的基于生成式AI大模型的多模态数据搜索方法的步骤。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于生成式AI大模型的多模态数据搜索方法的步骤。
...【技术特征摘要】
1.一种基于生成式ai大模型的多模态数据搜索方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述从多个异构数据源采集多种类型的数据，得到采集数据的步骤，包括：
3.如权利要求1所述的方法，其特征在于，所述基于预设生成式ai大模型对所述采集数据进行特征信息提取，得到特征数据的步骤，包括：
4.如权利要求1所述的方法，其特征在于，所述基于所述特征数据，构建多模态索引结构的步骤，包括：
5.如权利要求1所述的方法，其特征在于，所述将搜索指令与所述多模态索引结构中的索引数据进行匹配的步骤，包括：
6.如权利要求1至5任一项所述的方法，其特征在于，所述对匹配结果进行融合与排序，得到目标搜索结果的步骤，包括：
7.一种基于生成式ai大模型的多模态数据搜索装置，其...
【专利技术属性】
技术研发人员：揭志伟，王祯，
申请(专利权)人：矩阵起源深圳信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。