【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种评估数据集的生成方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。
技术介绍
1、随着计算机技术的快速发展，语言模型应运而生。语言模型通常具有自然语言处理能力，能够处理不同类型的自然语言任务。为了提升语言模型的推理性能，业界通常采用检索增强生成(retrieval-augmented generation，rag)技术辅助语言模型进行任务处理。
2、具体地，rag技术分为两个阶段：信息检索阶段和回复生成阶段。其中，信息检索阶段用于从知识库中检索出与问题文本相关的信息，回复生成阶段用于结合与问题文本相关的信息，生成回复文本。
3、通常情况下，业界通过评估数据集评估rag技术中信息检索阶段的效果。评估数据集中通常包括指示检索任务的信息和指示检索结果的信息，例如，在根据新闻标题检索新闻文章的场景中，评估数据集中指示检索任务的信息可以为某个新闻标题，指示检索结果的信息可以为该新闻标题的新闻文章。
4、相关技术中，评估数据集可以针对文本类的检索任务和图像类的检索任务进行评估。然而，上述图像类信息检索的评估数据集通常仅用于评估拍摄图片的检索效果，业界亟需一种能够评估从文档中检索文档图像的图像类信息检索的评估数据集。
技术实现思路
1、本申请提供了一种评估数据集的生成方法。该方法能够生成任意类型的文档对应的评估数据集，提升rag技术中跨模态信息检索评估的适用性。本申请还提供了上述方法对应的装置、电子设备、计算机可读存储介
2、第一方面，本申请提供了一种评估数据集的生成方法，该方法包括：
3、获取第一文档；
4、确定所述第一文档的至少一个第一信息块和至少一个第二信息块；其中，所述第一信息块由图像组成，所述第二信息块由文本组成；
5、针对所述至少一个第一信息块中的每个第一信息块，执行以下步骤：根据该第一信息块，或者，根据该第一信息块和至少一个所述第二信息块，确定与该第一信息块关联的问题文本；其中，所述问题文本用于从所述第一文档中检索该第一信息块；
6、根据每个所述第一信息块和与所述第一信息块关联的问题文本，生成评估数据集；其中，所述评估数据集用于评估图像检索任务的准确程度，所述评估数据集中的问题文本指示图像检索任务，所述评估数据集中的第一信息块指示图像检索结果。
7、在一些可能的实现方式中，针对所述至少一个第一信息块中的每个第一信息块，还执行以下步骤：
8、构造与该第一信息块关联的问答对；其中，所述问答对包括所述问题文本和答案文本，所述答案文本用于针对所述问题文本进行回答；
9、所述根据每个所述第一信息块和与所述第一信息块关联的问题文本，生成评估数据集，包括：
10、根据每个所述第一信息块和与所述第一信息块关联的问答对，生成评估数据集；其中，所述评估数据集用于评估图像检索任务和回复生成任务的准确程度，所述评估数据集中的问题文本指示图像检索任务，所述评估数据集中的第一信息块指示图像检索结果，所述评估数据集中的答案文本指示回复生成结果。
11、在一些可能的实现方式中，所述确定所述第一文档的至少一个第一信息块和至少一个第二信息块，包括：
12、从所述第一文档中提取至少一个图像，确定至少一个第一信息块；以及，从所述第一文档中提取至少一个文本段落，确定至少一个第二信息块；
13、根据所述至少一个第一信息块和所述至少一个第二信息块在所述第一文档中的顺序，确定由所述至少一个第一信息块和所述至少一个第二信息块组成的信息块序列。
14、在一些可能的实现方式中，所述方法还包括：
15、确定所述至少一个第一信息块的图像类别；
16、过滤掉所述至少一个第一信息块中，未命中关键图像类别的第一信息块。
17、在一些可能的实现方式中，所述确定所述至少一个第一信息块的图像类别，包括：
18、生成第一提示词；其中，所述第一提示词包括所述至少一个第一信息块、至少一个图像类别的描述信息以及指示确定第一信息块的图像类别的信息；
19、将所述第一提示词发送至多模态模型，接收所述多模态模型返回的所述至少一个第一信息块的图像类别。
20、在一些可能的实现方式中，所述根据该第一信息块，或者，根据该第一信息块和至少一个所述第二信息块，确定与该第一信息块关联的问题文本，包括：
21、获取该第一信息块的图像类别；
22、响应于该第一信息块的图像类别为第一关键图像类别，根据该第一信息块，确定与该第一信息块关联的问题文本；
23、响应于该第一信息块的图像类别为第二关键图像类别，根据该第一信息块和所述第一文档中属于该第一信息块的上下文信息的至少一个第二信息块，确定与该第一信息块关联的问题文本。
24、在一些可能的实现方式中，所述根据该第一信息块，或者，根据该第一信息块和至少一个所述第二信息块，确定与该第一信息块关联的问题文本，包括：
25、生成第二提示词；其中，所述第二提示词包括：该第一信息块或者该信息块和至少一个所述第二信息块，以及，指示生成与该第一信息块关联的问题文本的信息；
26、将所述第二提示词发送至多模态模型，接收所述多模态模型返回的与该第一信息块关联的问题文本。
27、在一些可能的实现方式中，在所述构造与该第一信息块关联的问答对之后，所述方法还包括：
28、响应于所述与该第一信息块关联的问答对满足设定条件，过滤掉所述与该第一信息块关联的问答对，或者，更新所述与该第一信息块关联的问答对；其中，所述设定条件包括以下至少一种：针对所述问答对中的问题文本，仅根据至少一个所述第二信息块，能够生成所述问答对中的答案文本；以及，所述问答对中的问题文本与所述第一文档中除该第一信息块以外的其他第一信息块的关联程度满足关联程度条件。
29、在一些可能的实现方式中，所述响应于所述与该第一信息块关联的问答对满足设定条件，过滤掉所述与该第一信息块关联的问答对，或者，更新所述与该第一信息块关联的问答对，包括：
30、生成第三提示词；其中，所述第三提示词包括所述与该第一信息块关联的问答对、设定条件的描述信息以及指示判断所述与该第一信息块关联的问答对是否满足所述设定条件的信息；
31、将所述第三提示词发送至语言模型，接收所述语言模型返回的判断结果；
32、响应于所述判断结果表征所述与该第一信息块关联的问答对满足所述设定条件，过滤掉所述与该第一信息块关联的问答对，或者，根据所述判断结果中携带的修改问答对，更新所述与该第一信息块关联的问答对。
33、第二方面，本申请提供了一种评估数据集的生成装置，该装置包括：
34、获取模块，用于获取第一文档；
35、确定模块，用于确定所述第一文档的至少一个第一信息块和至少一个第本文档来自技高网...
【技术保护点】
1.一种评估数据集的生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，针对所述至少一个第一信息块中的每个第一信息块，还执行以下步骤：
3.根据权利要求1所述的方法，其特征在于，所述确定所述第一文档的至少一个第一信息块和至少一个第二信息块，包括：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.根据权利要求5所述的方法，其特征在于，所述确定所述至少一个第一信息块的图像类别，包括：
6.根据权利要求1所述的方法，其特征在于，所述根据该第一信息块，或者，根据该第一信息块和至少一个所述第二信息块，确定与该第一信息块关联的问题文本，包括：
7.根据权利要求1所述的方法，其特征在于，所述根据该第一信息块，或者，根据该第一信息块和至少一个所述第二信息块，确定与该第一信息块关联的问题文本，包括：
8.根据权利要求2所述的方法，其特征在于，在所述构造与该第一信息块关联的问答对之后，所述方法还包括：
9.根据权利要求8所述的方法，其特征在于，所述响应于所述与该
10.一种评估数据集的生成装置，其特征在于，所述装置包括：
11.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；
12.一种计算机可读存储介质，其特征在于，包括指令，所述指令指示电子设备执行如权利要求1至9中任一项所述的方法。
13.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机可读指令，所述计算机可读指令用于实现权利要求1至9任一项所述的方法。
...【技术特征摘要】
1.一种评估数据集的生成方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，针对所述至少一个第一信息块中的每个第一信息块，还执行以下步骤：
3.根据权利要求1所述的方法，其特征在于，所述确定所述第一文档的至少一个第一信息块和至少一个第二信息块，包括：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.根据权利要求5所述的方法，其特征在于，所述确定所述至少一个第一信息块的图像类别，包括：
6.根据权利要求1所述的方法，其特征在于，所述根据该第一信息块，或者，根据该第一信息块和至少一个所述第二信息块，确定与该第一信息块关联的问题文本，包括：
7.根据权利要求1所述的方法，其特征在于，所述根据该第一信息块，或者，根据该第一信息块和至少一个所述第二信息块，确定...
【专利技术属性】
技术研发人员：于赟皓，陈若煜，康积华，朱文焕，孙悦，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。