【技术实现步骤摘要】
本专利技术涉及模型评估，特别涉及一种金融模型评估方法、装置、设备及存储介质。
技术介绍
1、通用领域的多模态（包括文本模态，语音模态，图像模态，视频模态）基准测试指导了多模态模型在通用任务上的快速发展。然而，金融领域有其特殊性。它具有独特的图形图像（例如，k线图（一种图表工具）、技术指标图）并拥有丰富的专业金融知识（例如，期货、换手率）。因此，通用领域的基准测试往往无法衡量多模态模型在金融领域的表现，从而不能有效地指导大型金融模型的快速发展。
2、由此可见，如何有效评估金融模型的能力是本领域要解决的问题。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种金融模型评估方法、装置、设备及存储介质，将测试样本的图片以及金融模型生成的文本均作为参考因素，提高评估过程的可信度；再结合测试样本对应的标准答案可得到准确的模型能力评估结果。其具体方案如下：
2、第一方面，本申请提供了一种金融模型评估方法，包括：
3、通过待评估金融模型对测试样本进行预测，得到相应的预测结果；所述测试样本为金融相关的图文问答类型的样本数据，包括待测试图片和相应的待测试文本；
4、分别对所述预测结果和所述测试样本对应的预设标准答案进行特征提取，得到第一文本特征和第二文本特征，并对所述待测试图片进行特征提取，得到相应的图像特征；
5、基于所述第一文本特征、所述第二文本特征和所述图像特征之间的关系对所述待评估金融模型进行评估。
6、可选的，所述
7、通过待评估金融模型对预先设置的若干种图片格式的表征相同内容的待测试图片以及相应的待测试文本进行预测，得到若干种所述图片格式分别对应的若干预测结果。
8、可选的，所述分别对所述预测结果和所述测试样本对应的预设标准答案进行特征提取，得到第一文本特征和第二文本特征，并对所述待测试图片进行特征提取，得到相应的图像特征，包括：
9、对每种图片格式的待测试图片对应的所述预测结果进行特征提取，得到相应数量的第一文本特征，并对所述测试样本对应的预设标准答案进行特征提取，得到相应的第二文本特征；
10、对每种图片格式的表征内容相同的所述待测试图片进行特征提取，得到相应数量的图像特征；
11、相应的，所述基于所述第一文本特征、所述第二文本特征和所述图像特征之间的关系对所述待评估金融模型进行评估，包括：
12、基于每种图片格式对应的所述第一文本特征、所述第二文本特征和所述图像特征之间的关系对所述待评估金融模型进行评估，得到相应数量的初始评估结果；
13、对各所述初始评估结果求平均值，并将得到的平均值确定为所述待评估金融模型的目标评估结果。
14、可选的，所述对所述待测试图片进行特征提取，得到相应的图像特征，包括：
15、通过预设图片编码器对若干不同图片格式的所述待测试图片分别进行特征提取，得到相应数量的图像特征；
16、其中，所述预设图片编码器为基于视觉transformer架构的图片编码器。
17、可选的，所述分别对所述预测结果和所述测试样本对应的预设标准答案进行特征提取，得到第一文本特征和第二文本特征，包括：
18、通过预先设置的用于处理文本的大语言模型分别对所述预测结果和所述测试样本对应的预设标准答案进行特征提取，得到第一文本特征和第二文本特征。
19、可选的，所述基于所述第一文本特征、所述第二文本特征和所述图像特征之间的关系对所述待评估金融模型进行评估，包括：
20、基于compare函数对所述第一文本特征和所述第二文本特征进行比对，以得到相应的第一评估分数；
21、对所述第二文本特征和所述图像特征进行余弦相似度计算，得到相应的第二评估分数。
22、可选的，所述对所述待评估金融模型进行评估，包括：
23、确定所述第一评估分数和所述第二评估分数分别对应的第一权重参数和第二权重参数；所述第一权重参数和所述第二权重参数之间的和值满足预设条件；
24、对所述第一权重参数与所述第一评估分数进行乘法运算，得到第一结果，并对所述第二权重参数与所述第二评估分数进行乘法运算，得到第二结果；
25、将所述第一结果与所述第二结果之间的和值确定为所述待评估金融模型的评估结果。
26、第二方面，本申请提供了一种金融模型评估装置，包括：
27、预测模块，用于通过待评估金融模型对测试样本进行预测，得到相应的预测结果；所述测试样本为金融相关的图文问答类型的样本数据，包括待测试图片和相应的待测试文本；
28、特征提取模块，用于分别对所述预测结果和所述测试样本对应的预设标准答案进行特征提取，得到第一文本特征和第二文本特征，并对所述待测试图片进行特征提取，得到相应的图像特征；
29、评估模块，用于基于所述第一文本特征、所述第二文本特征和所述图像特征之间的关系对所述待评估金融模型进行评估。
30、第三方面，本申请提供了一种电子设备，包括：
31、存储器，用于保存计算机程序；
32、处理器，用于执行所述计算机程序以实现如上述的金融模型评估方法。
33、第四方面，本申请提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现如上述的金融模型评估方法。
34、由此可见，本申请首先通过待评估金融模型对测试样本进行预测，得到相应的预测结果；所述测试样本为金融相关的图文问答类型的样本数据，包括待测试图片和相应的待测试文本；之后分别对所述预测结果和所述测试样本对应的预设标准答案进行特征提取，得到第一文本特征和第二文本特征，并对所述待测试图片进行特征提取，得到相应的图像特征；再基于所述第一文本特征、所述第二文本特征和所述图像特征之间的关系对所述待评估金融模型进行评估。这样一来，本申请可以对金融模型的金融能力进行评估，将测试样本的图片以及金融模型生成的文本均作为参考因素，提高评估过程的可信度；再结合测试样本对应的标准答案可得到准确的模型能力评估结果。
本文档来自技高网...【技术保护点】
1.一种金融模型评估方法，其特征在于，包括：
2.根据权利要求1所述的金融模型评估方法，其特征在于，所述通过待评估金融模型对测试样本进行预测，得到相应的预测结果，包括：
3.根据权利要求2所述的金融模型评估方法，其特征在于，所述分别对所述预测结果和所述测试样本对应的预设标准答案进行特征提取，得到第一文本特征和第二文本特征，并对所述待测试图片进行特征提取，得到相应的图像特征，包括：
4.根据权利要求2所述的金融模型评估方法，其特征在于，所述对所述待测试图片进行特征提取，得到相应的图像特征，包括：
5.根据权利要求1所述的金融模型评估方法，其特征在于，所述分别对所述预测结果和所述测试样本对应的预设标准答案进行特征提取，得到第一文本特征和第二文本特征，包括：
6.根据权利要求1至5任一项所述的金融模型评估方法，其特征在于，所述基于所述第一文本特征、所述第二文本特征和所述图像特征之间的关系对所述待评估金融模型进行评估，包括：
7.根据权利要求6所述的金融模型评估方法，其特征在于，所述对所述待评估金融模型进行评估，包括
8.一种金融模型评估装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的金融模型评估方法。
...【技术特征摘要】
1.一种金融模型评估方法，其特征在于，包括：
2.根据权利要求1所述的金融模型评估方法，其特征在于，所述通过待评估金融模型对测试样本进行预测，得到相应的预测结果，包括：
3.根据权利要求2所述的金融模型评估方法，其特征在于，所述分别对所述预测结果和所述测试样本对应的预设标准答案进行特征提取，得到第一文本特征和第二文本特征，并对所述待测试图片进行特征提取，得到相应的图像特征，包括：
4.根据权利要求2所述的金融模型评估方法，其特征在于，所述对所述待测试图片进行特征提取，得到相应的图像特征，包括：
5.根据权利要求1所述的金融模型评估方法，其特征在于，所述分别对所述预测结果和所述...
【专利技术属性】
技术研发人员：张荣珺晨，淦子良，黄颜熠，代勇，吴海胖，
申请(专利权)人：杭州同顺传媒科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。