【技术实现步骤摘要】
本申请属于人工智能，具体涉及一种评估方法、装置及电子设备。
技术介绍
1、随着人工智能技术和机器学习技术的快速发展，大型语言模型(large languagemodel，llm)逐渐成为一个重要的研究和应用焦点。llm模型能够处理和生成自然语言文本，为多种应用提供了基础，例如聊天机器人、文本生成和自动回答系统。然而，随着llm模型的复杂性和规模的增加，确保它们的安全性，避免产生有害或偏见的输出内容变得愈发重要。
2、相关技术中，在评估llm模型的输出内容是否存在风险时，主要是借助于专业的安全评估团队，该团队通常具有深厚的网络安全和系统安全背景的专业人员，由这些专业人员对llm模型的输出内容进行人工评估。相关技术虽然可以实现对llm模型输出内容的评估，但是过度依赖于人力，导致评估成本较高。
技术实现思路
1、本申请实施例的目的是提供一种评估方法、装置及电子设备，能够降低对llm模型输出内容进行评估时的成本。
2、第一方面，本申请实施例提供了一种评估方法，所述方法包括：
3、将第一内容发送至第二模型，其中，所述第一内容包括：输入至第一模型的第一输入和所述第一模型针对所述第一输入的第一输出；
4、通过所述第二模型从n个不同类别的功能模型中确定与所述第一内容匹配的至少一个目标功能模型，其中，所述不同类别的功能模型用于评估不同类别的风险，n为大于1的整数；
5、通过各个所述目标功能模型分别对所述第一内容进行风险评估，得到各个所述目标
6、通过所述第二模型基于各个所述参考评估结果，确定所述第一输出对应的目标评估结果。
7、第二方面，本申请实施例提供了一种评估装置，所述装置包括：
8、发送模块，用于将第一内容发送至第二模型，其中，所述第一内容包括：输入至第一模型的第一输入和所述第一模型针对所述第一输入的第一输出；
9、第一确定模块，用于通过所述第二模型从n个不同类别的功能模型中确定与所述第一内容匹配的至少一个目标功能模型，其中，所述不同类别的功能模型用于评估不同类别的风险，n为大于1的整数；
10、评估模块，用于通过各个所述目标功能模型分别对所述第一内容进行风险评估，得到各个所述目标功能模型输出的参考评估结果；
11、第二确定模块，用于通过所述第二模型基于各个所述参考评估结果，确定所述第一输出对应的目标评估结果。
12、第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
13、第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
14、第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
15、第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
16、在本申请实施例中，将第一内容发送至第二模型，其中，第一内容包括：输入至第一模型的第一输入和第一模型针对第一输入的第一输出；通过第二模型从n个不同类别的功能模型中确定与第一内容匹配的至少一个目标功能模型，其中，不同类别的功能模型用于评估不同类别的风险，n为大于1的整数；通过各个目标功能模型分别对第一内容进行风险评估，得到各个目标功能模型输出的参考评估结果；通过第二模型基于各个参考评估结果，确定第一输出对应的目标评估结果。
17、可见，本申请实施例中，可以基于第二模型和不同类别的功能模型对第一模型的输出内容进行评估，实现了对第一模型输出内容的自动化评估，减少了对人力的依赖，降低了评估成本。此外，不同的功能模型用于识别不同类别的风险，能够更为全面和准确地识别出第一模型的输出内容的风险，提高了对第一模型输出内容的风险识别能力。
本文档来自技高网...【技术保护点】
1.一种评估方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过所述第二模型从N个不同类别的功能模型中确定与所述第一内容匹配的至少一个目标功能模型，包括：
3.根据权利要求1所述的方法，其特征在于，所述N个不同类别的功能模型是分别基于N个不同类别的训练集对语言网络进行模型训练得到的，每个训练集中包括：至少两个样本内容、所述样本内容对应的类别标签和所述类别标签对应的理由解释信息；
4.根据权利要求1所述的方法，其特征在于，所述通过所述第二模型基于各个所述参考评估结果，确定所述第一输出对应的目标评估结果，包括：
5.根据权利要求4所述的方法，其特征在于，所述评分规则包括下述至少一个子规则：
6.一种评估装置，其特征在于，所述装置包括：
7.根据权利要求6所述的装置，其特征在于，所述第一确定模块包括：
8.根据权利要求6所述的装置，其特征在于，所述N个不同类别的功能模型是分别基于N个不同类别的训练集对语言网络进行模型训练得到的，每个训练集中包括：至少两个样本内容、所述样本
9.根据权利要求6所述的装置，其特征在于，所述第二确定模块包括：
10.根据权利要求9所述的装置，其特征在于，所述评分规则包括下述至少一个子规则：
11.一种电子设备，其特征在于，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的评估方法的步骤。
...【技术特征摘要】
1.一种评估方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述通过所述第二模型从n个不同类别的功能模型中确定与所述第一内容匹配的至少一个目标功能模型，包括：
3.根据权利要求1所述的方法，其特征在于，所述n个不同类别的功能模型是分别基于n个不同类别的训练集对语言网络进行模型训练得到的，每个训练集中包括：至少两个样本内容、所述样本内容对应的类别标签和所述类别标签对应的理由解释信息；
4.根据权利要求1所述的方法，其特征在于，所述通过所述第二模型基于各个所述参考评估结果，确定所述第一输出对应的目标评估结果，包括：
5.根据权利要求4所述的方法，其特征在于，所述评分规则包括下述至少一个子规则：
6.一种评估装置，其特征在...
【专利技术属性】
技术研发人员：张栋，胡志远，郑坤，何文登，李理，徐茂森，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。