【技术实现步骤摘要】
本专利技术涉及模型质量安全，更具体的说是涉及一种行政执法大模型的质量和安全性评测方法。
技术介绍
1、人工智能嵌入行政执法是政府治理现代化的重要标志与未来走向。行政执法涉及大量法律法规的解读与执行，传统方式往往依赖人工处理，容易出现效率低下、主观偏见以及资源浪费等问题，因此迫切需要提高效率、减少错误的解决方案。而人工智能和机器学习技术的快速发展为构建复杂的自然语言处理模型提供了可能。人工智能在行政执法领域的嵌入，不仅能够提高处理案件的速度和准确性，还能通过模式识别和数据分析，辅助执法人员更好地理解法律条文和案例。这种技术的应用有助于减少人为因素的干扰，降低执法过程中的偏见和错误率，从而提升执法公正性和透明度。同时，通过人工智能算法来创建质量和安全性的数据集，为政策制定提供数据支持，进一步推动政府治理向智能化、精准化发展。此外，随着技术的不断进步，人工智能在行政执法中的应用将更加广泛和深入，成为推动政府治理现代化的关键力量。
2、为了研究上述关系，通常涉及通用大模型的安全性评估、数据集涉及结构化选择题、评测模式为自动化评估。但这种评估方式对于行政领域的数据涵盖面少，数据形式单一，存在极大的风险，难以真实评价行政执法大模型的质量和安全性。典型的风险主要在于通用模型的评测数据和方法不适用于行政执法特定领域的模型评测，可能存在数据不足或不完整的情况，这会影响模型的评估，使得评估结果不够准确和全面；结构化数据具有局限性和单一性，行政执法大模型可能存在偏见或歧视性，导致不公平或不准确的决策和结果，给行政执法工作带来负面影响；数据
3、综上所述，模型质量和安全性评测是目前热门的关注领域。目前，对于行政执法大模型的质量和安全性评测尚未出现置信度高、有指导意义的评测方法。
4、因此，如何创建行政执法大模型的评测数据集、创建更精准的评测方法是目前迫切需要解决的问题。
技术实现思路
1、有鉴于此，本专利技术的目的是提供一种行政执法大模型的质量和安全性评测方法。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、一种行政执法大模型的质量和安全性评测方法，包括以下步骤：
4、s1:获取行政方面的评测范围和评测要求；
5、基于所述评测范围和评测要求确定评测指标和评测标准；
6、基于所述评测范围和评测要求构建结构化选择题数据集和开放式问题数据集；
7、s2:对所述结构化选择题数据集和所述开放式问题数据集进行数据质量评估；
8、s3:利用评估后的结构化选择题数据集和所述评测标准对行政执法大模型的质量进行评测；
9、利用评估后的开放式问题数据集对行政执法大模型的安全性进行评测。
10、优选的，上述评测方法还包括：
11、s4：基于质量评测结果和安全性评测结果对行政执法大模型进行改进，然后重复s2-s3对改进后的行政执法大模型重新进行评测。
12、优选的，所述评测范围包括行政执法平台的文书、投诉、举报、执法全过程记录和行政处罚；
13、所述评测要求包括质量评测要求和安全性评测要求；其中，所述质量评测要求包括效率要求、公平性要求、透明度要求和法律合规性要求；所述安全性评测要求包括隐私保护要求、数据完整要求和访问控制要求；
14、所述评测指标包括质量评测指标和安全性评测指标，所述质量评测指标包括效率要求评测指标、公平性要求评测指标、透明度要求评测指标和法律合规性要求评测指标；所述安全性评测指标包括隐私保护要求评测指标、数据完整要求评测指标和访问控制要求评测指标；
15、所述评测标准包括质量评测标准；所述质量评测标准包括效率要求评测标准、公平性要求评测标准、透明度要求评测标准和法律合规性要求评测标准。
16、优选的，所述效率要求评测指标包括文书、投诉、举报和行政处罚的平均处理时间和执法全过程所需时间；
17、所述效率要求评测标准包括文书、投诉、举报和行政处罚的平均处理时间不超过48小时；执法全过程所需时间不超过72小时。
18、优选的，s1进一步包括：通过网络公开数据、行政部门公开数据收集行政方面数据，然后对涉及质量方面的数据进行解析和注释，获得所述结构化选择题数据集；其中，结构化选择题的格式为：{question：问题；options：选项；answer：答案}。
19、优选的，s1进一步包括：通过行政部门公开数据、专家建议、问卷调查收集行政方面数据，然后对涉及安全性方面的数据进行问题编写，获得所述开放式问题数据集；其中，开放式问题的格式为：{question：问题；type：类型}，所述类型包括隐私保护、数据完整和访问控制。
20、优选的，s2进一步包括：
21、对所述结构化选择题数据集和所述开放式问题数据集进行人工审核，筛选出准确完整的数据；
22、对筛选出的数据进行预处理；
23、基于机器学习算法对预处理后的数据进行建模分析；
24、基于k-means聚类算法对建模分析后的数据进行组别分类；
25、利用数据质量评估工具对分类后的数据进行质量评估。
26、优选的，s2进一步包括：
27、利用数据质量管理平台对所述结构化选择题数据集和所述开放式问题数据集进行持续监测，通过数据质量管理平台反馈的问题对所述结构化选择题数据集和所述开放式问题数据集进行更新。
28、优选的，s3进一步包括：
29、根据评估后的结构化选择题数据集使用自动评估框架对行政执法大模型的质量进行评测；
30、根据评估后的开放式问题数据集使用众包方式和elo机制对行政执法大模型的安全性进行评测。
31、优选的，elo机制用于进行不同模型之间的隐私保护、数据完整和访问控制的对比；
32、elo机制基于以下公式实现：
33、
34、r’a＝ra+k(sa-ea) (2)；
35、r’b＝rb+k(sb-eb) (3)；
36、其中，ea表示待评测行政执法大模型隐私保护、数据完整或访问控制的胜负值；eb表示另一个行政执法大模型隐私保护、数据完整或访问控制的胜负值/表示普通语言大模型隐私保护、数据完整或访问控制的胜负值；ra表示待评测行政执法大模型隐私保护、数据完整或访问控制的elo评分；rb表示另一个行政执法大模型隐私保护、数据完整或访问控制的elo评分/表示普通语言大模型隐私保护、数据完整或访问控制的elo评分；r’a表示更新后的待评测行政执法大模型隐私保护、数据完整或访问控制的elo评分；r’b表示更新后的另一个行政执法大模型隐私保护、数据完整或访问控制的elo评分/表示更新后的普通语言大模型隐私保护、数据完整或访问控制的elo评分；k表示极限值。...
【技术保护点】
1.一种行政执法大模型的质量和安全性评测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种行政执法大模型的质量和安全性评测方法，其特征在于，还包括：
3.根据权利要求1所述的一种行政执法大模型的质量和安全性评测方法，其特征在于：
4.根据权利要求3所述的一种行政执法大模型的质量和安全性评测方法，其特征在于，所述效率要求评测指标包括文书、投诉、举报和行政处罚的平均处理时间和执法全过程所需时间；
5.根据权利要求1所述的一种行政执法大模型的质量和安全性评测方法，其特征在于，S1进一步包括：通过网络公开数据、行政部门公开数据收集行政方面数据，然后对涉及质量方面的数据进行解析和注释，获得所述结构化选择题数据集；其中，结构化选择题的格式为：{question：问题；options：选项；answer：答案}。
6.根据权利要求1所述的一种行政执法大模型的质量和安全性评测方法，其特征在于，S1进一步包括：通过行政部门公开数据、专家建议、问卷调查收集行政方面数据，然后对涉及安全性方面的数据进行问题编写，获得所述开放式问题数
7.根据权利要求1所述的一种行政执法大模型的质量和安全性评测方法，其特征在于，S2进一步包括：
8.根据权利要求7所述的一种行政执法大模型的质量和安全性评测方法，其特征在于，S2进一步包括：
9.根据权利要求7所述的一种行政执法大模型的质量和安全性评测方法，其特征在于，S3进一步包括：
10.根据权利要求7所述的一种行政执法大模型的质量和安全性评测方法，其特征在于，ELO机制用于进行不同模型之间的隐私保护、数据完整和访问控制的对比；
...【技术特征摘要】
1.一种行政执法大模型的质量和安全性评测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种行政执法大模型的质量和安全性评测方法，其特征在于，还包括：
3.根据权利要求1所述的一种行政执法大模型的质量和安全性评测方法，其特征在于：
4.根据权利要求3所述的一种行政执法大模型的质量和安全性评测方法，其特征在于，所述效率要求评测指标包括文书、投诉、举报和行政处罚的平均处理时间和执法全过程所需时间；
5.根据权利要求1所述的一种行政执法大模型的质量和安全性评测方法，其特征在于，s1进一步包括：通过网络公开数据、行政部门公开数据收集行政方面数据，然后对涉及质量方面的数据进行解析和注释，获得所述结构化选择题数据集；其中，结构化选择题的格式为：{question：问题；options：选项；answer：答案}。
6.根据权利要求1...
【专利技术属性】
技术研发人员：王嫄，侯佳佳，韩秀羲，杨巨成，韩壮，
申请(专利权)人：北京争上游科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。