【技术实现步骤摘要】
本专利技术涉及计算机算法，尤其涉及一种实现政务应用档案智能审核的自动化方法及系统。
技术介绍
1、随着数字化的推进以及业务的完善，业务数据审核会设计到多个系统的内容，同时对于业务数据的审核要求也越来越高，造成审核人员的审核时间长、审核效率低，容易出现审核堆积。同时人工审核存在主观性和不一致性，导致同一档案会出现不同的审核结果。这就给各业务部门的档案带来困难，导致业务部门疲于修改，降低工作效率，增加理解和沟通成本。
技术实现思路
1、本专利技术提供一种实现政务应用档案智能审核的自动化方法及系统，以解决现有技术的不足。
2、一种实现政务应用档案智能审核的自动化方法，包括以下步骤：
3、步骤一，数据收集，使用python的pandas库模拟网络请求收集数据并结合现有的审核记录和审核数据，汇总收集作为数据源；
4、步骤二，数据处理，对数据中的空值以及重复值进行处理，空值进行填充处理，重复值进行去除；
5、步骤三，模型训练，使用fasttext算法建立文本分类模型，利用收集汇总到的数据集对该模型进行训练，并对其参数进行调整，以适配审核需求；
6、步骤四，固定规则开发，根据日常审核情况，汇总一系列固定的审核规则，对数据中的字段进行格式规范的判断；
7、步骤五，api开发，将训练后的模型和固定规则审核的功能模块部署至服务器，并开发对应的功能接口并设计api的输入输出格式；
8、步骤六，迭代更新，设置一个自动化的迭
9、进一步的，所述数据收集的数据来源分为原有数据和抓取的数据，原有数据来自以往审核积累下的审核记录以及审核数据；抓取的数据来源于使用python的requests库模拟网络请求，从政务应用档案系统中抓取的应用档案数据，并将数据转换为csv格式。
10、进一步的，在使用fasttext算法建立文本分类模型前，对训练数据进行的预先分词、去除停用词，以及模型训练前的标签标注，根据fasttext模型训练要求，设置模型参数，使用政务应用档案系统中的应用档案数据对fasttext模型进行训练。
11、进一步的，所述模型训练完毕后，使用验证集检验模型效果，并根据检验后的模型效果对模型进行参数调优，所述参数调优包括增加迭代轮数、调整向量维度、适当增加学习率。
12、进一步的，所述api开发，使用docker容器化平台，用来打包和运行应用程序及其依赖项。
13、进一步的，所述api开发中，api的输入输出字段包括应用名称或应用编码查询、推荐结果、审核建议，并定义api的restfulapi路径和json数据格式。
14、进一步的，所述迭代更新中，还包括对新的训练数据进行标注，使用收集到的新数据，重新训练fasttext模型。
15、进一步的，所述固定规则开发中，审核规则包括空值检验、字段规范、名称格式。
16、进一步的，所述固定规则开发中，通过不限于正则表达式、if判断的方法，对数据中的字段进行格式规范的判断。
17、本专利技术还提出一种实现政务应用档案智能审核的自动化系统，包括：
18、数据收集模块，用于使用python的pandas库模拟网络请求收集数据并结合现有的审核记录和审核数据，汇总收集作为数据源；
19、数据处理模块，用于对数据中的空值以及重复值进行处理，空值进行填充处理，重复值进行去除；
20、模型训练模块，用于使用fasttext算法建立文本分类模型，利用收集汇总到的数据集对该模型进行训练，并对其参数进行调整，以适配审核需求；
21、固定规则开发模块，用于根据日常审核情况，汇总一系列固定的审核规则，对数据中的字段进行格式规范的判断；
22、api开发模块，用于将训练后的模型和固定规则审核的功能模块部署至服务器，并开发对应的功能接口并设计api的输入输出格式；
23、迭代更新模块，用于设置一个自动化的迭代流程，通过事件触发器来实现，根据收集到的反馈，迭代模型和固定规则，确保使用的模型与固定规则均符合最新的审核规范。
24、本专利技术的有益效果是：
25、1)针对政务应用档案系统的应用档案数据进行的模型构建方法，通过对fasttext模型进行特定模型微调，使得模型在理解文本分类方面具有更高的精度和准确性；2)基于fasttext的智能审核和审核辅助系统的设计与实现，将微调后的模型集成到系统中，为用户提供智能的档案审核功能；3)通过持续收集用户反馈和系统使用情况，进一步优化模型性能，提高智能审核辅助功能的准确性和实用性。
本文档来自技高网...【技术保护点】
1.一种实现政务应用档案智能审核的自动化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种实现政务应用档案智能审核的自动化方法，其特征在于，所述数据收集的数据来源分为原有数据和抓取的数据，原有数据来自以往审核积累下的审核记录以及审核数据；抓取的数据来源于使用Python的requests库模拟网络请求，从政务应用档案系统中抓取的应用档案数据，并将数据转换为CSV格式。
3.根据权利要求1所述的一种实现政务应用档案智能审核的自动化方法，其特征在于，在使用FastText算法建立文本分类模型前，对训练数据进行的预先分词、去除停用词，以及模型训练前的标签标注，根据FastText模型训练要求，设置模型参数，使用政务应用档案系统中的应用档案数据对FastText模型进行训练。
4.根据权利要求1所述的一种实现政务应用档案智能审核的自动化方法，其特征在于，所述模型训练完毕后，使用验证集检验模型效果，并根据检验后的模型效果对模型进行参数调优，所述参数调优包括增加迭代轮数、调整向量维度、适当增加学习率。
5.根据权利要求1所述的一种实
6.根据权利要求1所述的一种实现政务应用档案智能审核的自动化方法，其特征在于，所述API开发中，API的输入输出字段包括应用名称或应用编码查询、推荐结果、审核建议，并定义API的RESTfulAPI路径和JSON数据格式。
7.根据权利要求1所述的一种实现政务应用档案智能审核的自动化方法，其特征在于，所述迭代更新中，还包括对新的训练数据进行标注，使用收集到的新数据，重新训练FastText模型。
8.根据权利要求1所述的一种实现政务应用档案智能审核的自动化方法，其特征在于，所述固定规则开发中，审核规则包括空值检验、字段规范、名称格式。
9.根据权利要求1所述的一种实现政务应用档案智能审核的自动化方法，其特征在于，所述固定规则开发中，通过不限于正则表达式、IF判断的方法，对数据中的字段进行格式规范的判断。
10.一种实现政务应用档案智能审核的自动化系统，其特征在于，包括：
...【技术特征摘要】
1.一种实现政务应用档案智能审核的自动化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种实现政务应用档案智能审核的自动化方法，其特征在于，所述数据收集的数据来源分为原有数据和抓取的数据，原有数据来自以往审核积累下的审核记录以及审核数据；抓取的数据来源于使用python的requests库模拟网络请求，从政务应用档案系统中抓取的应用档案数据，并将数据转换为csv格式。
3.根据权利要求1所述的一种实现政务应用档案智能审核的自动化方法，其特征在于，在使用fasttext算法建立文本分类模型前，对训练数据进行的预先分词、去除停用词，以及模型训练前的标签标注，根据fasttext模型训练要求，设置模型参数，使用政务应用档案系统中的应用档案数据对fasttext模型进行训练。
4.根据权利要求1所述的一种实现政务应用档案智能审核的自动化方法，其特征在于，所述模型训练完毕后，使用验证集检验模型效果，并根据检验后的模型效果对模型进行参数调优，所述参数调优包括增加迭代轮数、调整向量维度、适当增加学习率。
5.根据权利要求1...
【专利技术属性】
技术研发人员：李晓儿，洪扬烨，周圣贤，夏晓瑜，卫学彬，毛欢欢，
申请(专利权)人：数字宁波科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。