【技术实现步骤摘要】
本申请涉及数据处理，具体而言，涉及一种电力工程审计数据处理方法及装置。
技术介绍
1、电力行业工程审计涉及大量数据，如合同、预算、进度、质量检测报告等，同时涉及多种数据类型(结构化数据、半结构化数据、非结构化数据)，不同数据源之间可能存在数据格式、数据标准、数据结构的差异。数据是进行电力工程审计的基础，因此保证数据的真实性、有效性和完整性是重中之重。在数据质量与准确性方面，工程审计数据可能存在错误、冗余、重复、缺失等问题。另一方面，数据的数量和治理都关系到审计内容的全面性和完整性，直接影响工程审计的质量。因此能否有效对工程审计领域的多源异构多模态的数据进行自动化采集和处理，关系到审计的效率和效果，直接影响到工程审计的成效。
2、传统模式下，审计数据的采集只由被审计单位提供审计相关的财务数据和会议记录。随着数字技术的发展，传统的审计技术方法越来越无法满足信息化条件下审计的需求，因此，需要对传统的审计方式和手段进行转换，创新审计理念、模式、制度、方法和技术。数据式审计是信息化条件下发展的产物。数据式审计模式的本质就是对审计电子数据进行采集、整理、验证和分析。而审计数据采集作为数据式审计的前提和基础，对于做好下一步审计工作至关重要。
3、目前，工程审计数据采集的手段方法主要有以下几种：
4、(1)直接拷贝和直接读取，如果对被审计单位进行数据采集，在得到被审计单位允许的条件下，审计人员可以通过u盘或者光碟拷贝或者直接读取被审计单位的数据。包括各单位数据库内数据(如access数据库、sql serve
5、(2)利用嵌入审计模块采集数据，利用嵌入式审计模块进行审计数据采集即在被审计单位信息系统中写入程序，对该系统中的所有数据进行采集。
6、(3)利用财务软件标准接口采集数据，对于符合国家标准接口的软件数据，直接采用审计软件(如ao)进行审计数据采集。
7、(4)网上采集，通过api(应用程序接口)或手工获取的方式，对于政府公开网络数据或者门户网站、搜索引擎和社交网站等数据进行采集。
8、(5)文件交换，通过中间文件交换的方式实现数据采集，如可以通过在联网审计的文件传输下，将不符合审计系统的文件转换成符合审计系统读取的文件。
9、(6)开放数据互连(odbc)采用数据库连接中间件，如odbc接口等直接对被审计单位的数据进行采集。
10、在实际审计业务中，对于业务数据的采集可分为对于非数据库数据的采集和数据库数据的采集。电力行业工程项目审计数据采集是审计业务开展的重要环节，审计数据采集不仅会影响最终审计结果的准确性，也会对审计计划的投入产出比产生影响。同时，审计数据采集也是开展审计大数据的基本前提。因此，在审计数据采集中要遵循几点数据采集原则，而不仅仅依靠被审计单位的数据满足审计需求。首先，对于采集审计数据的选择应以能够实现审计项目计划方案、查处审计疑点和线索为目标。其次，要在对被审计单位业务流程以及被审计单位应用系统充分了解的前提下进行数据采集。最后，不仅要采集被审计单位内部的数据，更加要对与被审计单位相关的市场、行业等外部关联数据进行采集。
11、电力行业目前工程审计数据的采集和获取手段主要有以下缺点：1)人工操作繁琐：直接拷贝和直接读取、网上采集等方式需要手动操作，需要人员花费大量时间和精力进行数据采集，容易出现疏漏和错误。2)低效率：人工操作的方式需要逐条逐项地收集数据，效率较低，尤其是在数据量较大或周期性采集时更为明显，影响审计工作的进展。3)采集无法客制化：某些数据采集方式可能无法满足特定需求，无法根据具体审计项目的要求进行定制化采集，导致数据的准确性和完整性难以保证。4)软件体系庞大：利用嵌入审计模块采集数据往往需要在现有软件中增加新的功能或模块，这可能导致软件的复杂性增加，对系统资源和安全性造成潜在风险。5)接口繁琐：利用财务软件标准接口或api方式采集数据时，可能需要进行繁琐的配置和调试工作，对用户的技术要求较高，容易出现操作错误或数据获取问题。6)成本高：一些采集方式可能需要额外投入高昂的费用，例如购买专门的软件、培训人员、维护和更新系统等，增加了审计成本。7)反应速度慢：某些采集方式可能因为数据量大、接口繁琐等原因导致数据获取的速度较慢，影响到审计工作的及时性和实时反馈。8)结构复杂：某些采集方式可能需要对现有系统进行重构或改造，包括数据结构的调整、数据库的重新设计等，增加了系统维护和管理的复杂性。
12、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本专利技术实施例提供了一种电力工程审计数据处理方法及装置，以至少解决现有技术中电力工程审计数据不规范导致审计比较费时的技术问题。
2、根据本专利技术实施例的一个方面，提供了一种电力工程审计数据处理方法，包括：针对不同的数据类型、数据范围和目标来源的数据，利用不同的数据采集模式分阶段并且分内容进行自动数据采集，其中，所述数据采集模式包括从系统前端爬取数据、利用机器人流程自动化rpa技术对系统进行自动化数据采集、通过编码对电子文档的信息进行自动化提取、对本地文本数据采集；对采集到的数据进行数据融合与处理，得到分类的工程审计数据集市，其中，所述工程审计数据集市包括以下数据子集：工程项目数据、参建单位数据、投标书数据、项目参建人员数据、作业人员数据和市场监管网站数据。
3、根据本专利技术实施例的另一方面，还提供了一种电力工程审计数据处理处理装置，包括：采集模块，被配置为针对不同的数据类型、数据范围和目标来源的数据，利用不同的数据采集模式分阶段并且分内容进行自动数据采集，其中，所述数据采集模式包括从系统前端爬取数据、利用rpa技术对系统进行自动化数据采集、通过编码对电子文档的信息进行自动化提取、对本地文本数据采集；处理模块，被配置为对采集到的数据进行数据融合与处理，得到分类的工程审计数据集市，其中，所述工程审计数据集市包括以下数据子集：工程项目数据、参建单位数据、投标书数据、项目参建人员数据、作业人员数据和市场监管网站数据。
4、在本专利技术实施例中，针对不同的数据类型、数据范围和目标来源的数据，利用不同的数据采集模式分阶段并且分内容进行自动数据采集，其中，所述数据采集模式包括从系统前端爬取数据、利用机器人流程自动化rpa技术对系统进行自动化数据采集、通过编码对电子文档的信息进行自动化提取、对本地文本数据采集；对采集到的数据进行数据融合与处理，得到分类的工程审计数据集市，其中，所述工程审计数据集市包括以下数据子集：工程项目数据、参建单位数据、投标书数据、项目参建人员数据、作业人员数据和市场监管网站数据。通过上述方案，解决了现有技术中电力工程审计数据不规范导致审计比较费时的技术问题。
本文档来自技高网...【技术保护点】
1.一种电力工程审计数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，通过编码对电子文档的信息进行自动化提取，包括：
3.根据权利要求1所述的方法，其特征在于，从系统前端爬取数据，包括：
4.根据权利要求3所述的方法，其特征在于，采用模拟浏览器方式，在获取网页内容时模拟真实用户访问行为，以进行数据爬取，包括：
5.根据权利要求3所述的方法，其特征在于，使用直接分析网络请求和响应的方式进行数据爬取，包括：
6.根据权利要求1所述的方法，其特征在于，对本地文本数据采集，包括：
7.根据权利要求1所述的方法，其特征在于，利用RPA技术对系统进行自动化数据采集，包括：选择RPA工具，配置自动化任务，模拟打开应用程序、填写表单、点击按钮操作，从应用程序中提取数据。
8.一种电力工程审计数据处理处理装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有程序，其特征在于，在所述程序运行时，使得计算机执行如权利要求
...【技术特征摘要】
1.一种电力工程审计数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，通过编码对电子文档的信息进行自动化提取，包括：
3.根据权利要求1所述的方法，其特征在于，从系统前端爬取数据，包括：
4.根据权利要求3所述的方法，其特征在于，采用模拟浏览器方式，在获取网页内容时模拟真实用户访问行为，以进行数据爬取，包括：
5.根据权利要求3所述的方法，其特征在于，使用直接分析网络请求和响应的方式进行数据爬取，包括：
6.根据权利要求...
【专利技术属性】
技术研发人员：林群，龙敏，朱圆宇，邹萍，胡旼，何正傲，倪如意，熊思，
申请(专利权)人：国网江西省电力有限公司宜春供电分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。