数据集成处理系统和集成处理方法技术方案

本发明专利技术提供一种数据集成处理系统和数据集成处理方法，服务接口模块将数据报文传输给数据解析模块；数据模型模块根据不同的集成方式将接收的数据报文的数据属性与数据库数据模型的映射关系组成数据配置模型；数据解析模块接收服务接口模块传输的数据报文，并根据数据配置模型将接收到的数据报文解析成数据JAVA对象；数据预警模块根据预警配置对数据JAVA对象进行匹配检索，对异常的数据JAVA对象生成预警提醒；数据加工模块对数据JAVA对象进行多层加工，对无效的数据JAVA对象进行筛选剔除，对遗漏的数据JAVA对象进行补录，能够及时、准确、稳定地集成处理各类数据。

【技术实现步骤摘要】

本专利技术涉及一种应用于电力系统的。
技术介绍
电能质量在线监测系统的应用建设是提升公司电网安全运行水平和优质服务水 平，实现安全风险超前防范，进一步提高公司核心竞争力和可持续发展能力的重要手段，并 为深化"两个转变"，建设"一强三优"现代公司，创建"两个一流"奠定坚实的基础。电能质量在线监测系统基础数据依赖于GPMS生产系统、调度OMS系统和用电信息 采集系统所提供的基础设备台账数据和运行数据。数据集成方式包含SG-CM(企业公共信 息模型）、ESB (企业服务总线）、E-FILE(采用电力系统数据标记语言的文件）共享文件服 务器和ODS(数据中心）共享中间库方式。整体集成的系统多、集成通道复杂，数据集成的 准确性、及时性和可靠性决定整个系统应用建设的质量。 传统的数据集成系统和方法主要采用一种集成方式设计一套技术，一类数据设计 一种处理方法的方式进行集成，集成过程中只是将数据做存储操作，没有对数据进行加工 处理，且系统不易于维护，可扩展性差。 申请号为201210525979. 5的专利文件公开了一种多数据源的数据集成处理方法 和装置，该数据集成处理方法包括：获取当前数据集成处理所需的目标数据项的信息；依 据预置的数据项与数据源的映射关系，按照所述目标数据项的信息从对应的多个数据源中 分别提取相应的数据项；将所述目标数据项按照预置的目标数据项集成计算规则进行相应 的集成计算。然而，上述方案仅仅对数据进行集成，而未对集成后的数据检测加工，可靠性 差。 基于此，需要研宄一种兼备实时性、并发性、稳定性、可控制性、可扩展性的多通道 ，以保障电能质量在线监测系统所需要数据的整体质 量，从而提高电能质量在线监测系统应用的深度和广度，实现公司电网最终目标。
技术实现思路
本专利技术所要解决的技术问题是：提供一种能够及时、准确、稳定地集成处理各类数 据的。 为了解决上述技术问题，本专利技术采用的技术方案为：-种数据集成处理系统，包括： 服务接口模块，用于传输数据报文，所述数据报文包括XML数据和自定义的文本 数据； 数据模型模块，用于根据不同的集成方式，将接收的数据报文的数据属性与数据 库数据模型的映射关系组成数据配置模型，所述集成方式包括WebService、中间库抽取和 FTP文件共享中的一种或多种； 数据解析模块，用于接收服务接口模块传输的数据报文，并根据数据配置模型将 数据报文解析成数据JAVA对象； 数据预警模块，用于根据预警配置，检索数据JAVA对象，对异常数据JAVA对象生 成预警提醒； 数据加工模块，用于垃圾数据JAVA对象剔除和遗漏数据JAVA对象补录； 存储模块，用于建立数据库以存储集成处理后的数据JAVA对象。 -种数据集成处理方法，其步骤包括： 服务接口模块将数据报文传输给数据解析模块，所述数据报文包括XML数据和自 定义的文本数据； 数据模型模块根据WebService、中间库抽取、FTP文件共享中的一种或多种集成 方式，将接收的数据报文的数据属性与数据库数据模型的映射关系组成数据配置模型； 数据解析模块接收服务接口模块传输的数据报文，并根据数据配置模型将接收到 的数据报文解析成数据JAVA对象； 数据预警模块根据预警配置对数据JAVA对象进行匹配检索，对异常数据JAVA对 象生成预警提醒； 数据加工模块对数据JAVA对象进行多层加工，无效的数据JAVA对象进行筛选剔 除，遗漏的数据JAVA对象进行补录； 存储模块存储集成处理后的数据JAVA对象。 本专利技术的有益效果在于：数据报文通过服务接口模块传输到数据解析模块，经数 据解析模块解析成数据JAVA对象，并通过数据预警模块对异常的数据JAVA对象预警提醒， 数据加工模块对垃圾数据JAVA对象进行处理及对遗漏数据JAVA对象进行补录，实现对数 据及时、准确、稳定地集成处理。【附图说明】 图1为本专利技术实施例的数据集成处理系统的结构框图； 图2为本专利技术实施例的数据集成处理方法的流程图； 图3为本专利技术实施例的数据集成处理方法的数据加工方法的流程图； 图4为本专利技术实施例的福建电网运行在线监测与辅助决策应用研宄系统。 标号说明： 1、服务接口模块；2、数据解析模块；3、数据预警模块；4、数据加工模块；5、数据模 型模块；6、驱动模块。【具体实施方式】 为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附 图予以说明。 本专利技术最关键的构思在于：不同类型的数据报文通过不同的接口传输到数据解 析模块，数据解析模块根据数据配置模型将各类数据解析成数据对象，数据预警模块对异 常的数据对象预警提醒，数据加工模块对垃圾数据进行处理及对遗漏数据进行补录，实现 对各类数据及时、准确、稳定地集成处理。 本专利技术涉及的技术术语解释：【主权项】1. 一种数据集成处理系统，其特征在于，包括： 服务接口模块，用于传输数据报文，所述数据报文包括XML数据和自定义的文本数据； 数据模型模块，用于根据不同的集成方式，将接收的数据报文的数据属性与数据库数 据模型的映射关系组成数据配置模型，所述集成方式包括WebService、中间库抽取和FTP 文件共享中的一种或多种； 数据解析模块，用于接收服务接口模块传输的数据报文，并根据数据配置模型将数据 报文解析成数据JAVA对象； 数据预警模块，用于根据预警配置，检索数据JAVA对象，对异常数据JAVA对象生成预 警提醒； 数据加工模块，用于垃圾数据JAVA对象剔除和遗漏数据JAVA对象补录； 存储模块，用于建立数据库以存储集成处理后的数据JAVA对象。2. 根据权利要求1所述的数据集成处理系统，其特征在于，所述服务接口模块包括ESB 接口、SG-CIM接口、FTP文件服务器接口、ODS中间库接口，且接口可扩展。3. 根据权利要求1所述的数据集成处理系统，其特征在于，所述数据预警模块包括显 示器，用于显示预警提醒。4. 根据权利要求1所述的数据集成处理系统，其特征在于，所述数据解析模块、数据预 警模块及数据加工模块通过驱动模块驱动。5. -种数据集成处理方法，其特征在于，包括步骤： 服务接口模块将数据报文传输给数据解析模块，所述数据报文包括XML数据和自定义 的文本数据； 数据模型模块根据WebService、中间库抽取和FTP文件共享中的一种或多种集成方 式，将接收的数据报文的数据属性与数据库数据模型的映射关系组成数据配置模型； 数据解析模块接收服务接口模块传输的数据报文，并根据数据配置模型将接收到的数 据报文解析成数据JAVA对象； 数据预警模块根据预警配置对数据JAVA对象进行匹配检索，对异常数据JAVA对象生 成预警提醒； 数据加工模块对数据JAVA对象进行多层加工，无效的数据JAVA对象进行筛选剔除，遗 漏的数据JAVA对象进行补录； 存储模块存储集成处理后的数据JAVA对象。6. 根据权利要求5所述的数据集成处理方法，其特征在于，所述数据解析模块解析数 据同时生成集成处理日志，记录数据集成的基本信息和处理结果信息。7. 根据权利要求5所述的数据集成处理方法，其特征在于，所述预警配置包括预警器， 所述预警器包括非空、是否为数字类型、数值范围，预警器可设置多个，并按先后顺序进行 预本文档来自技高网...

【技术保护点】
一种数据集成处理系统，其特征在于，包括：服务接口模块，用于传输数据报文，所述数据报文包括XML数据和自定义的文本数据；数据模型模块，用于根据不同的集成方式，将接收的数据报文的数据属性与数据库数据模型的映射关系组成数据配置模型，所述集成方式包括WebService、中间库抽取和FTP文件共享中的一种或多种；数据解析模块，用于接收服务接口模块传输的数据报文，并根据数据配置模型将数据报文解析成数据JAVA对象；数据预警模块，用于根据预警配置，检索数据JAVA对象，对异常数据JAVA对象生成预警提醒；数据加工模块，用于垃圾数据JAVA对象剔除和遗漏数据JAVA对象补录；存储模块，用于建立数据库以存储集成处理后的数据JAVA对象。

【技术特征摘要】

【专利技术属性】
技术研发人员：沈桂城，张喜清，翁蔚，许懿洋，郭清滔，施明泰，杨成月，樊永涛，刘伟民，张德仲，吴容新，
申请(专利权)人：国家电网公司，国网福建省电力有限公司，厦门亿力吉奥信息科技有限公司，
类型：发明
国别省市：福建;35