一种大数据清洗与分析系统技术方案

本发明专利技术涉及数据清洗技术领域，涉及一种大数据清洗与分析系统，包括引擎模块、管理模块、组件运行管理器和接口模块，所述的引擎模块包括数据交换引擎、数据同步复制引擎、定时处理引擎和服务处理引擎，所述的管理模块包括分析系统、系统监控、服务管理、安全管理、元数据管理、主题管理和公共代码管理，所述的接口模块包括数据交换与访问接口、数据同步复制接口和业务处理接口；通过大数据清洗和分析系统能实现整个城市水力客户信息大数据平台的基础统一和功能的侧重，共同完成水力客户信息资源目录及水力客户信息大数据平台中心共享数据路的数据共享和交换工作。的数据共享和交换工作。的数据共享和交换工作。

【技术实现步骤摘要】
一种大数据清洗与分析系统


[0001]本专利技术涉及数据清洗
，涉及一种大数据清洗与分析系统。

技术介绍

[0002]大数据清洗单元装置是部门业务应用系统进入水力客户信息大数据平台的接入设备，也是水力客户信息挖掘的边界，大数据清洗单元装置与部门业务应用系统进行信息交换，使用安全管理模块保证信息的安全可靠，并采用基于XML的资源交换协议，通过中心交换前置机发送信息到信息接收端；
[0003]大数据清洗单元装置运行在各个业务部门，同时，把中心共享数据库，文件共享库等作为特殊的部门，在网络中心安装大数据清洗单元装置，供其他业务部门访问这些数据，现有的大数据清洗系统与管理系统功能比较单一，清洗速度比较低。

技术实现思路

[0004]为了解决上述问题，本专利技术提供一种功能齐全、清洗速度高的大数据清洗和分析系统。
[0005]本专利技术下技术方案：
[0006]一种大数据清洗，包括引擎模块、管理模块、组件运行管理器和接口模块，所述的引擎模块包括数据交换引擎、数据同步复制引擎、定时处理引擎和服务处理引擎，所述的管理模块包括分析系统、系统监控、服务管理、安全管理、元数据管理、主题管理和公共代码管理，所述的接口模块包括数据交换与访问接口、数据同步复制接口和业务处理接口。
[0007]所述的分析系统包括系统配置和界面配置。
[0008]所述的系统监控通过系统监控接口控制系统操作信息和系统线程信息。
[0009]所述的元数据管理和主题管理连接远程管理接口。
[0010]所述的公共代码管理连接公共代码管理器。
[0011]所述的数据交换引擎，负责数据交换工作，包括数据检索、数据更新、数据插入、数据删除。
[0012]所述的定时处理引擎定义需要执行的操作，然后设置定时方式和时间间隔，最后由定时处理调度程序自动执行操作，减轻了分析系统人员的负担。
[0013]所述的安全管理用以管理元数据和主安全管理。
[0014]所述的服务管理包括服务定义、服务注册、服务注销操作。
[0015]本专利技术一种大数据分析系统，包括控制模块、数据交换模块、数据库数据传输模块、数据发布订阅模块、自定义操作模块、定时操作模块、分析系统模块、系统工具模块和安全管理模块。
[0016]所述的数据交换模块包括数据检索、数据更新、数据删除和SQL数据交换。
[0017]所述的数据库数据传输模块包括数据库传输和数据库同步。
[0018]所述的数据发布订阅模块包括发布数据声明、订阅数据声明、发布数据和订阅数
据。
[0019]所述的自定义操作模块包括自定义数据交换、自定义数据库传输、自定义SQL数据交换和自定义数据发布订阅。
[0020]所述的定时操作模块包括定时数据交换、定时数据库传输、定时SQL数据交换和定时数据发布订阅。
[0021]所述的分析系统模块包括系统配置、系统监控、日志管理和定时操作监控器。
[0022]所述的系统工具模块包括模式定义工具、动作定义工具和过滤条件定义工具。
[0023]所述的安全管理模块包括用户管理、代理安全管理和模式安全管理和SQL数据交换安全管理。
[0024]本专利技术提供的技术方案带来的有益效果是：
[0025]通过大数据清洗和分析系统能实现整个城市水力客户信息大数据平台的基础统一和功能的侧重，共同完成水力客户信息资源目录及水力客户信息大数据平台中心共享数据路的数据共享和交换工作，另外，本专利技术的大数据清洗与分析系统功能多样，清洗速度快。
附图说明
[0026]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]图1是本专利技术分析系统的结构示意图；
[0028]图2是本专利技术数据清洗结构示意图；
具体实施方式
[0029]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例；基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0030]第一部分：
[0031]如图1
‑
2所示，一种大数据清洗，包括引擎模块、管理模块、组件运行管理器1和接口模块，所述的引擎模块包括数据交换引擎2、数据同步复制引擎3、定时处理引擎4和服务处理引擎5，所述的管理模块包括分析系统6、系统监控7、服务管理8、安全管理9、元数据管理10、主题管理11和公共代码管理12、所述的接口模块包括数据交换与访问接口13、数据同步复制接口14和业务处理接口15。
[0032]所述的分析系统6包括系统配置16和界面设置17。
[0033]所述的系统监控7通过系统监控接口18控制系统操作信息19和系统线程信息20。
[0034]所述的元数据管理10和主题管理11连接远程管理接口21。
[0035]所述的公共代码管理12连接公共代码管理器22。
[0036]所述的数据交换引擎2，负责数据交换工作，包括数据检索、数据更新、数据插入、
数据删除。
[0037]所述的定时处理引擎4定义需要执行的操作，然后设置定时方式和时间间隔，最后由定时处理调度程序自动执行操作，减轻了分析系统人员的负担。
[0038]所述的安全管理9用以管理元数据和主题安全管理。
[0039]所述的服务管理8包括服务定义、服务注册、服务注销操作。
[0040]本专利技术的一种大数据分析系统，包括控制模块23、数据交换模块24、数据库数据传输模块25、数据发布订阅模块26、自定义操作模块27、定时操作模块28、分析系统模块29、系统工具模块30和安全管理模块31。
[0041]所述的数据交换模块24包括数据检索、数据更新、数据删除和SQL数据交换。
[0042]所述的数据库数据传输模块25包括数据库传输和数据库同步。
[0043]所述的数据发布订阅模块26包括发布数据声明、订阅数据声明、发布数据和订阅数据。
[0044]所述的自定义操作模块27包括自定义数据交换、自定义数据库传输、自定义SQL数据交换和定时数据发布订阅。
[0045]所述的自定义操作模块27包括自定义数据交换、自定义数据库传输、自定义SQL数据交换和自定义数据发布订阅。
[0046]所述的，定时操作模块28包括定时数据交换、定时数据传输、定时SQL数据交换和定时数据发布订阅。
[0047]所述的分析系统模块29包括系统配置、系统监控、日志管理和定时操作监控器。
[0048]所述的系统工具模块30包括模式定义工具、动作自定义工具和过滤条件定义工具。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据清洗，其特征在于：包括引擎模块、管理模块、组件运行管理器和接口模块，所述的引擎模块包括数据交换引擎、数据同步复制引擎、定时处理引擎和服务处理引擎，所述的管理模块包括分析系统、系统监控、服务管理、安全管理、元数据管理、主题管理和公共代码管理，所述的接口模块包括数据交换与访问接口、数据同步复制接口和业务处理接口。2.根据权利要求1所述的一种大数据清洗和分析系统，其特征在于：所述的分析系统包括系统配置和界面配置。3.根据权利要求1所述的一种大数据清洗和分析系统，其特征在于：所述的系统监控通过系统监控接口控制系统操作信息和系统线程信息。4.根据权利要求1所述的一种大数据清洗和分析系统，其特征在于：所述的元数据管理和主题管理连接远程管理接口。5.根据权利要求1所述的一种大数据清洗和分析系统，其特征在于：所述的公共代码管理连接公共代码管理器。6.根据权利要求1所述的一种大数据清洗和分析系统，其特征在于：所述的数据交换引擎，负责数据交换工作，包括数据检索、数据更新、数据插入、数据删除。7.根据权利要求1所述的一种大数据清洗和分析系统，其特征在于：所述的定时处理引擎定义需要执行的操作，然后设置定时方式和时间间隔，最后由定时处理调度...

【专利技术属性】
技术研发人员：陈记录，陈云亮，陈宏敏，
申请(专利权)人：浙江免编码科技有限公司，
类型：发明
国别省市：