一种开放数据库的构建方法技术

本发明专利技术公开的一种开放数据库的构建方法，其开放数据库采用分布式开放数据库和集中式开放数据库；分布式开放数据库的构建是将职能部门一部分数据库数据通过云服务生成器直接生成服务，通过云服务总线进行集中管理，加上直接提供数据开放接口的数据，由服务目录进行统一编目，实现数据服务开放；集中式开放数据库的构建是将职能部门的数据传输至数据共享库、数据开放库：由云服务生成器生成服务，然后通过云服务总线进行集中管理；或者以数据文件的形式，通过开放目录系统统一管理，实现数据开放。本发明专利技术能够将各个职能部门产生的大量数据纳入到一个统一的开放数据库进行管理，能够打破职能部门之间的信息孤岛，推动政务数据有序、安全地开放共享。安全地开放共享。安全地开放共享。

【技术实现步骤摘要】
一种开放数据库的构建方法


[0001]本专利技术涉及数据库管理领域，特别涉及一种开放数据库的构建方法。

技术介绍

[0002]对于政府而言，打破职能部门之间的信息孤岛，推动政务数据开放共享，是赋能新型政府的有力抓手。若要打通政府各个部门的数据壁垒，实现数据开放共享，则需要将各个职能部门产生的大量数据纳入到一个统一的开放数据库进行管理。因此设计一个能满足上述要求的开放数据库是十分必要的。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的缺点与不足，提供一种开放数据库的构建方法。
[0004]本专利技术的目的通过以下的技术方案实现：
[0005]一种开放数据库的构建方法，其开放数据库采用分布式开放数据库和集中式开放数据库两种方式并存的设计方案；其中，所述分布式开放数据库的构建是将职能部门一部分数据库数据通过云服务生成器直接生成服务，通过云服务总线进行集中管理，加上直接提供数据开放接口的数据，由服务目录进行统一编目，实现数据服务开放；所述集中式开放数据库的构建是将职能部门的数据通过共享交换平台进入数据共享库，再经过分析处理、脱敏后进入到数据开放库：由云服务生成器生成服务，然后通过云服务总线进行集中管理；或者以数据文件的形式，通过开放目录系统统一管理，实现数据开放。
[0006]所述集中式开放数据库的构建，所选择的维度建模工具包括星型结构和雪花型结构；所述星型结构由一个事实表和多个维表组成，事实表包含了基础的和汇总的业务事实，描述了主题的数据，与事实表相连的多个维表用于限制用户的查询结果，将数据过滤，缩小访问范围；所述雪花型结构是对星型结构的扩展，是对星型结构的维表进一步标准化，其通过最大限度地减少数据存储量以及把较小的标准化维表联合在一起，来改善性能。
[0007]所述集中式开放数据库的设计方案如下：
[0008](1)数据初始化
[0009]根据数据来源不同进行数据存储，数据库用一个实例，创建多个用户，用户分单位，存储单位下面的业务表；
[0010]建库完成后，利用数据采集系统，通过ETL工具将数据从共享交换平台、数据共享库集中到开放数据库，集中过程中，对数据进行脱敏、格式转换、清洗操作；
[0011](2)数据更新
[0012]当数据从共享交换平台共享数据库相应的数据源表，根据时间戳和标识位对增量数据进行更新，更新的时间是T+0；
[0013](3)增量数据入库
[0014]采集相应委办局和数据共享库每天增加的数据，将新增的数据插入到数据开放库
中；
[0015]如果新增的数据是新增的记录项，则在数据开放库中追加一条记录；
[0016](4)数据库管理
[0017]数据开放库汇聚了来自多个部门的数据，数据信息都是数据开放的基础数据，通过理清数据的数据关系，从中分析出实体的数量并揭示数据的动态变化情况，直接关系到对开放数据库的可开放数据资源的清晰认识，关系到基于数据的各种深化应用的效果；
[0018]数据库开放管理系统能实现对数据资源的展示、查询，进行入库数据的监控，并通过数据溯源，了解开放库数据的原始来源。
[0019]所述分布式开放数据库，其构建时采用云服务生成器将委办局数据库数据生成数据服务；所述云服务生成器采用SOAP和REST两种数据生成服务方式，SOAP和REST是两种不同形式的webservice。
[0020]所述分布式开放数据库，其构建的过程中，对委办局提供服务接口/API的数据资源，支持服务接口对接，按照标准的服务接口接入到云服务总线上。
[0021]所述分布式开放数据库，其构建的过程中，云服务生成器提供服务注册、服务响应缓存、服务访问流量控制、服务会话监控与跟踪。
[0022]所述分布式开放数据库，其构建的过程中，云服务总线能为后端真实服务提供虚拟服务，即代理服务以供前端服务消费者享受服务,同时隐藏了真实服务的具体发布位置；云服务总线提供服务编排功能，能将几个服务的编排逻辑定制为时序以供内部处理；其服务处理机制为“服务请求—服务调度”，其中Message builder负责将服务请求构建为消息模型，Message formatter负责将消息模型转换为真实服务协议能识别的消息格式。
[0023]所述云服务生成器生成服务，其工作步骤为资源加载、资源对象化、服务定义、服务发布；所述云服务生成器的云服务生成工具为生成的服务提供安全模块、可靠消息模块、服务事件模块和服务云端寻址模块；云服务生成采用了AXIOM对象模型和DSDL文档规范来定义资源的属性和操作方法。
[0024]云服务生成工具基于SOA/WOA架构思想设计，提供用于发布生成并运行基础源Sercice服务的中间件产品。它既是服务生成工具，也是服务容器。作为服务生成工具，云服务生成工具能根据用户业务的不同，灵活、快速地生成和发布标准遵循JAX
‑
WS和JAX
‑
RS等规范的REST和SOAP服务，真正意义上的零编码开发工具。作为服务容器，云服务生成工具能稳定和高效地运行Sercice服务，提供高并发访问和请求。
[0025]所述云服务总线统一治理分布式服务，云服务总线提供包含服务中介、事件中介、消息中介、访问控制、服务QOS、负载均衡的安全功能；云服务总线统一的注册和管理分布在政府各部门的各种技术规范的数据服务：
[0026](1)基于服务代理机制，将原生服务隐藏，保障原生服务安全；
[0027](2)通过云服务总线丰富的功能对代理的服务进行统一的管控和安全加固；
[0028](3)通过开放管理服务API Manager将总线上的代理进行标准化封装，发布成标准的符合调用规范的可用API服务。
[0029]所述数据开放的开放API包括：
[0030](1)创建以及发布数据开放API
[0031]创建数据开放API，是将已有的开放数据服务，添加到数据开放API发布门户的过
程；在发布门户中，管理API的生命周期，编辑API的说明文档，配置API的安全选项，查看API的订阅统计；
[0032](2)订阅数据开放API
[0033]想要调用一个数据开放API，用户必须先在数据开放API集市对这个API进行订阅操作；
[0034]API集市中有应用的管理，用户在应用下生成令牌；用户通过应用订阅API，订阅完成后，使用该应用专属的令牌，就能对这个API进行调用了；
[0035](3)使用集成的数据开放API控制台调用数据开放API
[0036]数据开放管理平台集成了Swagger UI，Swagger UI是Swagger项目的一部分；
[0037]Swagger是一个完全开源的，标准的，与语言无关的规范，它是一个不需要代理或者第三方服务的完整框架，用于描述、制作、调用和查看RESTful风格的数据开放API；Swagger让消费者无需访问远程服务的源码，与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种开放数据库的构建方法，其特征在于：其开放数据库采用分布式开放数据库和集中式开放数据库两种方式并存的设计方案；其中，所述分布式开放数据库的构建是将职能部门一部分数据库数据通过云服务生成器直接生成服务，通过云服务总线进行集中管理，加上直接提供数据开放接口的数据，由服务目录进行统一编目，实现数据服务开放；所述集中式开放数据库的构建是将职能部门的数据通过共享交换平台进入数据共享库，再经过分析处理、脱敏后进入到数据开放库：由云服务生成器生成服务，然后通过云服务总线进行集中管理；或者以数据文件的形式，通过开放目录系统统一管理，实现数据开放。2.根据权利要求1所述开放数据库的构建方法，其特征在于：所述集中式开放数据库的构建，所选择的维度建模工具包括星型结构和雪花型结构；所述星型结构由一个事实表和多个维表组成，事实表包含了基础的和汇总的业务事实，描述了主题的数据，与事实表相连的多个维表用于限制用户的查询结果，将数据过滤，缩小访问范围；所述雪花型结构是对星型结构的扩展，是对星型结构的维表进一步标准化，其通过最大限度地减少数据存储量以及把较小的标准化维表联合在一起，来改善性能。3.根据权利要求1所述开放数据库的构建方法，其特征在于：所述集中式开放数据库的设计方案如下：(1)数据初始化根据数据来源不同进行数据存储，数据库用一个实例，创建多个用户，用户分单位，存储单位下面的业务表；建库完成后，利用数据采集系统，通过ETL工具将数据从共享交换平台、数据共享库集中到开放数据库，集中过程中，对数据进行脱敏、格式转换、清洗操作；(2)数据更新当数据从共享交换平台共享数据库相应的数据源表，根据时间戳和标识位对增量数据进行更新，更新的时间是T+0；(3)增量数据入库采集相应委办局和数据共享库每天增加的数据，将新增的数据插入到数据开放库中；如果新增的数据是新增的记录项，则在数据开放库中追加一条记录；(4)数据库管理数据开放库汇聚了来自多个部门的数据，数据信息都是数据开放的基础数据，通过理清数据的数据关系，从中分析出实体的数量并揭示数据的动态变化情况，直接关系到对开放数据库的可开放数据资源的清晰认识，关系到基于数据的各种深化应用的效果；数据库开放管理系统能实现对数据资源的展示、查询，进行入库数据的监控，并通过数据溯源，了解开放库数据的原始来源。4.根据权利要求1所述开放数据库的构建方法，其特征在于：所述分布式开放数据库，其构建时采用云服务生成器将委办局数据库数据生成数据服务；所述云服务生成器采用SOAP和REST两种数据生成服务方式，SOAP和REST是两种不同形式的webservice。5.根据权利要求1所述开放数据库的构建方法，其特征在于：所述分布式开放数据库，其构建的过程中，对委办局提供服务接口/API的数据资源，支持服务接口对接，按照标准的服务接口接入到云服务总线上。6.根据权利要求1所述开放数据库的构建方法，其特征在于：所述分布式开放数据库，
其构建的过程中，云服务生成器提供服务注册、服务响应缓存、服务访问流量控制、服务会话监控与跟踪。7.根据权利要求1所述开放数据库的构建方法，其特征在于：所述分布式开放数据库，其构建的过程中，云服务总线能为后端真实服务提供虚拟服务，即代理服务以供前端服务消费者享受服务,同时隐藏了真实服务的具体发布位置；云服务总线提供服务编排功能，能将几个服务的编排逻辑定制为时序以供内部处理；其服务...

【专利技术属性】
技术研发人员：刘志徽，杨秀锡，严俊杰，周东，
申请(专利权)人：广西中科曙光云计算有限公司，
类型：发明
国别省市：