一种数据交换系统技术方案

技术编号:24121138 阅读:68 留言:0更新日期:2020-05-13 03:07
一种数据交换系统,包括已有数据展示模块,由数据管理员创建已有数据的目录树,并根据数据实际分类情况,在数据目录树中按照分类信息创建不同的树枝干,数据提供者将已有数据的元数据信息,根据不同的分类挂载至数据目录树不同的节点,将数据以数据目录树的形式展现出来;数据申请模块,当数据使用者通过目录树寻找到自己需要的数据时,发起数据申请流程,该申请流程将推送至数据提供者侧,由数据提供者决定是否将该数据提供给数据申请者;数据交换模块,使用kafka作为数据交换通道,当数据提供方同时数据使用者的申请,数据提供方便将数据保存至kafka指定的topic中。

【技术实现步骤摘要】
一种数据交换系统
本专利技术属于大数据
,特别涉及一种基于流式的数据交换系统。
技术介绍
大数据时代,让数据代替人去各个部门奔跑,将使得办公变得更加高效。不同的数据保存在隔离的数据库中,怎么让使用者能便捷的申请到所需数据,并保证数据的安全,高效。是人们迫切需要解决的问题。kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。该专利技术将使用kafka作为数据交换通道。
技术实现思路
本专利技术实施例提供一种数据交换系统,针对于现有数据交换的迫切需求,主要解决的技术问题为包括数据展示、数据申请、数据交换。本专利技术实施例之一,一种数据交换系统,包括,已有数据展示模块,由数据管理员创建已有数据的目录树,并根据数据实际分类情况,在数据目录树中按照分类信息创建不同的树枝干,数据提供者将已有数据的元数据信息,根据不同的分类挂载至数据目录树不同的节点,将数据以数据目录树的形式展现出来;数据申请模块,当数据使用者通过目录树寻找到自己需要的数据时,发起数据申请流程,该申请流程将推送至数据提供者侧,由数据提供者决定是否将该数据提供给数据申请者;数据交换模块,使用kafka作为数据交换通道,当数据提供方同时数据使用者的申请,数据提供方便将数据保存至kafka指定的topic中,同时,将保存数据的topic信息告知与数据申请者,数据申请者在指的topic中获取数据。本专利技术实施例解决了对于数据形象的展示,高效、安全的交换。包括有益效果:1)兼容结构化和非结构化数据交换;2)能形象展示已有数据类别,数据的元数据信息;3)保障数据安全性。附图说明通过参考附图阅读下文的详细描述,本专利技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本专利技术的若干实施方式,其中:图1根据本专利技术实施例之一的数据展示流程图。图2根据本专利技术实施例之一的数据申请流程图。图3根据本专利技术实施例之一的数据交换流程图。图4根据本专利技术实施例之一的系统架构图。图5根据本专利技术实施例之一的业务逻辑图。具体实施方式根据一个或者多个实施例,一种基于流式的数据交换系统,主要包括三部分:已有数据展示模块、数据申请模块和数据交换模块。如图1所示,已有数据展示模块的执行步骤包括,数据管理员创建已有数据目录树,并根据数据实际分类情况,在数据目录树中按照分类信息创建不同的树枝干,数据提供者将已有数据的元数据信息,根据不同的分类挂载至数据目录树不同的节点。完成后,以后数据将以一颗数据目录树的形式展现出来。如图2所示数据申请流程图,数据申请模块的主要目的在于保证数据的安全性,不同使用者只能获取到自己权限范围内的数据信息,当数据使用者通过目录树寻找到自己需要的数据时,发起数据申请流程,该申请流程将推送至数据提供者侧,由数据提供者决定是否将该数据提供给数据申请者。如图3所示数据交换流程图,数据交换模块执行步骤包括:数据交换底层使用kafka作为数据交换通道,当数据提供方同时数据使用者的申请,数据提供方便将数据保存至kafka指定的topic中,同时,将保存数据的topic信息告知与数据申请者,数据申请者在指的topic中获取数据。根据一个或者多个实施例,如图4所示基于流式的数据交换系统架构包括,UI模块、数据编目模块、审批模块、基于kafka集群的数据交互模块、消息分发组件和业务数据库。根据一个或者多个实施例,如图5所示数据交换系统业务逻辑流程图,数据交换系统业务逻辑包括步骤:步骤1、管理员将已有数据生成数据资源编目,按照数据类别,组织编目结构;步骤2、数据提供者将已有的数据生成编目资源,将资源挂在至指定的编目树节点下;步骤3、数据申请者在编目中寻找资源,对资源发起申请流程;步骤4、数据提供者数据提供者接收审批流程,并将数据写入kafka指定topic;步骤5、数据申请者接收到数据的信息,到kafka指定的topic获取数据。所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本专利技术的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本专利技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。以上所述,仅为本专利技术的具体实施方式,但本专利技术的保护范围并不局限于此,任何熟悉本
的技术人员在本专利技术揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本专利技术的保护范围之内。因此,本专利技术的保护范围应以权利要求的保护范围为准。本文档来自技高网
...

【技术保护点】
1.一种数据交换系统,其特征在于,包括,/n已有数据展示模块,由数据管理员创建已有数据的目录树,并根据数据实际分类情况,在数据目录树中按照分类信息创建不同的树枝干,数据提供者将已有数据的元数据信息,根据不同的分类挂载至数据目录树不同的节点,将数据以数据目录树的形式展现出来;/n数据申请模块,当数据使用者通过目录树寻找到自己需要的数据时,发起数据申请流程,该申请流程将推送至数据提供者侧,由数据提供者决定是否将该数据提供给数据申请者;/n数据交换模块,使用kafka作为数据交换通道,当数据提供方同时数据使用者的申请,数据提供方便将数据保存至kafka指定的topic中,同时,将保存数据的topic信息告知与数据申请者,数据申请者在指的topic中获取数据。/n

【技术特征摘要】
1.一种数据交换系统,其特征在于,包括,
已有数据展示模块,由数据管理员创建已有数据的目录树,并根据数据实际分类情况,在数据目录树中按照分类信息创建不同的树枝干,数据提供者将已有数据的元数据信息,根据不同的分类挂载至数据目录树不同的节点,将数据以数据目录树的形式展现出来;
数据申请模块,当数据使用者通过目录树寻找到自己需要的数据时,发起数据申请流程,该申请流程将推送至数据提供者侧,由数据提供者决定是否将该数据提供给数据申请者;
数据交换模块,使用kafka作为数据交换通道,当数据提供方同时数据使用者的申请,数据提供方便将数据保存至kafka指定的topic中,同时,将保存数据的topic信息告知与数据申请者,数据申请者在指的topic中获取数据。


2.根据权利要求1所述的数据交换系统,其特征在于,还包括UI模块、数据编目模块、审批模块,还包括消息分发组件和业务数据库。


3.根据权利要求2所述的数据交换系统,其特征在于,所述系统的数据交换过程包括:
步骤1、管理员将已有数据生成数...

【专利技术属性】
技术研发人员:官玖伟陈峰徐博李一杨飞柏银曾俊
申请(专利权)人:中电科华云信息技术有限公司
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1