一种数据交换系统及方法技术方案

本申请公开了一种数据交换系统及方法，用以解决现有的大数据交换技术信息交互共享困难、存在大量信息孤岛的技术问题。系统包括：应用服务总线模块，用于不同应用系统的服务接入及服务管理；数据服务总线模块，包括服务协议适配子模块、分布式消息队列子模块、分布式数据缓存子模块、分布式数据分发子模块、分布式服务调度子模块以及服务调用适配子模块，用于实现数据的传输；数据加工/离线分析扩展模块，用于对传输数据进行处理分析；安全管理模块，用于保障数据交换系统的应用访问安全及数据传输安全。本申请通过上述系统彻底解决了信息孤岛及系统集成的问题，同时提高了数据传输的效益。效益。效益。

【技术实现步骤摘要】
一种数据交换系统及方法


[0001]本申请涉及大数据交换
，尤其涉及一种数据交换系统及方法。

技术介绍

[0002]当前，各政府和企业一般都设计和建设了属于机构、业务本身的应用、流程以及数据的信息处理系统，独立、异构、涵盖各自业务内容的信息处理系统，设计建设的时期不同、业务模式不同，信息化建设缺乏有效的总体规划，重复建设；缺乏统一的设计标准，大多数系统都是由不同的厂商在不同的平台上，使用不同的语言进行开发的，数据传输受限、信息交互共享困难，存在大量的信息孤岛和流程孤岛。

技术实现思路

[0003]本申请实施例提供了一种数据交换系统及方法，用以解决现有的大数据交换技术信息交互共享困难，存在大量信息孤岛的技术问题。
[0004]一方面，本申请实施例提供了一种数据交换系统，系统包括：应用服务总线模块，用于不同应用系统的服务接入及服务管理；数据服务总线模块，包括服务协议适配子模块、分布式消息队列子模块、分布式数据缓存子模块、分布式数据分发子模块、分布式服务调度子模块以及服务调用适配子模块，用于实现数据的传输；数据加工/离线分析扩展模块，用于对传输数据进行处理分析；安全管理模块，用于保障数据交换系统的应用访问安全及数据传输安全；平台管控模块，用于监控所述传输数据的处理分析过程以及数据传输过程。
[0005]本申请实施例提供的数据交换系统，通过采用通信、集成、服务交互、服务安全、服务质量、服务等级等技术及管理手段，对各信息系统进行二次规划、整体提升、高度集成，全面提升系统运行效率和效果，彻底解决数据孤岛和系统集成问题，从而实现全价值链智能运营一体化管理，确保信息流的全面受控，为决策提供准确的信息支持，很好的解决了信息孤岛的问题。同时，数据服务总线模块的建设，运用大数据技术，搭建集群部署，不仅解决了大数据传输的问题，而且提高了大数据传输效益，提升数据安全访问和读取速度，缩短响应时间，丰富智能监控服务。
[0006]在本申请的一种实现方式中，应用服务总线模块至少用于实现以下任一项或者多项功能：消息过滤功能、数据格式转换功能、智能路由功能、协议适配功能以及消息订阅与发布功能。实现了跨地域、跨部门、跨平台不同应用系统直接的服务集成和服务共享。
[0007]在本申请的一种实现方式中，所述数据加工/离线分析扩展模块包括数据加工子模块、数据稽查子模块、数据建模子模块以及工作流调度子模块。
[0008]在本申请的一种实现方式中，所述安全管理模块包括：Web安全子模块，用于保障传输数据接入所述数据交换系统之前的web安全；数据安全管理子模块，用于保障传输数据接入所述数据交换系统之后的数据安全；访问安全管理子模块，用于保障所述数据交换系统对结构化数据的访问安全。
[0009]在本申请的一种实现方式中，所述平台管控模块至少用于实现以下任一项或者多
项功能：服务管理功能、统计管理功能、监控管理功能以及系统管理功能。
[0010]另一方面，本申请实施例还提供了一种数据交换方法，应用如上述的一种数据交换系统，方法包括：所述数据交换系统接收服务调用方发送的调用请求，并将所述调用请求与服务调用日志进行对比；在确定所述服务调用日志中不存在所述调用请求的情况下，将所述调用请求发送给服务提供方，并接收所述服务提供方返回的服务响应结果；将所述服务响应结果进行缓存，并发送至所述服务调用方。
[0011]在本申请的一种实现方式中，所述方法还包括：所述数据交换系统确定所述服务调用日志中存在所述调用请求；将所述调用请求与缓存的服务响应结果进行请求匹配，并在所述请求匹配成功的情况下，将所述服务响应结果发送至所述服务调用方。
[0012]在本申请的一种实现方式中，所述服务响应结果包括服务请求元数据以及服务数据文件；所述将所述服务响应结果进行缓存，具体包括：所述数据交换系统将所述服务请求元数据缓存至kafka消息队列中，以及将所述服务数据文件缓存至MongoDB GridFS分布式文件存储系统中；所述将所述服务响应结果发送至所述服务调用方，具体包括：所述数据交换系统在所述MongoDB GridFS分布式文件存储系统中确定所述调用请求对应的服务数据文件；将所述服务数据文件通过Storm流式计算框架发送给所述服务调用方。
[0013]本申请实施例中的数据服务总线采用了Kafka消息队列、MongoDB GridFS分布式文件存储系统、Storm流式计算框架三大主流大数据技术。kafka实现数据请求队列、数据缓存块、大文件元数据缓存系统三大功能，MongoDB GridFS实现大文件分布式缓存系统，Storm实现并发数据读取和数据汇总功能。数据服务总线充分与大数据相关服务进行结合，利用大数据解决大文件及消息的高效传输问题，同时实现了不同应用系统间的信息交互。
[0014]在本申请的一种实现方式中，所述方法还包括：日志收集系统Flume采集所述数据交换系统中各个模块产生的日志数据，并将所述日志数据存储至kafka消息队列中；日志管理平台logstash将所述kafka消息队列中的日志数据接入到搜索服务器ElasticSearch中，并建立对应的索引数据；可视化平台kibana基于所述索引数据对所述日志数据进行可视化分析与展示。
[0015]在本申请的一种实现方式中，所述方法还包括：分布式文件系统HDFS以预设时间为间隔，接收来自所述kafka消息队列的日志数据，并将所述日志数据输入到预设分析引擎中；所述预设分析引擎对所述日志数据进行离线分析。
附图说明
[0016]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0017]图1为本申请实施例提供的一种数据交换系统架构示意图；
[0018]图2为本申请实施例提供的一种数据交换方法数据流程图。
具体实施方式
[0019]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做
出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0020]当前，各政府和企业一般都设计和建设了属于机构、业务本身的应用、流程以及数据的信息处理系统，独立、异构、涵盖各自业务内容的信息处理系统，设计建设的时期不同、业务模式不同，信息化建设缺乏有效的总体规划，重复建设；缺乏统一的设计标准，大多数系统都是由不同的厂商在不同的平台上，使用不同的语言进行开发的，信息交互共享困难，存在大量的信息孤岛和流程孤岛。
[0021]为了有效整合分散异构的信息资源，消除“信息孤岛”现象，提高政府和企业的信息化水平。要求新构建的数据共享交换系统要遵循标准的、面向服务架构的方式，基于先进的企业服务总线ESB技术，遵循先进技术标准和规范，为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据交换系统，其特征在于，所述系统包括：应用服务总线模块，用于不同应用系统的服务接入及服务管理；数据服务总线模块，包括服务协议适配子模块、分布式消息队列子模块、分布式数据缓存子模块、分布式数据分发子模块、分布式服务调度子模块以及服务调用适配子模块，用于实现数据的传输；数据加工/离线分析扩展模块，用于对传输数据进行处理分析；安全管理模块，用于保障数据交换系统的应用访问安全及数据传输安全；平台管控模块，用于监控所述传输数据的处理分析过程以及数据传输过程。2.根据权利要求1所述的一种数据交换系统，其特征在于，所述应用服务总线模块至少用于实现以下任一项或者多项功能：消息过滤功能、数据格式转换功能、智能路由功能、协议适配功能以及消息订阅与发布功能。3.根据权利要求1所述的一种数据交换系统，其特征在于，所述数据加工/离线分析扩展模块包括数据加工子模块、数据稽查子模块、数据建模子模块以及工作流调度子模块。4.根据权利要求1所述的一种数据交换系统，其特征在于，所述安全管理模块包括：Web安全子模块，用于保障传输数据接入所述数据交换系统之前的web安全；数据安全管理子模块，用于保障传输数据接入所述数据交换系统之后的数据安全；访问安全管理子模块，用于保障所述数据交换系统对结构化数据的访问安全。5.根据权利要求1所述的一种数据交换系统，其特征在于，所述平台管控模块至少用于实现以下任一项或者多项功能：服务管理功能、统计管理功能、监控管理功能以及系统管理功能。6.一种数据交换方法，应用如权利要求1
‑
5任一项所述的一种数据交换系统，其特征在于，所述方法包括：所述数据交换系统接收服务调用方发送的调用请求，并将所述调用请求与服务调用日志进行对比；在确定所述服务调用日志中不存在所述调用请求的情况下，将所述调用请求发送给服...

【专利技术属性】
技术研发人员：唐旋，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：