System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种同步异构数据的框架及处理方法、电子设备及介质技术_技高网

一种同步异构数据的框架及处理方法、电子设备及介质技术

技术编号:41631141 阅读:11 留言:0更新日期:2024-06-13 02:28
本发明专利技术公开了一种同步异构数据的框架及处理方法、电子设备及介质,本发明专利技术通过同步异构数据的框架,利用网关对目标系统执行调度任务;并根据对目标系统的调度任务的数据来源的来源接口配置得到数据来源层;通过合成层对来源接口到目标源接口的数据流程进行预定义;预定义的数据流程包括串行流程、并行流程和出入参映射;并根据对目标系统的调度任务的数据目标源的目标源接口配置得到数据目标源层。本发明专利技术实施例基于来源接口以及目标源接口的数据流程预定义,通过串行流程、并行流程和出入参映射的流程定义,能够实现基于复杂映射的同步异构数据的技术框架,进而高效实现同步异构数据的处理,可广泛应用于数据处理技术领域。

【技术实现步骤摘要】

本专利技术涉及数据处理,尤其涉及一种同步异构数据的框架及处理方法、电子设备及介质


技术介绍

1、现在许多同样的业务在不同业务系统,甚至在不同的组织下都有相同业务的实现,但是所有业务系统的设计,数据字段等都是不同的,如果需要将所有的业务数据进行统一管理,或者根据不同的业务调度到不同的系统时就会有很多的适配工作。现有技术多依靠人工筛选并逐条适配,效率低下。


技术实现思路

1、本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本专利技术提出一种同步异构数据的框架及处理方法、电子设备及介质,能够高效进行同步异构数据的处理。

2、一方面,本专利技术实施例提供了一种同步异构数据的框架,包括:

3、网关,用于对目标系统执行调度任务;

4、数据来源层,数据来源层根据对目标系统的调度任务的数据来源的来源接口配置得到;

5、合成层,用于对来源接口到目标源接口的数据流程进行预定义;预定义的数据流程包括串行流程、并行流程和出入参映射;

6、数据目标源层,数据目标源层根据对目标系统的调度任务的数据目标源的目标源接口配置得到。

7、可选地,框架还包括:

8、适配器,用于对目标系统进行数据协议转换适配。

9、可选地,适配器,用于对不同的目标系统的数据路径进行适配。

10、可选地,网关配置有执行调度任务的预定义的api。

11、可选地,数据来源层包括超文本传输协议、关系型数据库服务、非关系型数据库和电脑文件;

12、其中,数据来源包括基于超文本传输协议连接的客户端或服务器以及数据来源对接的关系型数据库、非关系型数据库和电脑文件。

13、可选地,来源接口包括第一来源接口和第二来源接口;

14、串行流程包括将第一来源接口获取的数据作为第二来源接口的输入参数进行串行获取,进而将串行获取的结果传输到目标源接口;

15、并行流程包括将第一来源接口获取的数据以及第二来源接口获取的数据进行组装,进而将组装的结果传输到目标源接口。

16、可选地,数据目标源层包括超文本传输协议、关系型数据库服务、非关系型数据库和电脑文件;

17、其中,数据目标源包括基于超文本传输协议连接的服务器或客户端以及数据目标源对接的关系型数据库、非关系型数据库和电脑文件。

18、另一方面,本专利技术实施例提供了一种同步异构数据的处理方法,包括:

19、响应于目标对象的调度指令,对目标系统执行调度任务;

20、根据对目标系统的调度任务的数据来源确定来源接口;

21、根据对目标系统的调度任务的数据目标源确定目标源接口;

22、对来源接口到目标源接口的数据流程进行预定义;其中,预定义的数据流程包括串行流程、并行流程和出入参映射。

23、可选地,方法还包括:

24、对目标系统进行数据协议转换适配。

25、可选地,来源接口包括第一来源接口和第二来源接口;

26、串行流程包括将第一来源接口获取的数据作为第二来源接口的输入参数进行串行获取,进而将串行获取的结果传输到目标源接口;

27、并行流程包括将第一来源接口获取的数据以及第二来源接口获取的数据进行组装,进而将组装的结果传输到目标源接口。

28、另一方面,本专利技术实施例提供了一种同步异构数据的处理装置,包括:第一模块,用于响应于目标对象的调度指令,对目标系统执行调度任务;第二模块,用于根据对目标系统的调度任务的数据来源确定来源接口;第三模块,用于根据对目标系统的调度任务的数据目标源确定目标源接口;第四模块,用于对来源接口到目标源接口的数据流程进行预定义;其中,预定义的数据流程包括串行流程、并行流程和出入参映射。

29、可选地,装置还包括:第五模块,用于对目标系统进行数据协议转换适配。

30、另一方面,本专利技术实施例提供了一种电子设备,包括:处理器以及存储器;存储器用于存储程序;处理器执行程序实现上述同步异构数据的处理方法。

31、另一方面,本专利技术实施例提供了一种计算机存储介质,其中存储有处理器可执行的程序,处理器可执行的程序在由处理器执行时用于实现上述同步异构数据的处理方法。

32、本专利技术实施例通过同步异构数据的框架,利用网关对目标系统执行调度任务;并根据对目标系统的调度任务的数据来源的来源接口配置得到数据来源层;通过合成层对来源接口到目标源接口的数据流程进行预定义;预定义的数据流程包括串行流程、并行流程和出入参映射;并根据对目标系统的调度任务的数据目标源的目标源接口配置得到数据目标源层。本专利技术实施例基于来源接口以及目标源接口的数据流程预定义,通过串行流程、并行流程和出入参映射的流程定义,能够实现基于复杂映射的同步异构数据的技术框架,进而高效实现同步异构数据的处理。

本文档来自技高网...

【技术保护点】

1.一种同步异构数据的框架,其特征在于,包括:

2.根据权利要求1所述的同步异构数据的框架,其特征在于,所述框架还包括:

3.根据权利要求2所述的同步异构数据的框架,其特征在于,所述适配器,用于对不同的所述目标系统的数据路径进行适配。

4.根据权利要求1所述的同步异构数据的框架,其特征在于,所述网关配置有执行所述调度任务的预定义的API。

5.根据权利要求1所述的同步异构数据的框架,其特征在于,所述数据来源层包括超文本传输协议、关系型数据库服务、非关系型数据库和电脑文件;

6.根据权利要求1所述的同步异构数据的框架,其特征在于,所述来源接口包括第一来源接口和第二来源接口;

7.根据权利要求1所述的同步异构数据的框架,其特征在于,所述数据目标源层包括超文本传输协议、关系型数据库服务、非关系型数据库和电脑文件;

8.一种同步异构数据的处理方法,应用于权利要求1至7中任一项所述的同步异构数据的框架,其特征在于,所述方法包括:

9.一种电子设备,其特征在于,包括处理器以及存储器;

10.一种计算机存储介质,其中存储有处理器可执行的程序,其特征在于,所述处理器可执行的程序在由所述处理器执行时用于实现如权利要求8所述的方法。

...

【技术特征摘要】

1.一种同步异构数据的框架,其特征在于,包括:

2.根据权利要求1所述的同步异构数据的框架,其特征在于,所述框架还包括:

3.根据权利要求2所述的同步异构数据的框架,其特征在于,所述适配器,用于对不同的所述目标系统的数据路径进行适配。

4.根据权利要求1所述的同步异构数据的框架,其特征在于,所述网关配置有执行所述调度任务的预定义的api。

5.根据权利要求1所述的同步异构数据的框架,其特征在于,所述数据来源层包括超文本传输协议、关系型数据库服务、非关系型数据库和电脑文件;

6.根据权利要求1所述的同步异...

【专利技术属性】
技术研发人员:袁勇汪凯
申请(专利权)人:中国电信股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1