System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理的方法、装置、电子设备和存储介质制造方法及图纸_技高网

数据处理的方法、装置、电子设备和存储介质制造方法及图纸

技术编号:43034556 阅读:3 留言:0更新日期:2024-10-18 17:37
本发明专利技术公开了数据处理的方法、装置、电子设备和存储介质,涉及计算机技术领域。该方法的一具体实施方式包括:响应于数据导入指令,基于数据模板批量导入历史数据集合;获取历史数据集合中各数据的数据类型,以确定各数据类型对应的数据集合;响应于活动对象的创建指令,获取活动对象的数据导入逻辑,基于数据导入逻辑提取活动对象关联的各数据要素,以确定各数据要素关联的目标数据集合;将各目标数据集合按照数据导入逻辑组装,得到活动对象的数据对象,将数据对象存储至预设的数据队列。该实施方式能够解决通过系统接口对接实现对历史数据的导入,但是执行效率较低,导入数据量较大时需要消耗的时间较长,造成系统资源的浪费的问题。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种数据处理的方法、装置、电子设备和存储介质


技术介绍

1、在运营系统建设的过程中,历史数据的导入通常与数据迁移、系统升级、数据库合并或新系统的初始化有关。随着业务的发展和技术的进步,运营系统需要将历史数据转移到新系统中,以确保信息的连续性和可用性,并提高系统数据分析、挖掘的能力。相关技术中,通常在运营系统设置接口导入工具,以通过与旧系统的接口对接,实现对历史数据的导入,但是这种方式的执行效率较低,导入数据量较大时需要消耗的时间较长,造成系统资源的浪费。


技术实现思路

1、有鉴于此,本专利技术实施例提供一种数据处理的方法、装置、电子设备和存储介质,能够解决通过系统接口对接实现对历史数据的导入,但是执行效率较低,导入数据量较大时需要消耗的时间较长,造成系统资源的浪费的问题。

2、为实现上述目的,根据本专利技术实施例的一个方面,提供了一种数据处理的方法。

3、本专利技术实施例的一种数据处理的方法包括:响应于数据导入指令,获取对应的数据模板,以基于所述数据模板批量导入历史数据集合;

4、获取所述历史数据集合中各数据的数据类型,以确定各所述数据类型对应的数据集合;

5、响应于活动对象的创建指令,获取所述活动对象的数据导入逻辑,基于所述数据导入逻辑提取所述活动对象关联的各数据要素,以确定各所述数据要素关联的目标数据集合;

6、将各所述目标数据集合按照所述数据导入逻辑组装,得到所述活动对象的数据对象,将所述数据对象存储至预设的数据队列。

7、在一个实施例中,基于所述数据导入逻辑提取所述活动对象关联的各数据要素,确定各所述数据要素关联的目标数据集合,包括:

8、识别所述数据导入逻辑中与各所述数据类型匹配的数据要素,建立所述数据要素和所述数据类型的关联关系,以确定各所述数据要素关联的目标数据集合。

9、在又一个实施例中,将各所述目标数据集合按照所述数据导入逻辑组装,得到所述活动对象的数据对象,包括:

10、基于所述数据导入逻辑中各数据要素的组合方式和编排方式,以基于所述组合方式将各所述数据要素的目标数据集合组合,得到组合数据集合,基于所述编排方式将各所述组合数据集合编排,得到所述活动对象的数据对象。

11、在又一个实施例中,获取所述历史数据集合中各数据的数据类型,包括:

12、基于所述数据模板提取各历史数据的数据描述,识别各所述数据描述中与活动基础数据关联的关键词,以基于所述关键词确定各所述历史数据的数据类型。

13、在又一个实施例中,所述确定各数据类型对应的数据集合,包括:

14、调用预设的聚类模型,基于所述数据类型对所述历史数据集合聚类,得到各所述数据类型对应的初始数据集合;

15、调用各所述数据类型的排序规则对所述初始数据集合中的数据排序,以确定各数据类型对应的数据集合。

16、在又一个实施例中,将所述数据对象存储至预设的数据队列之后,还包括:

17、响应于所述数据对象属于第一结构数据,将所述数据对象存储至预设数据库;响应于所述数据对象属于第二结构数据,建立数据对象的索引文件,确定存储位置,将所述数据对象存储至所述存储位置。

18、为实现上述目的,根据本专利技术实施例的另一方面,提供了一种数据处理的装置。

19、本专利技术实施例的一种数据处理的装置包括:导入单元,用于响应于数据导入指令,获取对应的数据模板,以基于所述数据模板导入历史数据集合;

20、确定单元,用于获取所述历史数据集合中各数据的数据类型,以确定各数据类型对应的数据集合;

21、所述确定单元,还用于响应于活动对象的创建指令,获取所述活动对象的数据导入逻辑,基于所述数据导入逻辑提取所述活动对象关联的各数据要素,以确定各所述数据要素关联的目标数据集合;

22、存储单元,用于将各所述目标数据集合按照所述数据导入逻辑组装,得到所述活动对象的数据对象,将所述数据对象存储至预设的数据队列。

23、在一个实施例中,所述确定单元,具体用于:

24、识别所述数据导入逻辑中与各所述数据类型匹配的数据要素,建立所述数据要素和所述数据类型的关联关系,以确定各所述数据要素关联的目标数据集合。

25、在一个实施例中,所述确定单元,具体用于:

26、基于所述数据导入逻辑中各数据要素的组合方式和编排方式,以基于所述组合方式将各所述数据要素的目标数据集合组合,得到组合数据集合,基于所述编排方式将各所述组合数据集合编排,得到所述活动对象的数据对象。

27、在一个实施例中,所述确定单元,具体用于:

28、基于所述数据模板提取各历史数据的数据描述,识别各所述数据描述中与活动基础数据关联的关键词,以基于所述关键词确定各所述历史数据的数据类型。

29、在一个实施例中,所述确定单元,具体用于:

30、调用预设的聚类模型,基于所述数据类型对所述历史数据集合聚类,得到各所述数据类型对应的初始数据集合;

31、调用各所述数据类型的排序规则对所述初始数据集合中的数据排序,以确定各数据类型对应的数据集合。

32、在一个实施例中,所述存储单元,还用于:

33、响应于所述数据对象属于第一结构数据,将所述数据对象存储至预设数据库;响应于所述数据对象属于第二结构数据,建立数据对象的索引文件,确定存储位置,将所述数据对象存储至所述存储位置。

34、为实现上述目的,根据本专利技术实施例的再一个方面,提供了一种电子设备。

35、本专利技术实施例的一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本专利技术实施例提供的数据处理的方法。

36、为实现上述目的,根据本专利技术实施例的又一个方面,提供了一种计算机可读介质。

37、本专利技术实施例的一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本专利技术实施例提供的数据处理的方法。

38、为实现上述目的,根据本专利技术实施例的又一个方面,提供了一种计算机程序产品。

39、本专利技术实施例的一种计算机程序产品,包括计算机程序,所述程序被处理器执行时实现本专利技术实施例提供的数据处理的方法。

40、上述专利技术中的一个实施例具有如下优点或有益效果:本专利技术实施例中,响应于数据导入指令,可以基于数据模板批量导入历史数据集合;获取各历史数据的数据类型,以确定各数据类型对应的数据集合;对活动对象的创建指令,可以获取活动对象的数据导入逻辑,提取数据导入逻辑中的各数据要素,以确定各数据要素关联的目标数据集合;将各目标数据集合按照数据导入逻辑组装,得到活动对象的数据对象,将数据对象存储至预设的数据队列。本专利技术实施例中,通过数据模板实现对历史数据的批量导入,本文档来自技高网...

【技术保护点】

1.一种数据处理的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,基于所述数据导入逻辑提取所述活动对象关联的各数据要素,确定各所述数据要素关联的目标数据集合,包括:

3.根据权利要求2所述的方法,其特征在于,将各所述目标数据集合按照所述数据导入逻辑组装,得到所述活动对象的数据对象,包括:

4.根据权利要求1所述的方法,其特征在于,获取所述历史数据集合中各数据的数据类型,包括:

5.根据权利要求1所述的方法,其特征在于,所述确定各数据类型对应的数据集合,包括:

6.根据权利要求1所述的方法,其特征在于,将所述数据对象存储至预设的数据队列之后,还包括:

7.一种数据处理的装置,其特征在于,包括:

8.根据权利要求6所述的装置,其特征在于,所述确定单元,具体用于:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。

11.一种计算机程序产品,包括计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。

...

【技术特征摘要】

1.一种数据处理的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,基于所述数据导入逻辑提取所述活动对象关联的各数据要素,确定各所述数据要素关联的目标数据集合,包括:

3.根据权利要求2所述的方法,其特征在于,将各所述目标数据集合按照所述数据导入逻辑组装,得到所述活动对象的数据对象,包括:

4.根据权利要求1所述的方法,其特征在于,获取所述历史数据集合中各数据的数据类型,包括:

5.根据权利要求1所述的方法,其特征在于,所述确定各数据类型对应的数据集合,包括:

【专利技术属性】
技术研发人员:李健陈朝胡镕玙
申请(专利权)人:中国建设银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1