System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理的方法、装置、电子设备和存储介质制造方法及图纸_技高网

数据处理的方法、装置、电子设备和存储介质制造方法及图纸

技术编号:41589143 阅读:3 留言:0更新日期:2024-06-07 00:02
本发明专利技术公开了数据处理的方法、装置、电子设备和存储介质,涉及计算机技术领域。该方法的一具体实施方式包括:接收数据查询请求,获取查询请求中查询条件,以确定与查询条件相匹配的宽表;响应于宽表属于第一类型,获取与宽表关联的单表集合,以读取查询条件对应的返回数据;响应于宽表属于第二类型,识别宽表中的非主维度字段,获取与非主维度字段关联的单表集合,以从宽表和单表集合所包括数据表中读取查询条件对应的返回数据;将返回数据组合,以确定为查询结果并发送。该实施方式能够解决在一个数据单表用于生成多个宽表时,会导致数据冗余存储,浪费大量的存储空间的问题。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其涉及一种数据处理的方法、装置、电子设备和存储介质


技术介绍

1、在报表等数据查询的场景中,由于很多数据往往会存储至不同的数据单表中,所以需要多表关联查询,但是随着存储数据量加大,为了提高数据查询的性能,通常会将几个数据单表加工成一个宽表以用于数据查询。现有技术中,通常是将几个数据单表中所有列的数据都存储至一张表中,得出此几个数据单表对应的宽表,如此在一个数据单表用于生成多个宽表时,将会导致数据冗余存储,浪费大量的存储空间。


技术实现思路

1、有鉴于此,本专利技术实施例提供一种数据处理的方法、装置、电子设备和存储介质,能够解决在一个数据单表用于生成多个宽表时,会导致数据冗余存储,浪费大量的存储空间的问题。

2、为实现上述目的,根据本专利技术实施例的一个方面,提供了一种数据处理的方法。

3、本专利技术实施例的一种数据处理的方法包括:接收数据查询请求,获取所述查询请求中的查询条件,以确定与所述查询条件相匹配的宽表;响应于所述宽表属于第一类型,获取与所述宽表关联的单表集合,以读取所述查询条件对应的返回数据;响应于所述宽表属于第二类型,识别所述宽表中的非主维度字段,获取与所述非主维度字段关联的单表集合,以从所述宽表和所述单表集合所包括数据表中读取所述查询条件对应的返回数据;将所述返回数据组合,以确定为查询结果并发送。

4、在一个实施例中,确定与所述查询条件相匹配的宽表,包括:

5、从所述查询条件中提取查询接口标识,基于预设的映射关系查询与所述查询接口标识相匹配的宽表标识,以确定与所述查询条件相匹配的宽表。

6、在又一个实施例中,获取与所述宽表关联的单表集合,以读取所述查询条件对应的返回数据,包括:

7、获取包括所述第一查询字段的单表和包括所述第二查询字段的单表,以得到与所述宽表关联的单表集合;

8、从包括所述第一查询字段的单表中读取所述第一查询字段对应的返回数据,以及从包括所述第二查询字段的单表中读取所述第二查询字段对应的返回数据。

9、在又一个实施例中,从所述宽表和所述单表集合所包括数据表中读取所述查询条件对应的返回数据,包括:

10、从所述宽表中读取所述第一查询字段对应的返回数据;

11、从单表集合中选取包括所述第二查询字段的单表,以读取所述第二查询字段对应的返回数据。

12、在又一个实施例中,读取所述查询条件对应的返回数据,包括:

13、基于预设的关联关系,查询所述查询请求关联的返回字段,以确定所述第一查询字段对应的返回字段和和所述第二查询字段对应的返回字段;

14、基于所述第一查询字段对应的返回字段和和所述第二查询字段对应的返回字段,读取所述查询条件对应的返回数据。

15、在又一个实施例中,在所述接收数据查询请求之前,还包括:

16、接收宽表生成指令,所述生成指令包括对应的目标查询字段;

17、响应于所述目标查询字段对应不同单表,基于所述目标查询字段获取对应的单表,读取所述目标查询字段的字段值,以生成与所述目标查询字段匹配的宽表。

18、为实现上述目的,根据本专利技术实施例的另一方面,提供了一种数据处理的装置。

19、本专利技术实施例的一种数据处理的装置包括:接收单元,用于接收数据查询请求,获取所述查询请求中查询条件,以确定与所述查询条件相匹配的宽表;读取单元,用于响应于所述宽表属于第一类型,获取与所述宽表关联的单表集合,以读取所述查询条件对应的返回数据;所述读取单元,还用于响应于所述宽表属于第二类型,识别所述宽表中的非主维度字段,获取与所述非主维度字段关联的单表集合,以从所述宽表和所述单表集合所包括数据表中读取所述查询条件对应的返回数据;发送单元,用于将所述返回数据组合,以确定为查询结果并发送。

20、在一个实施例中,所述接收单元,具体用于:

21、从所述查询条件中提取查询接口标识,基于预设的映射关系查询与所述查询接口标识相匹配的宽表标识,以确定与所述查询条件相匹配的宽表。

22、在又一个实施例中,所述读取单元,具体用于:

23、识别所述宽表中的查询字段,获取包括所述查询字段的单表,以得到与所述宽表关联的单表集合;

24、基于所述查询字段,从所述单表集合中各单表读取对应的返回数据。

25、在又一个实施例中,所述读取单元,具体用于:

26、识别所述宽表中的主维度字段,以从所述宽表中读取所述主维度字段对应的返回数据;

27、从单表集合中选取包括所述非主维度字段的单表,以读取所述非主维度字段对应的返回数据。

28、在又一个实施例中,所述读取单元,具体用于:

29、基于预设的关联关系,查询所述查询条件关联的返回字段;

30、识别所述宽表中的主维度字段和非主维度字段,确定所述主维度字段对应的返回字段和和所述非主维度字段对应的返回字段,以读取所述查询条件对应的返回数据。

31、在又一个实施例中,所述接收单元,还用于接收宽表生成指令,所述生成指令包括对应的目标查询字段;

32、所述装置还包括:

33、生成单元,用于响应于所述目标查询字段对应不同单表,基于所述目标查询字段获取对应的单表,读取所述目标查询字段的字段值,以生成与所述目标查询字段匹配的宽表。

34、为实现上述目的,根据本专利技术实施例的再一个方面,提供了一种电子设备。

35、本专利技术实施例的一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本专利技术实施例提供的数据处理的方法。

36、为实现上述目的,根据本专利技术实施例的又一个方面,提供了一种计算机可读介质。

37、本专利技术实施例的一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本专利技术实施例提供的数据处理的方法。

38、为实现上述目的,根据本专利技术实施例的又一个方面,提供了一种计算机程序产品。

39、本专利技术实施例的一种计算机程序产品,包括计算机程序,所述程序被处理器执行时实现本专利技术实施例提供的数据处理的方法。

40、上述专利技术中的一个实施例具有如下优点或有益效果:本专利技术实施例中,一方面可以为各查询条件的生成的宽表,此时宽表中只会包括查询条件对应的字段而不会包括单表中除查询条件外其他字段的数据;另一方面可以将一个单表作为主维度,与其他单表中查询条件结合生成宽表,此时宽表中也只包括主维度单表中全部字段的数据而不会包括所有单表中字段的数据;如此在接收数据查询请求后,可以查询与查询条件相匹配的宽表;如果宽表只包括查询条件,即宽表类型属于第一类型,则可以获取其关联的单表来读取返回数据;如果宽表包括主维度单表,即宽表类型属于第二类型,则可以获取非主维度字段关联的单表本文档来自技高网...

【技术保护点】

1.一种数据处理的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,确定与所述查询条件相匹配的宽表,包括:

3.根据权利要求1所述的方法,其特征在于,获取与所述宽表关联的单表集合,以读取所述查询条件对应的返回数据,包括:

4.根据权利要求1所述的方法,其特征在于,从所述宽表和所述单表集合所包括数据表中读取所述查询条件对应的返回数据,包括:

5.根据权利要求1所述的方法,其特征在于,读取所述查询条件对应的返回数据,包括:

6.根据权利要求1所述的方法,其特征在于,在所述接收数据查询请求之前,还包括:

7.一种数据处理的装置,其特征在于,包括:

8.根据权利要求7所述的装置,其特征在于,所述确定单元,具体用于:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。

【技术特征摘要】

1.一种数据处理的方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,确定与所述查询条件相匹配的宽表,包括:

3.根据权利要求1所述的方法,其特征在于,获取与所述宽表关联的单表集合,以读取所述查询条件对应的返回数据,包括:

4.根据权利要求1所述的方法,其特征在于,从所述宽表和所述单表集合所包括数据表中读取所述查询条件对应的返回数据,包括:

5.根据权利要求1所述的方法,其特征在于,...

【专利技术属性】
技术研发人员:董宇亮
申请(专利权)人:北京京东振世信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1