System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于Excel的分布式计算方法、系统、设备以及介质技术方案_技高网

基于Excel的分布式计算方法、系统、设备以及介质技术方案

技术编号:44917088 阅读:4 留言:0更新日期:2025-04-08 18:59
本申请公开一种基于Excel的分布式计算方法、装置、设备以及介质,方法通过获取待查询的数据源;获取用户输入的查询信息,并对所述查询信息进行解析,得到查询信息对应的依赖业务表的信息;生成读取策略,并从所述数据源读取所述依赖业务表的数据;对所述依赖业务表的数据进行分布式计算,获得所述依赖业务表的数据中用户查询的数据信息。相对于相关技术而言,本申请在excel的基础上,集成分布式计算和多种异构数据读取器,使得excel在能够直接多种异构数据的同时,还能提升excel的计算能力,实时处理速度更快。

【技术实现步骤摘要】

本申请涉及数据分析和处理,特别是涉及一种基于excel的分布式计算方法、装置、设备以及介质。


技术介绍

1、当前,在数据分析和业务处理领域,excel以其直观易用的表格计算能力被广泛应用,但在应对复杂和大规模的数据运算需求时,传统的excel存在一些局限。尤其是在处理多源异构数据和分布式计算方面,excel原生功能难以支持大规模数据的高效计算及实时处理。


技术实现思路

1、本申请的目的是:提供一种基于excel的分布式计算方法、装置、设备以及介质,以解决相关技术中,excel难以对大规模数据进行实时高效计算的问题。

2、为了实现上述目的,本申请提供以下技术方案:

3、第一方面,本申请提供的一种基于excel的分布式计算方法,包括:

4、获取待查询的数据源;

5、获取用户输入的查询信息,并对所述查询信息进行解析,得到查询信息对应的依赖业务表的信息;

6、生成读取策略,并从所述数据源读取所述依赖业务表的数据;

7、对所述依赖业务表的数据进行分布式计算,获得所述依赖业务表的数据中用户查询的数据信息。

8、进一步地,所述获取待查询的数据源,包括:

9、将所述数据源或者是数据源链接导入excel中,进而获得待查询的数据源。

10、进一步地,所述方法还包括:将所述用户查询的数据信息进行保存并展现给所述用户。

11、进一步地,所述生成读取策略,并从所述数据源读取所述依赖业务表的数据,包括:根据所述数据源的类型、索引信息以及数据量的大小,生成读取策略;根据所述读取策略,从所述数据源读取所述依赖业务表的数据。

12、进一步地,所述数据源的类型,包括:关系型数据或者非关系型数据。

13、进一步地,所述对所述依赖业务表的数据进行分布式计算,获得所述依赖业务表的数据中用户查询的数据信息,包括:

14、将所述依赖业务表的数据拆分成多个计算任务,并对每个计算任务采用的不同的计算节点进行并行计算,获得所述依赖业务表的数据中用户查询的数据信息。

15、第二方面,本申请还提供一种基于excel的分布式计算系统,包括:

16、获取模块,用于获取待查询的数据源;

17、解析模块,用于获取用户输入的查询信息,并对所述查询信息进行解析,得到查询信息对应的依赖业务表名称;

18、读取模块,用于生成读取策略,并从所述数据源读取所述依赖业务表的数据;

19、分布式计算模块,用于对所述依赖业务表的数据进行分布式计算,获得所述依赖业务表的数据中用户查询的数据信息。

20、进一步地,所述读取模块,具体用于:

21、根据所述数据源的类型、索引信息以及数据量的大小,生成读取策略;

22、根据所述读取策略,从所述数据源读取所述依赖业务表的数据。

23、第三方面,本申请还提供一种计算机电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述中任一项所述的基于excel的分布式计算方法的步骤。

24、第四方面,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述中任一项所述的基于excel的分布式计算方法的步骤。

25、本申请提供的一种基于excel的分布式计算方法、装置、设备以及介质,方法通过获取待查询的数据源;获取用户输入的查询信息,并对所述查询信息进行解析,得到查询信息对应的依赖业务表的信息;生成读取策略,并从所述数据源读取所述依赖业务表的数据;对所述依赖业务表的数据进行分布式计算,获得所述依赖业务表的数据中用户查询的数据信息。相对于相关技术而言,本申请在excel的基础上,集成分布式计算和多种异构数据读取器,使得excel在能够直接多种异构数据的同时,还能提升excel的计算能力,实时处理速度更快。

本文档来自技高网...

【技术保护点】

1.一种基于Excel的分布式计算方法,其特征在于,包括:

2.根据权利要求1所述的基于Excel的分布式计算方法,其特征在于,所述获取待查询的数据源,包括:

3.根据权利要求1所述的基于Excel的分布式计算方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的基于Excel的分布式计算方法,其特征在于,所述生成读取策略,并从所述数据源读取所述依赖业务表的数据,包括:

5.根据权利要求4所述的基于Excel的分布式计算方法,其特征在于,所述数据源的类型,包括:关系型数据或者非关系型数据。

6.根据权利要求1所述的基于Excel的分布式计算方法,其特征在于,所述对所述依赖业务表的数据进行分布式计算,获得所述依赖业务表的数据中用户查询的数据信息,包括:

7.一种基于Excel的分布式计算系统,其特征在于,包括:

8.根据权利要求7所述的分布式计算系统,其特征在于,所述读取模块,具体用于:

9.一种计算机电子设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述的基于Excel的分布式计算方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的基于Excel的分布式计算方法的步骤。

...

【技术特征摘要】

1.一种基于excel的分布式计算方法,其特征在于,包括:

2.根据权利要求1所述的基于excel的分布式计算方法,其特征在于,所述获取待查询的数据源,包括:

3.根据权利要求1所述的基于excel的分布式计算方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的基于excel的分布式计算方法,其特征在于,所述生成读取策略,并从所述数据源读取所述依赖业务表的数据,包括:

5.根据权利要求4所述的基于excel的分布式计算方法,其特征在于,所述数据源的类型,包括:关系型数据或者非关系型数据。

6.根据权利要求1所述的基于excel的分布式计算方法,其特征在于,所述对所述...

【专利技术属性】
技术研发人员:黎展陈开冉马灿杰林国来
申请(专利权)人:广东汉数科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1