System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据分析和处理,特别是涉及一种基于excel的分布式计算方法、装置、设备以及介质。
技术介绍
1、当前,在数据分析和业务处理领域,excel以其直观易用的表格计算能力被广泛应用,但在应对复杂和大规模的数据运算需求时,传统的excel存在一些局限。尤其是在处理多源异构数据和分布式计算方面,excel原生功能难以支持大规模数据的高效计算及实时处理。
技术实现思路
1、本申请的目的是:提供一种基于excel的分布式计算方法、装置、设备以及介质,以解决相关技术中,excel难以对大规模数据进行实时高效计算的问题。
2、为了实现上述目的,本申请提供以下技术方案:
3、第一方面,本申请提供的一种基于excel的分布式计算方法,包括:
4、获取待查询的数据源;
5、获取用户输入的查询信息,并对所述查询信息进行解析,得到查询信息对应的依赖业务表的信息;
6、生成读取策略,并从所述数据源读取所述依赖业务表的数据;
7、对所述依赖业务表的数据进行分布式计算,获得所述依赖业务表的数据中用户查询的数据信息。
8、进一步地,所述获取待查询的数据源,包括:
9、将所述数据源或者是数据源链接导入excel中,进而获得待查询的数据源。
10、进一步地,所述方法还包括:将所述用户查询的数据信息进行保存并展现给所述用户。
11、进一步地,所述生成读取策略,并从所述数据源读取所述依赖业务表的
12、进一步地,所述数据源的类型,包括:关系型数据或者非关系型数据。
13、进一步地,所述对所述依赖业务表的数据进行分布式计算,获得所述依赖业务表的数据中用户查询的数据信息,包括:
14、将所述依赖业务表的数据拆分成多个计算任务,并对每个计算任务采用的不同的计算节点进行并行计算,获得所述依赖业务表的数据中用户查询的数据信息。
15、第二方面,本申请还提供一种基于excel的分布式计算系统,包括:
16、获取模块,用于获取待查询的数据源;
17、解析模块,用于获取用户输入的查询信息,并对所述查询信息进行解析,得到查询信息对应的依赖业务表名称;
18、读取模块,用于生成读取策略,并从所述数据源读取所述依赖业务表的数据;
19、分布式计算模块,用于对所述依赖业务表的数据进行分布式计算,获得所述依赖业务表的数据中用户查询的数据信息。
20、进一步地,所述读取模块,具体用于:
21、根据所述数据源的类型、索引信息以及数据量的大小,生成读取策略;
22、根据所述读取策略,从所述数据源读取所述依赖业务表的数据。
23、第三方面,本申请还提供一种计算机电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述中任一项所述的基于excel的分布式计算方法的步骤。
24、第四方面,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述中任一项所述的基于excel的分布式计算方法的步骤。
25、本申请提供的一种基于excel的分布式计算方法、装置、设备以及介质,方法通过获取待查询的数据源;获取用户输入的查询信息,并对所述查询信息进行解析,得到查询信息对应的依赖业务表的信息;生成读取策略,并从所述数据源读取所述依赖业务表的数据;对所述依赖业务表的数据进行分布式计算,获得所述依赖业务表的数据中用户查询的数据信息。相对于相关技术而言,本申请在excel的基础上,集成分布式计算和多种异构数据读取器,使得excel在能够直接多种异构数据的同时,还能提升excel的计算能力,实时处理速度更快。
本文档来自技高网...【技术保护点】
1.一种基于Excel的分布式计算方法,其特征在于,包括:
2.根据权利要求1所述的基于Excel的分布式计算方法,其特征在于,所述获取待查询的数据源,包括:
3.根据权利要求1所述的基于Excel的分布式计算方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的基于Excel的分布式计算方法,其特征在于,所述生成读取策略,并从所述数据源读取所述依赖业务表的数据,包括:
5.根据权利要求4所述的基于Excel的分布式计算方法,其特征在于,所述数据源的类型,包括:关系型数据或者非关系型数据。
6.根据权利要求1所述的基于Excel的分布式计算方法,其特征在于,所述对所述依赖业务表的数据进行分布式计算,获得所述依赖业务表的数据中用户查询的数据信息,包括:
7.一种基于Excel的分布式计算系统,其特征在于,包括:
8.根据权利要求7所述的分布式计算系统,其特征在于,所述读取模块,具体用于:
9.一种计算机电子设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的基于Excel的分布式计算方法的步骤。
...【技术特征摘要】
1.一种基于excel的分布式计算方法,其特征在于,包括:
2.根据权利要求1所述的基于excel的分布式计算方法,其特征在于,所述获取待查询的数据源,包括:
3.根据权利要求1所述的基于excel的分布式计算方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的基于excel的分布式计算方法,其特征在于,所述生成读取策略,并从所述数据源读取所述依赖业务表的数据,包括:
5.根据权利要求4所述的基于excel的分布式计算方法,其特征在于,所述数据源的类型,包括:关系型数据或者非关系型数据。
6.根据权利要求1所述的基于excel的分布式计算方法,其特征在于,所述对所述...
【专利技术属性】
技术研发人员:黎展,陈开冉,马灿杰,林国来,
申请(专利权)人:广东汉数科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。