一种运算方法、装置、电子设备和可读存储介质制造方法及图纸

本发明专利技术涉及数据处理技术领域，具体涉及一种运算方法、装置、电子设备和可读存储介质。所述方法包括：获取源数据；将所述源数据依次加载在N个数据表中；其中N为大于1的正整数；在所述源数据加载过程中，对满足预设条件的第M个数据表执行目标聚集运算；其中M为小于等于N的正整数。本申请提供运算方案提高了对数据量较大的源数据的运算效率。

【技术实现步骤摘要】
一种运算方法、装置、电子设备和可读存储介质
本专利技术涉及数据处理
，具体涉及一种运算方法、装置、电子设备和可读存储介质。
技术介绍
在金融行业每交易日日终需要进行的入账、对账、统计报表数据进行批量处理后进行分析运算，但是目前的金融行业的业务批处理过程存在着处理数据量大、耗时长、自动化执行及周期性执行等特点。尤其是当系统需要对外部来源数据进行加载然后进行聚集运算处理时，这种批处理带来的问题就会更严重，因为目前的处理方式均是将外部来源数据加载到现有数据库中，等待数据加载完成后再对全部数据执行聚集运算，这样就导致需要等待所有数据都加载完成后才能对所有数据进行聚集运算，如果数据量较大的话，其加载和运行的时间都会比较长，业务批处理和分析运算的效率就很低。
技术实现思路
本申请的目的旨在至少能解决上述的技术缺陷之一。本申请所采用的技术方案如下：第一方面，本申请实施例公开了一种运算方法，所述方法包括：获取源数据；将所述源数据依次加载在N个数据表中；其中N为大于1的正整数；在所述源数据加载过程中，对满足预设条件的第M个数据表执行目标聚集运算；其中M为小于等于N的正整数。可选地，所述满足预设条件的第M个数据表包括：在所述第M个数据表中加载的数据量满足预设阈值；或，当M等于N时，所述源数据加载完毕。可选地，在获取源数据的同时，所述方法还包括：获取所述源数据的存储量；根据所述源数据的存储量，在数据库中创建N个数据表。可选地，在在所述第M个数据表中加载的数据量满足预设阈值或源数据加载完毕时，所述方法还包括：将所述第M个数据表标记为加载完成的数据表。可选地，所述目标聚集运算包括以下至少一种：求和、计数、求最大值、求最小值、求平均值。可选地，在对满足预设条件的第M个数据表执行目标聚集运算之后，所述方法还包括：将第M个数据表执行目标聚集运算的结果存储于中间表中。进一步地，所述方法还包括：在将对第N个数据表执行目标聚集运算的结果存储于所述中间表后，对所述中间表执行统一的目标聚集运算。第二方面，本申请实施例提供了一种运算装置，所述装置包括：接口模块、创建模块、加载模块、存储模块和运算模块，其中，所述接口模块，用于获取源数据；所述创建模块，用于在数据库中创建N个数据表；所述加载模块，用于将所述源数据依次加载在N个数据表中；其中N为大于1的正整数；所述存储模块，用于对所述第M个数据库进行判断的预设条件；所述运算模块，用于在所述源数据加载过程中，对满足预设条件的第M个数据表执行目标聚集运算；其中M为小于等于N的正整数。第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器；所述存储器，用于存储操作指令；所述处理器，用于通过调用所述操作指令，执行上述任一实施例中所述的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法。本申请实施例提供运算方案通过对源数据进行分片(数据表)加载，并在分片加载过程中对已经加载好的分片数据表执行运算，即采用加载与运算同步的方案，通过最后的汇总运算保证数据运算逻辑的一致性。其有益效果至少包括提高了对数据量较大的源数据的运算效率。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。图1为本申请实施例提供的一种运算方法的流程示意图；图2为本申请实施例提供的一种运算装置的示意图；图3为本申请实施例提供的一种电子设备的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本专利技术的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式，其中的“第一”“第二”等只是为了介绍清楚方案而进行的对象区分定义，并不对对象本身进行限制，当然“第一”和“第二”限定的对象可能是同一个终端、设备和用户等，也可能是同一种终端、设备和用户。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。此外应理解，本申请实施例中“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a、b、c可以是单个，也可以是多个。为了更清楚地介绍本申请的技术方案，以下介绍一些下述实施例可能涉及到的概念、术语或装置，以帮助理解本申请公开的运算方案：数据的批处理是指系统定期自动地对大批量数据进行业务处理及分析的计算过程。数据的聚集运算主要是指SQL语言中的分组聚集函数。该分组聚集函数主要包含sum(求和),count(计数),max(最大值),min(最小值),avg(平均值)，这些函数配合分组依据使用可以计算每个分组的相应的值。为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。图1示出了本申请实施例提供的一种运算的流程示意图，如图1所示，该方法主要可以包括：S101、获取源数据；S102、将所述源数据依次加载在N个数据表中；其中N为大于1的正整数；在本申请可选实施例中，在获取源数据的同时，所述方法还包括：获取所述源数据的存储量，即源数据文件的大小，根据所述源数据的存储量，在数据库中创建N个(分片)数据表。例如源数据1本文档来自技高网...

【技术保护点】
1.一种运算方法，其特征在于，所述方法包括：/n获取源数据；/n将所述源数据依次加载在N个数据表中；其中N为大于1的正整数；/n在所述源数据加载过程中，对满足预设条件的第M个数据表执行目标聚集运算；其中M为小于等于N的正整数。/n

【技术特征摘要】
1.一种运算方法，其特征在于，所述方法包括：
获取源数据；
将所述源数据依次加载在N个数据表中；其中N为大于1的正整数；
在所述源数据加载过程中，对满足预设条件的第M个数据表执行目标聚集运算；其中M为小于等于N的正整数。


2.根据权利要求1所述的运算方法，其特征在于，所述满足预设条件的第M个数据表包括：
在所述第M个数据表中加载的数据量满足预设阈值；或，
当M等于N时，所述源数据加载完毕。


3.根据权利要求2所述的运算方法，其特征在于，在获取源数据的同时，所述方法还包括：
获取所述源数据的存储量；
根据所述源数据的存储量，在数据库中创建N个数据表。


4.根据权利要求3所述的运算方法，其特征在于，在所述第M个数据表中加载的数据量满足预设阈值或源数据加载完毕时，所述方法还包括：
将所述第M个数据表标记为加载完成的数据表。


5.根据权利要求1或4所述的运算方法，其特征在于，所述目标聚集运算包括以下至少一种：
求和、计数、求最大值、求最小值、求平均值。


6.根据权利要求5所述的运算方法，其特征在于，在对满足预设条件的第M个数据表执行目标聚集运算之...

【专利技术属性】
技术研发人员：齐亮，孙炎森，徐晓剑，滕其武，郑朋，李扬，沈全增，李兴，
申请(专利权)人：中信银行股份有限公司，
类型：发明
国别省市：北京;11