一种指标数据统计方法和装置制造方法及图纸

本发明专利技术实施例提供了一种指标数据统计方法和装置，可用于大数据技术领域，所述方法包括：通过大数据加工服务框架，按照统计指标对数据湖中的指标数据进行分类统计，生成多个指标临时表；将多个指标临时表进行汇总，得到总体指标数据表，可以简化统计过程，加快执行速度，从而提高统计效率。从而提高统计效率。从而提高统计效率。

【技术实现步骤摘要】
一种指标数据统计方法和装置


[0001]本专利技术涉及计算机
，特别涉及大数据
，尤其涉及一种指标数据统计方法和装置。

技术介绍

[0002]随着科技发达，手机等终端中需要处理的数据量巨大，且终端中的应用多种多样，用户查询数据时无法直观得到统计结果。相关技术中，在源表为大数据量的基础下，传统加工方式为通过调用查询语句在每个应用中进行查询统计，以得到统计结果，这种统计方式较为复杂，且执行速度较慢，从而导致统计效率低下。

技术实现思路

[0003]本专利技术的一个目的在于提供一种指标数据统计方法，可以简化统计过程，加快执行速度，从而提高统计效率。本专利技术的另一个目的在于提供一种指标数据统计装置。本专利技术的再一个目的在于提供一种计算机可读介质。本专利技术的还一个目的在于提供一种计算机设备。
[0004]为了达到以上目的，本专利技术一方面公开了一种指标数据统计方法，包括：
[0005]通过大数据加工服务框架，按照统计指标对数据湖中的指标数据进行分类统计，生成多个指标临时表；
[0006]将多个指标临时表进行汇总，得到总体指标数据表。
[0007]优选的，在通过大数据加工服务框架，按照统计指标对数据湖中的指标数据进行分类统计，生成多个指标临时表之前，还包括：
[0008]获取统计指标对应的多张应用源表，应用源表包括统计指标和对应的指标数据；
[0009]将应用源表加载至数据湖。
[0010]优选的，大数据加工服务框架包括计算调度平台；/>[0011]通过大数据加工服务框架，按照统计指标对数据湖中的指标数据进行分类统计，生成多个指标临时表，包括：
[0012]通过计算调度平台，调用指定语言脚本按照统计指标对数据湖中的指标数据进行分类统计，生成多个指标临时表。
[0013]优选的，通过计算调度平台，调用指定语言脚本按照统计指标对数据湖中的指标数据进行分类统计，生成多个指标临时表，包括：
[0014]按照设置的指标类型，对指标数据的频次进行统计，得到频次统计值；
[0015]按照设置的指标类型，对指标数据的总金额进行统计，得到总金额统计值；
[0016]根据频次统计值和总金额统计值，得到统计指标对应的指标临时表。
[0017]优选的，在将多个指标临时表进行汇总，得到总体指标数据表之后，还包括：
[0018]将总体指标数据表发送至在线读写服务平台，以供联机方通过在线读写服务平台对总体指标数据表进行数据处理。
[0019]本专利技术还公开了一种指标数据统计装置，包括：
[0020]统计单元，用于通过大数据加工服务框架，按照统计指标对数据湖中的指标数据进行分类统计，生成多个指标临时表；
[0021]汇总单元，用于将多个指标临时表进行汇总，得到总体指标数据表。
[0022]优选的，装置还包括：
[0023]获取单元，用于获取统计指标对应的多张应用源表，应用源表包括统计指标和对应的指标数据；
[0024]加载单元，用于将应用源表加载至数据湖。
[0025]优选的，大数据加工服务框架包括计算调度平台；
[0026]统计单元，具体用于通过计算调度平台，调用指定语言脚本按照统计指标对数据湖中的指标数据进行分类统计，生成多个指标临时表。
[0027]本专利技术还公开了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法。
[0028]本专利技术还公开了一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述处理器执行所述程序时实现如上所述方法。
[0029]本专利技术通过大数据加工服务框架，按照统计指标对数据湖中的指标数据进行分类统计，生成多个指标临时表；将多个指标临时表进行汇总，得到总体指标数据表，可以简化统计过程，加快执行速度，从而提高统计效率。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1为本专利技术实施例提供的一种指标数据统计方法的流程图；
[0032]图2为本专利技术实施例提供的又一种指标数据统计方法的流程图；
[0033]图3为本专利技术实施例提供的一种指标数据统计装置的结构示意图；
[0034]图4为本专利技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]需要说明的是，本申请公开的一种指标数据统计方法和装置可用于大数据
，也可用于除大数据
之外的任意领域，本申请公开的一种指标数据统计方法和装置的应用领域不做限定。
[0037]为了便于理解本申请提供的技术方案，下面先对本申请技术方案的相关内容进行
说明。海杜普(Hadoop)框架属于大数据加工服务框架，是一种分布式系统基础架构，Hadoop框架能够提供海量结构化数据的存储以及通用加工服务，包括：批量加工、数据挖掘和夺标关联异步查询等服务。Hadoop框架依赖于数据湖中存储的贴源数据，通过批量计算服务的Hive引擎进行批量数据处理，Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hadoop大数据计算具备数据统一存储、大集群、高性能、海量存储并行计算和数据共享的特点与优势。本专利技术实施例采用Hadoop框架作为大数据加工服务框架进行海量的指标数据场景下的数据统计。
[0038]下面以指标数据统计装置作为执行主体为例，说明本专利技术实施例提供的指标数据统计方法的实现过程。可理解的是，本专利技术实施例提供的指标数据统计方法的执行主体包括但不限于指标数据统计装置。
[0039]图1为本专利技术实施例提供的一种指标数据统计方法的流程图，如图1所示，该方法包括：
[0040]步骤101、通过大数据加工服务框架，按照统计指标对数据湖中的指标数据进行分类统计，生成多个指标临时表。
[0041]步骤102、将多个指标临时表进行汇总，得到总体指标数据表。
[0042]本专利技术实施例提供的技术方案中，通过大数据加工服务框架，按照统计指标对数据湖中的指标数据进行分类统计，生成多个指标临时表；将多个指标临时表进行汇总，得到总体指标数据表，可以简化统计过程，加快执行速度，从而提高统计效率。
[0043]图2为本专利技术实施例提供的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种指标数据统计方法，其特征在于，所述方法包括：通过大数据加工服务框架，按照统计指标对数据湖中的指标数据进行分类统计，生成多个指标临时表；将所述多个指标临时表进行汇总，得到总体指标数据表。2.根据权利要求1所述的指标数据统计方法，其特征在于，在所述通过大数据加工服务框架，按照统计指标对数据湖中的指标数据进行分类统计，生成多个指标临时表之前，还包括：获取所述统计指标对应的多张应用源表，所述应用源表包括统计指标和对应的指标数据；将所述应用源表加载至数据湖。3.根据权利要求1所述的指标数据统计方法，其特征在于，所述大数据加工服务框架包括计算调度平台；所述通过大数据加工服务框架，按照统计指标对数据湖中的指标数据进行分类统计，生成多个指标临时表，包括：通过所述计算调度平台，调用指定语言脚本按照统计指标对数据湖中的指标数据进行分类统计，生成多个指标临时表。4.根据权利要求3所述的指标数据统计方法，其特征在于，所述通过所述计算调度平台，调用指定语言脚本按照统计指标对数据湖中的指标数据进行分类统计，生成多个指标临时表，包括：按照设置的指标类型，对所述指标数据的频次进行统计，得到频次统计值；按照设置的指标类型，对所述指标数据的总金额进行统计，得到总金额统计值；根据所述频次统计值和总金额统计值，得到所述统计指标对应的指标临时表。5.根据权利要求1所述的指标数据统计方法，其特征在于，...

【专利技术属性】
技术研发人员：连城，顾亮，奚翔，孙珊珊，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：