一种数据指标统计方法及装置制造方法及图纸

本申请实施例公开了一种数据指标统计方法及装置。所述方法包括：获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型；根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中，其中，所述计算模块可用于与所述计算类型相同的多个数据指标的统计。利用本申请实施例，不仅可以节省计算引擎的利用资源，还可以提高在计算引擎中增加新数据指标的灵活性，降低在计算引擎中增加新数据指标的复杂度。

A statistical method and device for data index

The application embodiment discloses a data index statistical method and a device. The method comprises: obtaining user data, data index and using the calculation of user data types required the data index calculation; according to the calculation of the data type will be allocated to the user and the calculation module matches the type in which the statistical calculation module can be used with the the calculation of multiple index data of the same type. By using the application example, not only can we save the resources of computing engine, but also improve the flexibility of adding new data index in computing engine, and reduce the complexity of adding new data index in computing engine.

【技术实现步骤摘要】
一种数据指标统计方法及装置
本申请涉及数据处理
，特别涉及一种数据指标统计处理方法及装置。
技术介绍
近几年，随着大数据处理技术的快速发展，在很多业务场景下需要对大量用户数据进行实时分析处理。在实时数据分析过程中，通常需要对某些数据指标进行实时统计。典型的业务场景如网络购物平台，在某些重要的购物促销活动日，通常需要对平台中的某些数据指标进行统计。从大方向来说，所述数据指标可以包括交易量、交易金额、广告页面访问次数；从小方向来说，其中，交易量指标又可以包括平台整体交易量、各个城市交易量、行业交易量、商户交易量、门店交易量等多个维度的交易量。为了满足大数据的实时处理需求，现有技术中出现多个如Storm、Spark、Samza等流式大数据处理框架以及基于上述框架所构建的流式大数据处理引擎，典型的如阿里巴巴的Galaxy计算引擎等。在利用上述流式大数据处理引擎进行数据指标计算时，可以划分多个计算模块分别统计所述数据指标，其中所述计算模块与所述数据指标具有一一对应的关系，即一个计算模块统计一个数据指标。在实际的业务场景中，需要统计的数据指标往往在不断地扩展，例如，已经统计了北京的交易量，发现还需要统计上海的交易量。针对上述情况，利用现有技术中的流式大数据处理引擎进行数据指标统计时，每增加一个数据指标就需要增加一个新的计算模块进行处理。但是，在大数据处理引擎中每增加一个计算模块，所述引擎的整体性能可能降低很多。并且，在流式大数据处理引擎中增加一个新的计算模块，需要编写代码后重新发布上线，开发周期长，任务稳定性较低。因此，现有技术中亟需一种能够在大数据处理引擎中快速、灵活地新增数据统计指标的方式。
技术实现思路
本申请实施例的目的在于提供一种数据指标统计方法及装置，不仅可以节省计算引擎的利用资源，还可以提高在计算引擎中增加新数据指标的灵活性，降低在计算引擎中增加新数据指标的复杂度。本申请实施例提供的一种数据指标统计方法及装置具体是这样实现的：一种数据指标统计方法，所述方法包括：获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型；根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中，其中，所述计算模块可用于与所述计算类型相同的多个数据指标的统计。一种数据指标统计装置，所述装置包括：数据获取单元，用于获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型；数据分配单元，用于根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中，其中，所述计算模块可用于与所述计算类型相同的多个数据指标的统计。一种数据处理装置，所述装置包括：至少一个计算模块，所述计算模块用于对具有相同数据计算类型的多个数据指标进行统计计算。一种数据指标统计装置，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现：获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型；根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中，其中，所述计算模块可用于与所述计算类型相同的多个数据指标的统计。本申请提供的数据指标统计方法及装置，可以将具有相同计算类型的多个数据指标分配至同一个计算模块中进行统计计算。这样，对于计算引擎来说，在针对海量数据实时统计计算的过程中，当需要增加新的数据指标时，可以在不需要增加新的计算模块的情况下，将统计新的数据指标所使用的用户数据划分至对应的计算模块中。利用同一个计算模块实时统计多个具有相同计算类型的数据指标，不仅可以节省计算引擎的利用资源，还可以提高在计算引擎中增加新数据指标的灵活性，降低在计算引擎中增加新数据指标的复杂度。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请提供的数据指标统计方法的一种实施例的方法流程图；图2是本申请提供的确定计算类型方法的一种实施例的方法流程图；图3是本申请提供的分配用户数据方法的一种实施例的方法流程图；图4是本申请提供的一种应用场景的示意图；图5是本申请提供的数据指标统计装置的一种实施例的模块结构示意图；图6是本申请提供的数据指标统计装置的另一种实施例的模块结构示意图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。为了方便本领域技术人员理解本申请实施例提供的技术方案，下面先对技术方案实现的技术环境进行说明。在对海量用户数据进行实时数据指标统计的过程中，往往需要利用高性能、低延迟的计算引擎对海量用户数据进行处理。计算引擎中往往具有多个计算模块，每个模块可以用于对单个数据指标进行统计计算。但是由于业务需求的多样性导致数据指标的多样性，往往需要在计算引擎中频繁地增加或者删除数据指标。已有的解决方式是在计算引擎中增加计算模块，即每增加一个数据指标，需要在计算引擎中增加一个计算模块。对于这样的解决方式，一方面，往往会增加计算引擎的处理负担，大大降低处理效率。另一方面，当需要在已经投入使用的计算引擎中增加计算模块时，往往需要对原有的计算任务进行修改之后，再重新上线。这种方式不仅处理效率较低，甚至降低整个计算引擎的稳定性。基于类似于上文所述的实际技术需求，本申请提供的数据指标统计方式，可以利用少量的固定数量的计算模块对多个数据指标进行统计，大大增加计算引擎的处理效率。另外，在计算引擎增加新的数据指标时，不需要对原有的计算任务进行修改，增强计算引擎的稳定性。下面结合附图对本申请所述的数据指标统计方法进行详细的说明。图1是本申请提供的数据指标统计方法的一种实施例的方法流程示意图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际中的数据指标统计过程中，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的本申请提供的一种数据指标统计方法的一种实施例如图1所示，所述方法可以包括：S101：获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型。本实施例中，所述用户数据可以包括用户在平台上进行操作而被记录的数据，如用户在网络购物平台上的访问日志、交易记录、收藏记录等数据。在一个实施例中，所述用户数据可以包括实时的用户数据，即对实时的用户数据进行数据指标的统计。在其他实施例中，所述用户数据还可以包括历史用户数据，即还可以对历史用户数据进行数据指标的统计，对此，本申请在此不做限制。所述数据指标可以包括需要进行统计的数据参数，例如对于本文档来自技高网...

【技术保护点】
一种数据指标统计方法，所述方法包括：获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型；根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中，其中，所述计算模块可用于与所述计算类型相同的多个数据指标的统计。

【技术特征摘要】
1.一种数据指标统计方法，所述方法包括：获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型；根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中，其中，所述计算模块可用于与所述计算类型相同的多个数据指标的统计。2.根据权利要求1所述的方法，所述根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中包括：将所述数据指标和所述计算类型转换成预设格式的配置信息；将所述用户数据和所述配置信息发送至计算引擎中，所述计算引擎中包括多个计算模块；所述计算引擎被设置为执行下述步骤：根据所述配置信息中的计算类型，将所述用户数据分配至与所述计算类型相匹配的计算模块。3.根据权利要求2所述的方法，所述配置信息中还包括利用所述用户数据计算所述数据指标时所需的统计时间间隔信息。4.根据权利要求1所述的方法，所述获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型包括：获取用户数据以及需要根据所述用户数据统计的数据指标；根据所述数据指标确定计算方式，并根据所述计算方式确定所述数据指标的计算类型。5.一种数据指标统计装置，所述装置包括：数据获取单元，用于获取用户数据、数据指标以及利用所述用户数据计算所述数据指标时所需的计算类型；数据分配单元，用于根据所述计算类型将所述用户数据分配至与所述计算类型相匹配的计算模块中，其中，所述计算模块可用于与所述计算类型相同的多个数据指标的统计。6.根据权利要求5所述的装置，所述数据分...

【专利技术属性】
技术研发人员：马文琪，程磊，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY