数据分析方法、计算设备及存储介质技术

本发明专利技术公开了一种数据分析方法、计算设备及存储介质，其中，数据分析方法包括：从多个数据分组维度中选择目标分组维度；从源数据表中提取源数据，并按照目标分组维度对源数据进行离线计算，得到目标分组维度对应的离线计算结果；其中，源数据表中的源数据是通过对业务服务端产生的日志数据按照多个数据分组维度进行数据上卷而得到的实时数据；响应于包含有目标分组维度的数据分析查询请求，对目标分组维度对应的离线计算结果进行融合，得到数据查询结果。该方案利用离线计算机制得到目标分组维度对应的离线计算结果，通过融合目标分组维度对应的离线计算结果，提高了数据查询效率，降低了数据分析的资源消耗量。低了数据分析的资源消耗量。低了数据分析的资源消耗量。

【技术实现步骤摘要】
数据分析方法、计算设备及存储介质


[0001]本专利技术涉及数据分析
，具体涉及一种数据分析方法、计算设备及存储介质。

技术介绍

[0002]随着互联网技术的发展，业务量逐渐增多，也进一步导致业务所产生数据量也急速增大。因此，对于数据的分析处理也就提出了更高的要求，在得到有效信息的同时，还要满足数据处理的时效性要求，从而使得实时数据分析技术也相应地越来越受到重视，开发了例如Clickhouse、StarRocks等实时数据分析工具。通过实时数据分析工具能够实时地对海量数据作出一些分析和处理，并反馈相应的实时指标。然而，在利用现有的实时数据分析工具对高维度、大基数的数据进行分析和处理时，会出现内存使用过高、数据查询效率慢等问题。

技术实现思路

[0003]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的数据分析方法、计算设备及存储介质。
[0004]根据本专利技术的一个方面，提供了一种数据分析方法，包括：
[0005]从多个数据分组维度中选择目标分组维度；
[0006]从源数据表中提取源数据，并按照目标分组维度对源数据进行离线计算，得到目标分组维度对应的离线计算结果；其中，源数据表中的源数据是通过对业务服务端产生的日志数据按照多个数据分组维度进行数据上卷而得到的实时数据；
[0007]响应于包含有目标分组维度的数据分析查询请求，对目标分组维度对应的离线计算结果进行融合，得到数据查询结果。
[0008]根据本专利技术的另一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
[0009]存储器用于存放至少一可执行指令，可执行指令使处理器执行以下操作：
[0010]从多个数据分组维度中选择目标分组维度；
[0011]从源数据表中提取源数据，并按照目标分组维度对源数据进行离线计算，得到目标分组维度对应的离线计算结果；其中，源数据表中的源数据是通过对业务服务端产生的日志数据按照多个数据分组维度进行数据上卷而得到的实时数据；
[0012]响应于包含有目标分组维度的数据分析查询请求，对目标分组维度对应的离线计算结果进行融合，得到数据查询结果。
[0013]根据本专利技术实施例的又一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述数据分析方法对应的操作。
[0014]根据本专利技术提供的技术方案，从多个数据分组维度中选择目标分组维度，针对目标分组维度设计了相应的离线计算机制，利用离线计算机制，按照目标分组维度对源数据
表中的源数据进行离线计算得到目标分组维度对应的离线计算结果，通过融合目标分组维度对应的离线计算结果，能够快速地得到数据查询结果，提高了数据查询效率，有效地减少了数据实时计算的处理量，降低了数据分析的资源消耗量，能够在较少的资源配置下实现快速的高维度、大基数的数据分析。
[0015]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0016]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0017]图1示出了根据本专利技术实施例一的一种数据分析方法的流程示意图；
[0018]图2a示出了根据本专利技术实施例二的一种数据分析方法的流程示意图；
[0019]图2b示出了一种数据分析方法的流程框架示意图；
[0020]图3示出了根据本专利技术实施例四的一种计算设备的结构示意图。
具体实施方式
[0021]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0022]实施例一
[0023]图1示出了根据本专利技术实施例一的一种数据分析方法的流程示意图，如图1所示，该方法包括如下步骤：
[0024]步骤S101，从多个数据分组维度中选择目标分组维度。
[0025]该方法用于对业务服务端所产生的日志数据进行分析，在分析过程中可以采用实时分析与离线分析相结合的方式对日志数据进行分析。其中，离线分析是针对指定的目标分组维度进行的。具体地，可根据数据查询端日常的数据分析查询需求，从数据分析所涉及的多个数据分组维度中选择常用的一个或多个数据分组维度作为目标分组维度，例如，可选择涉及“高维度+大基数字段分组”的数据分组维度作为目标分组维度。其中，高维度具体是指单个数据分组维度包含很多子维度，例如包含城市、展示资源、展示资源的来源渠道、客户端版本号、展示资源对应的展示位等子维度，展示资源具体可包括广告素材等；大基数具体是指在单个子维度下包含有多个项值或字段，如在城市子维度下可包含有663个具体的城市。本领域技术人员可根据实际的业务需求选择目标分组维度，此处不做限定。
[0026]步骤S102，从源数据表中提取源数据，并按照目标分组维度对源数据进行离线计算，得到目标分组维度对应的离线计算结果。
[0027]其中，源数据表中的源数据是通过对业务服务端产生的日志数据按照多个数据分组维度进行数据上卷而得到的实时数据。具体地，可利用现有的实时数据分析工具(例如
Clickhouse、StarRocks等)对业务服务端产生的日志数据按照多个数据分组维度自动地进行数据上卷，从而得到源数据表。例如，源数据表具体可为Clickhouse工具通过实时分析所得到的物化视图存储表。
[0028]在选择了进行离线分析的目标分组维度之后，可获取实时数据分析工具所得到的源数据表，从源数据表中提取相关的源数据，并按照目标分组维度对源数据进行离线计算，从而得到目标分组维度对应的离线计算结果。
[0029]步骤S103，响应于包含有目标分组维度的数据分析查询请求，对目标分组维度对应的离线计算结果进行融合，得到数据查询结果。
[0030]当用户需要进行数据分析查询时，可通过数据查询端发送数据分析查询请求，其中，数据分析查询请求可包含有用户所查询的数据分组维度、数据分组维度中所包括的一个或多个子维度、数据查询时间范围信息、请求发送时间等信息。数据分析查询请求还可包括其他信息，此处不做限定。
[0031]在本实施例中，离线计算是指在接收到数据分析查询请求之前提前进行的数据分析处理，当接收到数据分析查询请求时，若该数据分析查询请求包含有目标分组维度，由于目标分组维度对应的离线计算结果已经提前计算出来了，那么即可利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分析方法，包括：从多个数据分组维度中选择目标分组维度；从源数据表中提取源数据，并按照所述目标分组维度对所述源数据进行离线计算，得到所述目标分组维度对应的离线计算结果；其中，所述源数据表中的源数据是通过对业务服务端产生的日志数据按照多个数据分组维度进行数据上卷而得到的实时数据；响应于包含有目标分组维度的数据分析查询请求，对所述目标分组维度对应的离线计算结果进行融合，得到数据查询结果。2.根据权利要求1所述的方法，所述从多个数据分组维度中选择目标分组维度，包括：收集各个数据分析查询需求信息，确定每个数据分析查询需求信息对应的数据分组维度；从各个数据分析查询需求信息对应的数据分组维度中选择至少一个数据分组维度作为目标分组维度。3.根据权利要求2所述的方法，所述从各个数据分析查询需求信息对应的数据分组维度中选择至少一个数据分组维度作为目标分组维度，包括：对各个数据分析查询需求信息对应的数据分组维度进行统计，得到多个数据分组维度的使用频次；按照从高到低的顺序对多个数据分组维度的使用频次进行排列，从排列结果中选择排列靠前的预设数量的数据分组维度作为目标分组维度。4.根据权利要求1
‑
3任一项所述的方法，在所述从源数据表中提取源数据之前，所述方法还包括：将业务服务端实时产生的日志数据发送至消息队列集群中，通过工作进程从消息队列集群中消费日志数据进行处理；对处理后的日志数据进行存储，并配置驱动规则信息；依据所述驱动规则信息，对处理后的日志数据按照多个数据分组维度进行数据上卷，得到对应的源数据，生成包含有所述源数据的源数据表。5.根据权利要求4所述的方法，所述对处理后的日志数据...

【专利技术属性】
技术研发人员：陈杰文，蔡东海，
申请(专利权)人：掌阅科技股份有限公司，
类型：发明
国别省市：