数据查询方法、装置、设备、介质和产品制造方法及图纸

本申请涉及一种数据查询方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：首先服务器接收数据查询请求，然后根据数据查询请求获取预聚合数据，预聚合数据是对待消费数据进行局部聚合得到的，最后输出预聚合数据作为数据查询结果。本申请提供的方法通过将待消费数据进行局部聚合得到预聚合数据，并将预聚合数据作为查询结果输出，能够提高数据查询的时效性和准确性。据查询的时效性和准确性。据查询的时效性和准确性。

【技术实现步骤摘要】
数据查询方法、装置、设备、介质和产品


[0001]本申请涉及大数据数据处理
，特别是涉及一种数据查询方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着大数据时代的到来，对数据进行查询越来越重要，但是由于数据量爆炸式增长以及数据类型越来越丰富，对于数据查询方法的要求越来越高。
[0003]目前，最常用的数据查询方法是将用户行为采集系统获取到的数据通过MapReduce技术进行批量加工，然后利用分布式缓存或关系型数据库提供既有分析结果的展示。这种方法采用传统的MapReduce技术进行批量数据处理，降低了数据处理的时效性，在营销、手机银行运营等要求迭代迅速的业务场景上，难以保证分析结论产出的时效性和准确性。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高数据查询的时效性和准确性的数据查询方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种数据查询方法，所述方法包括：
[0006]接收数据查询请求；
[0007]根据所述数据查询请求获取预聚合数据，所述预聚合数据是对待消费数据进行局部聚合得到的；
[0008]输出所述预聚合数据作为数据查询结果。
[0009]在其中一个实施例中，所述接收数据查询请求之后，还包括：
[0010]对所述数据查询请求进行预处理，所述预处理包括对所述数据查询请求中的待查询字段进行物理字段映射、对所述数据查询请求对应的用户信息进行权限验证、屏蔽数据层差异和对所述数据查询请求进行查询优化中的至少一个；
[0011]所述根据所述数据查询请求获取预聚合数据，包括：
[0012]根据预处理后的所述数据查询请求获取预聚合数据。
[0013]在其中一个实施例中，所述数据查询请求携带有业务类型；所述对所述数据查询请求进行预处理之前，还包括：
[0014]根据所述业务类型确定对应的基础服务，所述业务类型包括事件分析、漏斗分析和用户分群中的至少一个，所述基础服务包括元数据访问服务、不同类型的任务执行以及查询引擎服务；
[0015]当所述基础服务为查询引擎服务时，继续执行对所述数据查询请求进行预处理的步骤。
[0016]在其中一个实施例中，所述接收数据查询请求之前，所述方法还包括：
[0017]检测消息队列中是否存在所述待消费数据；
[0018]当所述消息队列中存在待消费数据时，则读取所述待消费数据，并将所述待消费数据存储至目标数据库。
[0019]在其中一个实施例中，所述将所述待消费数据存储至目标数据库之前，还包括：
[0020]对所述待消费数据进行数据转换处理得到转换数据，其中，所述数据转换处理包括数据校验、数据加工、构建数据字典以及数据预处理中的至少一个；
[0021]对所述转换数据进行局部聚合得到预聚合数据；
[0022]将所述预聚合数据存储至目标数据库。
[0023]在其中一个实施例中，所述构建数据字典，包括：
[0024]从所述用户行为数据中采集枚举字段；
[0025]根据所述枚举字段构建数据字典。
[0026]第二方面，本申请提供了一种数据查询装置，所述装置包括：
[0027]接收模块，用于接收数据查询请求；
[0028]获取模块，用于根据所述数据查询请求获取预聚合数据，所述预聚合数据是对待消费数据进行局部聚合得到的；
[0029]输出模块，用于输出所述预聚合数据作为数据查询结果。
[0030]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的任意一个实施例中的方法的步骤。
[0031]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的任意一个实施例中的方法的步骤。
[0032]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的任意一个实施例中的方法的步骤。
[0033]上述数据查询方法、装置、计算机设备、存储介质和计算机程序产品，首先服务器接收数据查询请求，然后根据数据查询请求获取预聚合数据，预聚合数据是对待消费数据进行局部聚合得到的，最后输出预聚合数据作为数据查询结果。本申请提供的方法通过将待消费数据进行局部聚合得到预聚合数据，并将预聚合数据作为查询结果输出，能够提高数据查询的时效性和准确性。
附图说明
[0034]图1为一个实施例中数据查询方法的应用环境图；
[0035]图2为一个实施例中数据查询方法的流程示意图；
[0036]图3为一个实施例中构建数据字典的流程示意图；
[0037]图4为一个实施例中数据查询装置的结构框图；
[0038]图5为一个实施例中计算机设备的内部结构图。
具体实施方式
[0039]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不
用于限定本申请。
[0040]本申请实施例提供的数据查询方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104接收数据查询请求，并根据数据查询请求获取预聚合数据，然后将预聚合数据作为数据查询结果输出至终端102进行展示。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
[0041]在一个实施例中，如图2所示，提供了一数据查询方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
[0042]S201、接收数据查询请求。
[0043]服务器获取由用户发起的数据查询请求，然后控制应用网关对查询内容进行验证，通过验证之后再控制应用网关将数据查询请求分发到各个业务模块。其中，应用网关是系统的界面接入口，同时也是后端各个业务模块和基础服务的管控中心，它负责各模块的健康检查，请求路由，配合用户验证模块来维持分布式session等功能，分布式session是服务器为了保存用户状态而创建的一个特殊的内存对象，用户验证模块可以与既有的单点登陆系统集成，实现跨系统的统一登录和会话。
[0044]S202、根据数据查询请求获取预聚合数据，预聚合数据是对待消费数据进行局部聚合得到的。...

【技术保护点】

【技术特征摘要】
1.一种数据查询方法，其特征在于，所述方法包括：接收数据查询请求；根据所述数据查询请求获取预聚合数据，所述预聚合数据是对待消费数据进行局部聚合得到的；输出所述预聚合数据作为数据查询结果。2.根据权利要求1所述的方法，其特征在于，所述接收数据查询请求之后，还包括：对所述数据查询请求进行预处理，所述预处理包括对所述数据查询请求中的待查询字段进行物理字段映射、对所述数据查询请求对应的用户信息进行权限验证、屏蔽数据层差异和对所述数据查询请求进行查询优化中的至少一个；所述根据所述数据查询请求获取预聚合数据，包括：根据预处理后的所述数据查询请求获取预聚合数据。3.根据权利要求1所述的方法，其特征在于，所述数据查询请求携带有业务类型；所述对所述数据查询请求进行预处理之前，还包括：根据所述业务类型确定对应的基础服务，所述业务类型包括事件分析、漏斗分析和用户分群中的至少一个，所述基础服务包括元数据访问服务、不同类型的任务执行以及查询引擎服务；当所述基础服务为查询引擎服务时，继续执行对所述数据查询请求进行预处理的步骤。4.根据权利要求1所述的方法，其特征在于，所述接收数据查询请求之前，所述方法还包括：检测消息队列中是否存在所述待消费数据；当所述消息队列中存在待消费数据时，则读取所述待消费数据，并将所述待消费数据存储...

【专利技术属性】
技术研发人员：向营，周骏，吕伟，孟欢欢，陈武阳，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：