一种基于内存计算的数据查询加速方法和设备技术

本发明专利技术公开了一种基于内存计算的数据查询加速方法和设备，应用于包括数据仓库和内存数据库的系统中，所述内存数据库中存储有从所述数据仓库提取的热数据，该方法包括：接收用户发送的数据查询请求，根据所述数据查询请求对应的执行计划从所述内存数据库中确定查询结果，若在所述查询结果中存在与所述数据查询请求对应的结果数据，将所述结果数据返回所述用户并结束所述数据查询请求对应的查询进程，实现缩短数据查询的执行周期，提高自助分析业务系统中的数据查询速度以及提升了用户交互体验。

【技术实现步骤摘要】
一种基于内存计算的数据查询加速方法和设备
本申请涉及大数据处理领域，更具体地，涉及一种基于内存计算的数据查询加速方法和设备。
技术介绍
自助分析业务系统为电信运营商提供数据提取和分析的自助化平台。此平台利用已有的用户数据资源，通过提取和分析，变为具有商业价值的可用资源。自助分析业务系统支撑运营商内部业务运营分析及其用户自助查询消费记录、套餐使用情况等业务需求，是一种自助类型的数据统计分析服务平台，业务人员在自助分析平台进行数据模型上架、自助取数、数据关联分析、自助报表等操作流程。如图1所述为现有技术中自助分析业务系统数据获取过程示意图，以某省运营商为例，系统服务的用户覆盖全省及下属各个地市。目前，该省运营商各个地市的业务及用户数据均单独存放在各个地市搭建的本地数据源中，而为高效快速地进行数据理解和处理，保证数据质量和数据完整性，需要汇聚运营商从各个市、县的所有业务及用户数据的关系数据库，以满足用户的个性化自助查询和分析的要求，保障系统能够根据用户查询条件查找出相关数据，并将查询结果反馈给用户。自助分析业务访问并发量高，地市数据集中化导致自助取数时需要从大数据量中进行复杂查询，部分小量数据频繁加载并展示给前端，执行周期延长，结果反馈延迟，用户等待时间长，影响业务运行效率，用户交互体验差，阻碍电信运营商业务发展。如何提高自助分析业务系统中的数据查询速度，是目前有待解决的技术问题。
技术实现思路
本专利技术提供一种基于内存计算的数据查询加速方法和设备，用以解决现有技术自助分析业务系统中查找数据执行周期长，结果反馈延迟的技术问题，所述方法应用于包括数据仓库和内存数据库的系统中，所述内存数据库中存储有从所述数据仓库提取的热数据，所述方法包括：接收用户发送的数据查询请求；根据所述数据查询请求对应的执行计划从所述内存数据库中确定查询结果；若在所述查询结果中存在与所述数据查询请求对应的结果数据，将所述结果数据返回所述用户并结束所述数据查询请求对应的查询进程。优选地，在接收用户发送的数据查询请求之前，还包括：接收监测到的热数据事件，所述热数据事件是根据所述数据仓库中各数据页的访问频次触发的；根据所述热数据事件确定所述数据仓库中的待提取热数据的热数据量；根据所述热数据量和所述内存数据库的可用存储空间将所述待提取热数据加载到所述内存数据库中。优选地，根据所述热数据量和所述内存数据库的可用存储空间将所述待提取热数据加载到所述内存数据库中，具体为：判断所述可用存储空间是否大于所述热数据量；若是，基于所述可用存储空间将所述待提取热数据加载到所述内存数据库中；若否，基于扩展后的可用存储空间将所述待提取热数据加载到所述内存数据库中。优选地，在根据所述热数据量和所述内存数据库的可用存储空间将所述待提取热数据加载到所述内存数据库中之前，所述方法还包括：基于预设数据量对所述待提取热数据划分，所述预设数据量小于所述热数据量；根据所述划分的结果确定所述待提取热数据的多个加载批次，以根据所述热数据量和所述内存数据库的可用存储空间将所述待提取热数据按多个所述加载批次加载到所述内存数据库中。优选地，若所述查询结果中不存在所述结果数据，所述方法还包括：根据所述执行计划查询所述数据仓库，以判断所述数据仓库中是否存在所述结果数据；若所述数据仓库中也不存在所述结果数据，向所述用户返回查询失败的通知。相对应的，本专利技术还提出了一种基于内存计算的数据查询加速设备，所述设备应用于包括数据仓库和内存数据库的系统中，所述内存数据库中存储有从所述数据仓库提取的热数据，所述设备包括：接收模块，用于接收用户发送的数据查询请求；确定模块，用于根据所述数据查询请求对应的执行计划从所述内存数据库中确定查询结果；返回模块，用于若在所述查询结果中存在与所述数据查询请求对应的结果数据，将所述结果数据返回所述用户并结束所述数据查询请求对应的查询进程。优选地，还包括加载模块，用于：接收监测到的热数据事件，所述热数据事件是根据所述数据仓库中各数据页的访问频次触发的；根据所述热数据事件确定所述数据仓库中的待提取热数据的热数据量；根据所述热数据量和所述内存数据库的可用存储空间将所述待提取热数据加载到所述内存数据库中。优选地，所述加载模块，具体用于：判断所述可用存储空间是否大于所述热数据量；若是，基于所述可用存储空间将所述待提取热数据加载到所述内存数据库中；若否，基于扩展后的可用存储空间将所述待提取热数据加载到所述内存数据库中。优选地，所述加载模块，还用于：基于预设数据量对所述待提取热数据划分，所述预设数据量小于所述热数据量；根据所述划分的结果确定所述待提取热数据的多个加载批次，以根据所述热数据量和所述内存数据库的可用存储空间将所述待提取热数据按多个所述加载批次加载到所述内存数据库中。优选地，还包括查询模块，用于：根据所述执行计划查询所述数据仓库，以判断所述数据仓库中是否存在所述结果数据；若所述数据仓库中也不存在所述结果数据，向所述用户返回查询失败的通知。与现有技术相比，本专利技术具备以下有益效果：本专利技术公开了一种内存计算的数据查询加速方法和设备，应用于包括数据仓库和内存数据库的系统中，所述内存数据库中存储有从所述数据仓库提取的热数据，接收用户发送的数据查询请求，根据所述数据查询请求对应的执行计划从所述内存数据库中确定查询结果，若在所述查询结果中存在与所述数据查询请求对应的结果数据，将所述结果数据返回所述用户并结束所述数据查询请求对应的查询进程，实现缩短数据查询的执行周期，提高自助分析业务系统中的数据查询速度以及提升了用户交互体验。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了现有技术自助分析业务系统数据获取过程示意图；图2示出了本专利技术优选实施例提出的一种基于内存计算的数据查询加速方法的流程示意图；图3示出了本专利技术具体实施例提出的一种将热数据加载至内存数据的方法的流程示意图；图4示出了本专利技术又一实施例提出的一种基于内存计算的数据查询加速方法的流程示意图；图5示出了本专利技术实施例中提出的本专利技术中的系统结构示意图；图6示出了本专利技术实施例提出的一种基于内存计算的数据查询加速设备的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保本文档来自技高网...

【技术保护点】
1.一种基于内存计算的数据查询加速方法，其特征在于，所述方法应用于包括数据仓库和内存数据库的系统中，所述内存数据库中存储有从所述数据仓库提取的热数据，所述方法包括：/n接收用户发送的数据查询请求；/n根据所述数据查询请求对应的执行计划从所述内存数据库中确定查询结果；/n若在所述查询结果中存在与所述数据查询请求对应的结果数据，将所述结果数据返回给所述用户并结束所述数据查询请求对应的查询进程。/n

【技术特征摘要】
1.一种基于内存计算的数据查询加速方法，其特征在于，所述方法应用于包括数据仓库和内存数据库的系统中，所述内存数据库中存储有从所述数据仓库提取的热数据，所述方法包括：
接收用户发送的数据查询请求；
根据所述数据查询请求对应的执行计划从所述内存数据库中确定查询结果；
若在所述查询结果中存在与所述数据查询请求对应的结果数据，将所述结果数据返回给所述用户并结束所述数据查询请求对应的查询进程。


2.如权利要求1所述的方法，其特征在于，在接收用户发送的数据查询请求之前，还包括：
接收监测到的热数据事件，所述热数据事件是根据所述数据仓库中各数据页的访问频次触发的；
根据所述热数据事件确定所述数据仓库中的待提取热数据的热数据量；
根据所述热数据量和所述内存数据库的可用存储空间将所述待提取热数据加载到所述内存数据库中。


3.如权利要求2所述的方法，其特征在于，根据所述热数据量和所述内存数据库的可用存储空间将所述待提取热数据加载到所述内存数据库中，具体为：
判断所述可用存储空间是否大于所述热数据量；
若是，基于所述可用存储空间将所述待提取热数据加载到所述内存数据库中；
若否，基于扩展后的可用存储空间将所述待提取热数据加载到所述内存数据库中。


4.如权利要求2所述的方法，其特征在于，在根据所述热数据量和所述内存数据库的可用存储空间将所述待提取热数据加载到所述内存数据库中之前，所述方法还包括：
基于预设数据量对所述待提取热数据划分，所述预设数据量小于所述热数据量；
根据所述划分的结果确定所述待提取热数据的多个加载批次，以根据所述热数据量和所述内存数据库的可用存储空间将所述待提取热数据按多个所述加载批次加载到所述内存数据库中。


5.如权利要求1所述的方法，其特征在于，若所述查询结果中不存在所述结果数据，所述方法还包括：
根据所述执行计划查询所述数据仓库，以判断所述数据仓库中是否存在所述结果数...

【专利技术属性】
技术研发人员：刘睿民，
申请(专利权)人：威讯柏睿数据科技北京有限公司，
类型：发明
国别省市：北京;11