基于大数据分析的数据查询项目执行方法及装置制造方法及图纸

本发明专利技术公开了一种基于大数据分析的数据查询项目执行方法及装置。其中，方法包括：接收数据查询项目执行请求；查找是否存在与数据查询项目执行请求相对应的数据查询项目执行资源；若存在，则利用与数据查询项目执行请求相对应的数据查询项目执行资源进行数据查询项目执行；若不存在，则申请数据查询项目执行资源，利用申请的数据查询项目执行资源进行数据查询项目执行，并在本次数据查询项目执行结束后保留申请的数据查询项目执行资源。本方案为每个项目申请各自对应的数据查询项目执行资源，降低项目间的耦合度；同一项目中各个查询语句共享同一资源，降低系统的资源开销，提升项目执行效率；并可实现项目上下文关系的维护，减少重复计算时间。

Implementation method and device of data query project based on big data analysis

【技术实现步骤摘要】
基于大数据分析的数据查询项目执行方法及装置
本专利技术涉及大数据
，具体涉及一种基于大数据分析的数据查询项目执行方法及装置。
技术介绍
随着科技及社会的不断发展，各类数据呈井喷式地增长。人们在查询海量数据过程中，通常会设置相应的数据查询项目，一个数据查询项目中通常包含有一条或多条查询语句，通过对数据查询项目的实施来实现对数据的查询分析。目前，在数据查询项目执行过程中，通常是每执行一条查询语句，便为该查询语句申请相应的执行资源，待该条查询语句执行完毕后，销毁与该条查询语句对应的执行资源。然而，由于资源申请时间较长，当数据查询项目中包含有多条查询语句时，需不断地申请资源及销毁资源，从而增加了系统开销，并降低数据查询项目的执行效率；并且，该方式在数据查询项目执行过程中，无法维护查询过程中的上下文关系，从而导致重复计算的现象频繁发生，进一步造成系统资源的浪费；此外，现有的数据查询项目执行方式，在某一项目执行过程中，由于未释放执行资源，从而导致另一项目无法正常执行，项目之间耦合度较高，易出现一个项目的执行效率影响另一项目的执行效率的现象，进一步降低了整体的数据查询效率。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于大数据分析的数据查询项目执行方法及装置。根据本专利技术的一个方面，提供了一种基于大数据分析的数据查询项目执行方法，包括：接收数据查询项目执行请求；根据所述数据查询项目执行请求，查找是否存在与所述数据查询项目执行请求相对应的数据查询项目执行资源；若存在，则利用与所述数据查询项目执行请求相对应的数据查询项目执行资源进行数据查询项目执行；若不存在，则申请数据查询项目执行资源，利用申请的数据查询项目执行资源进行数据查询项目执行，并在本次数据查询项目执行结束后保留申请的数据查询项目执行资源。根据本专利技术的另一方面，提供了一种基于大数据分析的数据查询项目执行装置，包括：接收模块，适于接收数据查询项目执行请求；查找模块，适于根据所述数据查询项目执行请求，查找是否存在与所述数据查询项目执行请求相对应的数据查询项目执行资源；第一项目执行模块，适于若存在与所述数据查询项目执行请求相对应的数据查询项目执行资源，利用与所述数据查询项目执行请求相对应的数据查询项目执行资源进行数据查询项目执行；第一项目执行模块，适于若不存在与所述数据查询项目执行请求相对应的数据查询项目执行资源，则申请数据查询项目执行资源，利用申请的数据查询项目执行资源进行数据查询项目执行，并在本次数据查询项目执行结束后保留申请的数据查询项目执行资源。根据本专利技术的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于大数据分析的数据查询项目执行方法对应的操作。根据本专利技术的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述基于大数据分析的数据查询项目执行方法对应的操作。根据本专利技术提供的基于大数据分析的数据查询项目执行方法及装置，在接收数据查询项目执行请求后，根据数据查询项目执行请求，查找是否存在与数据查询项目执行请求相对应的数据查询项目执行资源；若存在，则利用与数据查询项目执行请求相对应的数据查询项目执行资源进行数据查询项目执行；若不存在，则申请数据查询项目执行资源，利用申请的数据查询项目执行资源进行数据查询项目执行，并在数据查询项目执行结束后保留申请的数据查询项目执行资源。本方案中为每个数据查询项目申请有各自对应的数据查询项目执行资源，从而使得各个用户以及各个数据查询项目之间的查询项目执行资源互相隔离，降低数据查询项目之间的耦合度，避免数据查询项目的执行效率受其他数据查询项目执行效率的影响；并且，同一数据查询项目中的各个查询语句可共享同一执行资源，降低系统的资源开销，提升数据查询项目的执行效率；并可实现数据查询项目上下文关系的维护，减少重复计算时间，进一步提升数据查询项目执行效率。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本专利技术提供的一种大数据分析系统的功能结构示意图；图2示出了根据本专利技术一个实施例提供的一种基于大数据分析的数据查询项目执行方法的流程示意图；图3示出了根据本专利技术另一个实施例提供的一种基于大数据分析的数据查询项目执行方法的流程示意图；图4示出了根据本专利技术一个实施例提供的一种基于大数据分析的数据查询项目执行装置的功能结构示意图；图5示出了根据本专利技术一个实施例提供的一种计算设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本专利技术所提供的基于大数据分析的数据查询项目执行方法及装置可应用于预设的大数据分析系统中。如图1所示，预设的大数据分析系统包括：服务接口11、统一查询语句解析引擎12、多语言执行器13、以及分析报告生成模块14。其中，服务接口11，适于接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作。统一查询语句解析引擎12，适于对查询语句进行解析，生成逻辑执行计划。多语言执行器13，包含至少一个计算引擎131和/或至少一个存储引擎132，适于根据逻辑执行计划生成物理执行计划，并基于物理执行计划调用相应的计算引擎和/或存储引擎执行查询语句，并获得查询结果。分析报告生成模块14，适于根据查询结果以及报告编写操作，生成分析报告。采用预设的大数据分析系统，用户仅需通过服务接口输入特定语言格式的查询语句及报告编写操作即可生成相应的分析报告，实现对数据的快速分析。从而降低了用户对不同的引擎工具的学习成本，并有利于提高数据分析效率，提升用户体验；并且，该系统可扩展性高，便于维护，适于大规模应用与实施。图2示出了根据本专利技术一个实施例提供的一种基于大数据分析的数据查询项目执行方法的流程示意图。如图2所示，该方法包括：步骤S210，接收数据查询项目执行请求。其中，一个数据查询项目包含有至少一条查询语句，则本步骤中的数据查询项目执行本文档来自技高网...

【技术保护点】
1.一种基于大数据分析的数据查询项目执行方法，包括：/n接收数据查询项目执行请求；/n根据所述数据查询项目执行请求，查找是否存在与所述数据查询项目执行请求相对应的数据查询项目执行资源；/n若存在，则利用与所述数据查询项目执行请求相对应的数据查询项目执行资源进行数据查询项目执行；/n若不存在，则申请数据查询项目执行资源，利用申请的数据查询项目执行资源进行数据查询项目执行，并在本次数据查询项目执行结束后保留申请的数据查询项目执行资源。/n

【技术特征摘要】
1.一种基于大数据分析的数据查询项目执行方法，包括：
接收数据查询项目执行请求；
根据所述数据查询项目执行请求，查找是否存在与所述数据查询项目执行请求相对应的数据查询项目执行资源；
若存在，则利用与所述数据查询项目执行请求相对应的数据查询项目执行资源进行数据查询项目执行；
若不存在，则申请数据查询项目执行资源，利用申请的数据查询项目执行资源进行数据查询项目执行，并在本次数据查询项目执行结束后保留申请的数据查询项目执行资源。


2.根据权利要求1所述的方法，其中，所述查找是否存在与所述数据查询项目执行请求相对应的数据查询项目执行资源进一步包括：
根据数据查询项目执行请求确定与所述数据查询项目执行请求相对应的用户标识以及项目标识；
根据确定的用户标识以及项目标识，查找是否存在与所述用户标识以及项目标识相对应的数据查询项目执行资源。


3.根据权利要求1或2所述的方法，其中，所述方法还包括：为申请的数据查询项目执行资源设置相对应的存活期限。


4.根据权利要求3所述的方法，其中，所述方法还包括：
根据申请的数据查询项目执行资源相对应的存活期限，对申请的数据查询项目执行资源进行销毁或留存处理。


5.根据权利要求4所述的方法，其中，所述为申请的数据查询项目执行资源设置相对应的存活期限进一步包括：
根据所述申请的数据查询项目执行资源对应的项目类别、项目容量和/或项目优先级，为所述申请的数据查询项目执行资源设置相对应的存活期限。


6.根据权利要求4所述的方法，其中，所述为申请的数据查询项目执行资源设置相对应的存活期限进一步包括：
根据用户...

【专利技术属性】
技术研发人员：郑扬，张娟娜，谭梦茜，徐胜国，李铮，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京;11