The invention discloses a data query method and device. The method comprises acquiring a query plan, determining the data source information contained in the query plan, performing an escaping operation on the query plan according to the data source information, and querying the data from the data source corresponding to the data source information and displaying the query results according to the escaped query plan. By escaping the query plan, the query plan is translated into a language that can be recognized by the database that needs to be queried. Through this operation, a query plan can be used to query different databases at the same time, thus realizing cross-platform joint query, improving the efficiency of data query and opening up the different databases. Technical barriers reduce the learning threshold of developers.
【技术实现步骤摘要】
一种数据查询方法和装置
本专利技术涉及大数据
,特别是涉及一种数据查询方法和装置。
技术介绍
随着数据科学不断发展,在大数据领域不断涌现出各类数据存储系统。数据按照各自的类型和使用特性被分别存储到不同的数据存储系统中。在大数据领域,为了使开发人员能够快速使用相关系统,通常会提供SQL(StructuredQueryLanguage,结构化查询语言)。SQL语言是一种为满足数据库查询、分析、挖掘等需求的常用技术手段。但是,在大数据系统中只有类似Hive这样的数据仓库具有使用SQL语言的能力,然而在大数据系统中,除了Hive还有ElasticSearch、HBase(HadoopDatabase)等数据存储系统,这就使得开发人员无法通过SQL语言在多个数据存储系统将进行查询。针对Hive、Hbase和ElasticSearch的查询只能分别使用SQL命令、HBase命令和ElasticSearch命令。然而这些命令在语法结构、实现原理、约束条件等方面不尽相同,这就使得开发人员必须学习多种语言,并且掌握每种语言的语言特征和语法特征,但是即便如此也会经常遇到难以解决的问题。综上所述,在面临数据访问语法各异、数据相互隔离等问题时,现有技术无法提供跨平台进行联合查询的系统,导致数据的查询、分析、挖掘复杂性增加,且难以关联全量数据,严重影响数据的使用效率。
技术实现思路
本专利技术要解决的技术问题是一种数据查询方法和装置,用以解决现有技术无法提供跨平台联合查询的问题。为了解决上述技术问题,本专利技术是通过以下技术方案来解决的:本专利技术提供了一种数据查询方法,包括:获 ...
【技术保护点】
1.一种数据查询方法,其特征在于,包括:获取查询计划;确定所述查询计划中包含的数据源信息;根据所述数据源信息,对所述查询计划执行转义操作;根据转义后的所述查询计划,从所述数据源信息对应的数据源中查询数据并展示查询结果。
【技术特征摘要】
1.一种数据查询方法,其特征在于,包括:获取查询计划;确定所述查询计划中包含的数据源信息;根据所述数据源信息,对所述查询计划执行转义操作;根据转义后的所述查询计划,从所述数据源信息对应的数据源中查询数据并展示查询结果。2.如权利要求1所述的方法,其特征在于,在确定所述查询计划中包含的数据源信息之前,还包括:获取以结构化查询语言SQL描述的查询语句;解析出所述查询语句中包含的数据源信息和查询条件;根据所述数据源信息和所述查询条件,生成以SQL语言描述的查询计划;其中,所述查询条件包括:关键词、索引信息、查询范围、查询操作和查询结果的数量。3.如权利要求2所述的方法,其特征在于,根据转义后的所述查询计划,在所述数据源信息对应的数据源中查询数据,包括:根据转义后的所述查询计划中包含的关键词、索引信息、查询范围和/或查询结果的数量,从所述数据源信息对应的数据源中查询数据;和/或,根据转义后的所述查询计划中包含的查询操作,使所述数据源信息对应的数据源执行所述查询操作,以便查询数据。4.如权利要求2所述的方法,其特征在于,根据所述数据源信息,对所述查询计划执行转义操作,包括:确定所述数据源信息对应的数据源;通过SparkSQL接口,将所述以SQL语言描述的查询计划转义为所述数据源可识别的查询命令。5.如权利要求1-4中任一项所述的方法,其特征在于,所述数据源包括:Hive数据库、HBase数据库和/或ElasticSearch数据库...
【专利技术属性】
技术研发人员:惠榛,张鸿,刘欣然,郭东东,吕雁飞,马秉楠,兰钢临,
申请(专利权)人:国家计算机网络与信息安全管理中心,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。