一种数据查询方法及系统技术方案

本发明专利技术实施例公开了一种数据查询方法及系统，包括：接收业务系统发送的查询请求消息，根据待查询数据记录的查询信息，以及查询信息与数据引擎的对应关系，确定出与待查询数据记录对应的目标数据引擎，进而查询目标数据引擎中的数据记录，得到待查询数据记录。由于数据记录的查询信息包括数据记录的查询并发量和查询条件数量，且查询信息与数据引擎具有对应关系，可见，查询并发量和查询条件数量不同的数据记录可对应不同的数据引擎。因而，根据查询信息与数据引擎之间的对应关系确定出待查询数据记录的目标数据引擎，再通过确定出的目标数据引擎，查询其中的数据记录，可充分利用不同数据引擎的优势，从而有效提高数据查询的效率。

Data query method and system

The embodiment of the invention discloses a method and a system of data query, query: receiving a request message sent by the business system, according to the query data record and query information, query information and data engine correspondence is determined and the query data records corresponding to the target data and target data query engine, the engine to obtain the data records, query data records. Because the number of data records query information including data record and query the number of concurrent queries, and query information and data engine has a corresponding relationship, visible, the number of queries and concurrent query conditions of different data records corresponding to different data engine. Therefore, determining a target data engine to query data records according to the relationship between information and data query engine, target data engine through the query, the data records, can make full use of the advantages of different data engine, which can effectively improve the efficiency of data query.

【技术实现步骤摘要】

本专利技术涉及数据处理
，尤其涉及一种数据查询方法及系统。
技术介绍
随着大数据时代的到来，各业务系统中的数据量日趋庞大，大数据的查询应用变得越来越普遍。由于查询效率直接影响查询系统的响应时间，面对日益增长的海量数据，如何实现高效、准确、实时的数据查询已成为业界亟待解决的重要问题。目前，各业务系统中通常采用关系型数据库来存储业务数据，但是关系型数据库横向扩展能力差，扩容的成本高，而且很难做分布式扩展。当数据库中存储海量数据时，会出现由于数据库占用资源过多，而使得进行数据查询时，数据库的响应较慢、读写访问性能较差。为了解决这个问题，现有技术中，可通过对数据库进行分区，将数据切分到不同的库和不同的表中，以避免数据库的单个表中存储过多的数据。然而，即使对数据库进行了分区处理，由于在对数据进行写入和读取的时，需要处理复杂的分库分表逻辑，当数据库中存储海量数据时，表的数量过多，仍然会使得数据库的访问性能变差，数据查询的效率较低，而且使数据库的管理和运维变得很复杂。综上，目前亟需一种数据查询方法，以提高的数据查询的效率。
技术实现思路
本专利技术提供一种数据查询方法及系统，用于解决现有技术中数据库的访问性能较差，数据查询效率较低的技术问题。本专利技术实施例提供的一种数据查询方法，包括：接收业务系统发送的查询请求消息，所述查询请求消息包括待查询数据记录的查询信息；所述待查询数据记录的查询信息包括所述待查询数据记录对应的查询并发量和查询条件数量；根据所述待查询数据记录的查询并发量和查询条件数量以及所述查询信息和数据引擎的对应关系，确定与所述待查询数据记录的查询信息对应的目标数据引擎；查询所述目标数据引擎中的数据记录，得到所述待查询数据记录。可选地，所述目标数据引擎中的数据记录是通过以下方式导入的：接收联机系统发送的第N条数据记录，并将所述第N条数据记录存储在数据缓冲区；从所述数据缓冲区获取所述第N条数据记录以及所述第N条数据记录的查询信息；根据所述第N条数据记录的查询信息，以及所述查询信息和数据引擎的对应关系，将所述第N条数据记录存储到所述目标数据引擎中。可选地，根据所述第N条数据记录的查询信息，以及所述查询信息和数据引擎的对应关系，将所述第N条数据记录存储到所述目标数据引擎中，包括：若所述第N条数据记录的查询信息为查询并发量大于等于预设查询并发量，且查询条件数量小于等于预设查询条件阈值，则根据所述查询信息和数据引擎的对应关系，将Hbase数据引擎确定为所述目标数据引擎，并将所述第N条数据记录存储到Hbase数据引擎中；若所述第N条数据记录的查询信息为查询并发量小于预设查询并发量，或查询条件数量大于等于预设查询条件阈值，则根据所述查询信息和数据引擎的对应关系，将Impala数据引擎确定为所述目标数据引擎，并将所述第N条数据记录存储到Impala数据引擎中。可选地，根据所述第N条数据记录的查询信息，以及所述查询信息和数据引擎的对应关系，将所述第N条数据记录存储到所述目标数据引擎中之后，还包括：接收所述联机系统发送的批量数据记录；根据所述批量数据记录的查询信息，确定所述批量数据记录对应的目标数据引擎；将所述目标数据引擎中存储的与所述批量数据记录对应的数据记录替换为所述批量数据记录。可选地，所述目标数据引擎包括M个集群节点，M为大于等于1的整数。基于同样的专利技术构思，本专利技术实施例进一步提供一种数据查询系统，包括：接收模块，用于接收业务系统发送的查询请求消息，所述查询请求消息包括待查询数据记录的查询信息；所述待查询数据记录的查询信息包括所述待查询数据记录对应的查询并发量和查询条件数量；确定模块，用于根据所述待查询数据记录的查询并发量和查询条件数量以及所述查询信息和数据引擎的对应关系，确定与所述待查询数据记录的查询信息对应的目标数据引擎；处理模块，用于查询所述目标数据引擎中的数据记录，得到所述待查询数据记录。可选地，所述接收模块还用于：接收联机系统发送的第N条数据记录，并将所述第N条数据记录存储在数据缓冲区；所述处理模块还用于：从所述数据缓冲区获取所述第N条数据记录以及所述第N条数据记录的查询信息；以及，根据所述第N条数据记录的查询信息，以及所述查询信息和数据引擎的对应关系，将所述第N条数据记录存储到所述目标数据引擎中。可选地，所述处理模块具体用于：若所述第N条数据记录的查询信息为查询并发量大于等于预设查询并发量，且查询条件数量小于等于预设查询条件阈值，则根据所述查询信息和数据引擎的对应关系，将Hbase数据引擎确定为所述目标数据引擎，并将所述第N条数据记录存储到Hbase数据引擎中；若所述第N条数据记录的查询信息为查询并发量小于预设查询并发量，或查询条件数量大于等于预设查询条件阈值，则根据所述查询信息和数据引擎的对应关系，将Impala数据引擎确定为所述目标数据引擎，并将所述第N条数据记录存储到Impala数据引擎中。可选地，所述接收模块还用于：接收所述联机系统发送的批量数据记录；所述处理模块还用于：根据所述批量数据记录的查询信息，确定所述批量数据记录对应的目标数据引擎；将所述目标数据引擎中存储的与所述批量数据记录对应的数据记录替换为所述批量数据记录。可选地，所述目标数据引擎包括M个集群节点，M为大于等于1的整数。本专利技术实施例，通过接收业务系统发送的查询请求消息，根据查询请求消息中包含的待查询数据记录的查询信息，以及查询信息与数据引擎的对应关系，确定出与待查询数据记录的查询信息对应的目标数据引擎，进而可通过查询目标数据引擎中的数据记录，得到待查询数据记录。由于数据记录的查询信息包括数据记录的查询并发量和查询条件数量，且查询信息与数据引擎具有对应关系，可见，查询并发量和查询条件数量不同的数据记录可对应不同的数据引擎。因而，根据查询并发量和查询条件数量以及与数据引擎之间的对应关系确定出待查询数据记录的目标数据引擎，再通过确定出的目标数据引擎，查询目标数据引擎中的数据记录，可充分利用不同数据引擎的优势，从而有效提高数据查询的效率。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例中的一种数据查询方法所对应的流程示意图；图2为本专利技术实施例中的数据记录的实时导入流程所对应的流程示意图；图3为本专利技术实施例中的批量数据记录导入流程所对应的流程示意图；图4为本专利技术实施例中一种数据查询系统的结构示意图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述，显然，所描述的实施例，仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。本专利技术实施例中的数据查询方法可应用于大数据系统，所述大数据系统中包括一个或多个数据引擎，所述数据引擎具体用于存储数据记录，以及对存储的数据记录进行查询等处理操作。具体的，所述数据引擎可以为多种类型的数据引擎，如非关系型NoSQL数据库Hbase数据引擎或M本文档来自技高网...

【技术保护点】
一种数据查询方法，其特征在于，所述方法包括：接收业务系统发送的查询请求消息，所述查询请求消息包括待查询数据记录的查询信息；所述待查询数据记录的查询信息包括所述待查询数据记录对应的查询并发量和查询条件数量；根据所述待查询数据记录的查询并发量和查询条件数量以及所述查询信息和数据引擎的对应关系，确定与所述待查询数据记录的查询信息对应的目标数据引擎；查询所述目标数据引擎中的数据记录，得到所述待查询数据记录。

【技术特征摘要】
1.一种数据查询方法，其特征在于，所述方法包括：接收业务系统发送的查询请求消息，所述查询请求消息包括待查询数据记录的查询信息；所述待查询数据记录的查询信息包括所述待查询数据记录对应的查询并发量和查询条件数量；根据所述待查询数据记录的查询并发量和查询条件数量以及所述查询信息和数据引擎的对应关系，确定与所述待查询数据记录的查询信息对应的目标数据引擎；查询所述目标数据引擎中的数据记录，得到所述待查询数据记录。2.根据权利要求1所述的方法，其特征在于，所述目标数据引擎中的数据记录是通过以下方式导入的：接收联机系统发送的第N条数据记录，并将所述第N条数据记录存储在数据缓冲区；从所述数据缓冲区获取所述第N条数据记录以及所述第N条数据记录的查询信息；根据所述第N条数据记录的查询信息，以及所述查询信息和数据引擎的对应关系，将所述第N条数据记录存储到所述目标数据引擎中。3.根据权利要求2所述的方法，其特征在于，根据所述第N条数据记录的查询信息，以及所述查询信息和数据引擎的对应关系，将所述第N条数据记录存储到所述目标数据引擎中，包括：若所述第N条数据记录的查询信息为查询并发量大于等于预设查询并发量，且查询条件数量小于等于预设查询条件阈值，则根据所述查询信息和数据引擎的对应关系，将Hbase数据引擎确定为所述目标数据引擎，并将所述第N条数据记录存储到Hbase数据引擎中；若所述第N条数据记录的查询信息为查询并发量小于预设查询并发量，或查询条件数量大于等于预设查询条件阈值，则根据所述查询信息和数据引擎的对应关系，将Impala数据引擎确定为所述目标数据引擎，并将所述第N条数据记录存储到Impala数据引擎中。4.根据权利要求2所述的方法，其特征在于，根据所述第N条数据记录的查询信息，以及所述查询信息和数据引擎的对应关系，将所述第N条数据记录存储到所述目标数据引擎中之后，还包括：接收所述联机系统发送的批量数据记录；根据所述批量数据记录的查询信息，确定所述批量数据记录对应的目标数据引擎；将所述目标数据引擎中存储的与所述批量数据记录对应的数据记录替换为所述批量数据记录。5.根据权利要求1至4中任一项所述...

【专利技术属性】
技术研发人员：禹熹，周继恩，冯兴，王颖卓，方亚超，叶炜，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：上海;31