数据查找方法、装置、计算机设备以及存储介质制造方法及图纸

本申请涉及大数据的数据处理领域，具体涉及一种数据查找方法、装置、计算机设备和存储介质。方法包括：基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果，将结果导入生产数据库内的预设第一结果表；当导入完成时，清空预设第二结果表内数据，再次运行预设全维度拆分算法，更新全维度查找结果，将更新后全维度查找结果导入生产数据库内预设第二结果表，当更新后全维度查找结果导入完成时，返回执行运行预设全维度拆分算法的步骤；当接收到实时查找请求时，根据实时查找请求，通过API接口在生产数据库内调用预设结果表获得查找结果。本申请通过引入Hadoop数据库分担生产数据库的查找任务，使得系统可以不扩充服务器就能实现对大数据的查找。

Data search methods, devices, computer equipment and storage media

The application relates to the field of data processing of large data, in particular to a data search method, device, computer equipment and storage medium. The methods include: running the presupposed full-dimensional splitting algorithm based on Hadoop database to obtain the full-dimensional search results and importing the results into the presupposed first result table in the production database; clearing the data in the presupposed second result table when the import is completed, running the presupposed full-dimensional splitting algorithm again, updating the full-dimensional search results, and importing the updated full-dimensional search results into the production database. The second result table is built in. When the updating results are imported, the steps of running the preset full-dimension splitting algorithm are returned. When the real-time search request is received, the preset result table is invoked in the production database through API interface to obtain the search result. By introducing Hadoop database to share the search task of production database, this application enables the system to search for large data without expanding the server.

【技术实现步骤摘要】
数据查找方法、装置、计算机设备以及存储介质
本申请涉及信息处理领域，特别是涉及一种数据查找方法、装置、计算机设备以及存储介质。
技术介绍
数据库(Database)是按照数据结构来组织、存储和管理数据的仓库，它产生于距今六十多年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。然而现在不少公司积累了大量的数据资源，当这些公司想要通过输出这些数据的实时查找服务进行资源变现时，会遇到了一个问题，随着积累的数据量越来越大，从百万级别到千万级别，最后到数十亿级别，在不扩充服务器的情况下，使用原有的数据库，已无法再支持实时处理数十亿数量级别的数据的计算查找服务。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能支持对数十亿数量级别的数据进行查找的数据查找方法、装置、计算机设备以及存储介质。一种数据查找方法，所述方法包括：基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果，所述Hadoop数据库存储有待查找样本数据，所述全维度查找结果为预设查找请求对应的目标数据；将所述全维度查找结果导入生产数据库内的预设第一结果表；当导入完成时，清空预设第二结果表内数据，再次基于Hadoop数据库运行所述预设全维度拆分算法，更新所述全维度查找结果，将所述更新后全维度查找结果导入生产数据库内预设第二结果表，当所述更新后全维度查找结果导入完成时，返回执行基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果的步骤；当接收到实时查找请求时，根据所述实时查找请求，通过API接口在所述生产数据库内调用预设结果表获得查找结果，所述查找结果与所述实时查找对应，所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。在其中一个实施例中，所述基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果之前，还包括：根据Hadoop数据库存储的待查找样本数据获取预设查找请求，根据所述预设查找请求获取全维度拆分算法，将获取的全维度拆分算法作为预设全维度拆分算法。在其中一个实施例中，所述根据Hadoop数据库存储的待查找样本数据获取预设查找请求具体包括：确定Hadoop数据库存储的待查找样本数据对应的查找字段，根据所述查找字段获取全维度拆分算法。在其中一个实施例中，所述当接收到实时查找请求时，根据所述实时查找请求，通过API接口在所述生产数据库内调用预设结果表获得查找结果包括：当接收到实时查找请求时，判断预设查找请求是否包括所述实时查找请求；当所述预设查找请求包括所述实时查找请求时，根据所述实时查找请求，通过API接口在所述生产数据库内调用预设结果表获得查找结果，所述查找结果与所述实时查找对应，所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表；当所述预设查找请求不包括所述实时查找请求时，根据所述实时查找请求，通过增量运算修改所述预设全维度拆分算法，清空预设第一结果表与预设第二结果表内数据，返回执行基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果的步骤，通过API接口在所述生产数据库内调用预设结果表获得查找结果，所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。在其中一个实施例中，所述在存储有待查找样本数据的Hadoop数据库内运行预设全维度拆分算法，获得全维度查找结果之前还包括：根据所述待查找样本数据在生产数据库内建立预设第一结果表与预设第二结果表，所述预设第一结果表与所述预设第二结果表相同。在其中一个实施例中，所述当接收到实时查找请求时，根据所述实时查找请求，通过API接口在所述生产数据库内调用预设结果表获得查找结果具体包括：当接收到实时查找请求时，在所述生产数据库根据所述实时查找请求生成实时查找语句；根据所述实时查找语句通过API接口在生产数据库内的预设结果表上进行查询，获得全维度查找结果中与所述实时查找请求对应的查找结果。一种数据查找装置，所述装置包括：全维度查找模块，用于基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果，所述Hadoop数据库存储有待查找样本数据，所述全维度查找结果为预设查找请求对应的目标数据；第一数据导入模块，用于将所述全维度查找结果导入生产数据库内的预设第一结果表；第二数据导入模块，用于当导入完成时，清空预设第二结果表内数据，再次基于Hadoop数据库运行所述预设全维度拆分算法，更新所述全维度查找结果，将所述更新后全维度查找结果导入生产数据库内预设第二结果表，当所述更新后全维度查找结果导入完成时，返回全维度查找模块执行基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果的步骤；实时查找模块，当接收到实时查找请求时，根据所述实时查找请求，通过API接口在所述生产数据库内调用预设结果表获得查找结果，所述查找结果与所述实时查找对应，所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。在其中一个实施例中，还包括：算法获取模块，用于根据Hadoop数据库存储的待查找样本数据获取预设查找请求，根据所述预设查找请求获取全维度拆分算法，将获取的全维度拆分算法作为预设全维度拆分算法。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果，所述Hadoop数据库存储有待查找样本数据，所述全维度查找结果为预设查找请求对应的目标数据；将所述全维度查找结果导入生产数据库内的预设第一结果表；当导入完成时，清空预设第二结果表内数据，再次基于Hadoop数据库运行所述预设全维度拆分算法，更新所述全维度查找结果，将所述更新后全维度查找结果导入生产数据库内预设第二结果表，当所述更新后全维度查找结果导入完成时，返回执行基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果的步骤；当接收到实时查找请求时，根据所述实时查找请求，通过API接口在所述生产数据库内调用预设结果表获得查找结果，所述查找结果与所述实时查找对应，所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果，所述Hadoop数据库存储有待查找样本数据，所述全维度查找结果为预设查找请求对应的目标数据；将所述全维度查找结果导入生产数据库内的预设第一结果表；当导入完成时，清空预设第二结果表内数据，再次基于Hadoop数据库运行所述预设全维度拆分算法，更新所述全维度查找结果，将所述更新后全维度查找结果导入生产数据库内预设第二结果表，当所述更新后全维度查找结果导入完成时，返回执行基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果的步骤；当接收到实时查找请求时，根据所述实时查找请求，通过API接口在所述生产数据库内调用预设结果表获得查找结果，所述查找结果与所述实时查找对应，所述预设结本文档来自技高网...

【技术保护点】
1.一种数据查找方法，所述方法包括：基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果，所述Hadoop数据库存储有待查找样本数据，所述全维度查找结果为预设查找请求对应的目标数据；将所述全维度查找结果导入生产数据库内的预设第一结果表；当导入完成时，清空预设第二结果表内数据，再次基于Hadoop数据库运行所述预设全维度拆分算法，更新所述全维度查找结果，将所述更新后全维度查找结果导入生产数据库内预设第二结果表，当所述更新后全维度查找结果导入完成时，返回执行基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果的步骤；当接收到实时查找请求时，根据所述实时查找请求，通过API接口在所述生产数据库内调用预设结果表获得查找结果，所述查找结果与所述实时查找对应，所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。

【技术特征摘要】
1.一种数据查找方法，所述方法包括：基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果，所述Hadoop数据库存储有待查找样本数据，所述全维度查找结果为预设查找请求对应的目标数据；将所述全维度查找结果导入生产数据库内的预设第一结果表；当导入完成时，清空预设第二结果表内数据，再次基于Hadoop数据库运行所述预设全维度拆分算法，更新所述全维度查找结果，将所述更新后全维度查找结果导入生产数据库内预设第二结果表，当所述更新后全维度查找结果导入完成时，返回执行基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果的步骤；当接收到实时查找请求时，根据所述实时查找请求，通过API接口在所述生产数据库内调用预设结果表获得查找结果，所述查找结果与所述实时查找对应，所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表。2.根据权利要求1所述的方法，其特征在于，所述基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果之前，还包括：根据Hadoop数据库存储的待查找样本数据获取预设查找请求，根据所述预设查找请求获取全维度拆分算法，将获取的全维度拆分算法作为预设全维度拆分算法。3.根据权利要求1所述的方法，其特征在于，所述根据Hadoop数据库存储的待查找样本数据获取预设查找请求具体包括：确定Hadoop数据库存储的待查找样本数据对应的查找字段，根据所述查找字段获取全维度拆分算法。4.根据权利要求1所述的方法，其特征在于，所述当接收到实时查找请求时，根据所述实时查找请求，通过API接口在所述生产数据库内调用预设结果表获得查找结果包括：当接收到实时查找请求时，判断预设查找请求是否包括所述实时查找请求；当所述预设查找请求包括所述实时查找请求时，根据所述实时查找请求，通过API接口在所述生产数据库内调用预设结果表获得查找结果，所述查找结果与所述实时查找对应，所述预设结果表为未处于使用状态的预设第一结果表和预设第二结果表；当所述预设查找请求不包括所述实时查找请求时，根据所述实时查找请求，通过增量运算修改所述预设全维度拆分算法，清空预设第一结果表与预设第二结果表内数据，返回执行基于Hadoop数据库运行预设全维度拆分算法，获得全维度查找结果的步骤，通过API接口在所述生产数据库内调用预设结果表获得查找结果，所述预设结果表为未处于使用状态的预设第一结果...

【专利技术属性】
技术研发人员：倪隆昌，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44