一种机器学习辅助的查询方法及装置制造方法及图纸

本申请提供了一种机器学习辅助的查询方法及装置，涉及信息处理领域。用于通过机器学习强化传统成本模型，提升查询的效率。该方法包括：数据库管理设备生成多个查询计划，多个查询计划中的任一个查询计划都可以用于执行目标查询任务；数据库管理设备根据机器学习增强的成本模型确定多个查询计划对应的预估查询成本；数据库管理设备确定目标查询计划为可执行的查询计划，目标查询计划为多个查询计划中预估查询成本最低的查询计划。中预估查询成本最低的查询计划。中预估查询成本最低的查询计划。

【技术实现步骤摘要】
一种机器学习辅助的查询方法及装置


[0001]本申请实施例涉及信息处理领域，尤其涉及一种机器学习辅助的查询方法及装置。

技术介绍

[0002]为了在大数据场景下对海量数据进行处理和分析中，数据库管理设备扮演了非常关键的角色。数据库管理设备使用基于成本的优化过程来搜索计划，该过程包括成本模型和搜索策略这两个关键部分。成本模型用于估计执行查询计划的执行成本。搜索策略基于成本模型用于搜索最优执行计划，总的目标是搜索出成本最低的执行计划。传统的数据库管理设备使用基于启发式的成本模型来估计计划的执行成本。
[0003]随着机器学习在数据库的应用(machine learning for database，ML4DB)越来越受到关注,并体现出以数据驱动的方式来提升传统数据库性能的优越性，机器学习开始取代传统的数据库管理设备的进行查询，特别是强化学习(reinforcement learning，RL)用于构建独立的数据库管理设备并生成新的查询计划。强化学习的数据查询计划以试错的方式训练策略，以最大化或最小化奖励函数的累积回报。
[0004]目前的机器学习取代传统的数据库管理设备的查询方案中，一方面机器学习不能取代基本的嵌入在数据库系统中的知识和公理；另一方面，机器学习模型还有冷启动问题，训练阶段可能会出现显著波动，浪费了大量时间导致效率低下。

技术实现思路

[0005]本申请实施例提供了一种机器学习辅助的查询方法及装置，通过机器学习强化传统成本模型，提升了查询的效率。
[0006]第一方面，本申请实施例提供了一种机器学习辅助的查询方法，应用于数据库管理设备，该方法包括：数据库管理设备生成多个查询计划，所述多个查询计划中的任一个查询计划都可以用于执行目标查询任务；所述数据库管理设备根据机器学习增强的成本模型确定所述多个查询计划对应的预估查询成本；所述数据库管理设备确定目标查询计划为可执行的查询计划，所述目标查询计划为所述多个查询计划中预估查询成本最低的查询计划。
[0007]该种可能的实现方式中，数据库管理设备采用的成本模型是机器学习增强的，提升了数据库管理设备进行查询的效率。
[0008]在一种可能的实现方式中，上述方法还包括：数据库管理设备基于机器学习模型和成本模型进行计划探索，并将执行反馈记录在经验池中；数据库管理设备基于所述经验池中的执行反馈对成本模型进行校准以得到校准后的成本模型，所述校准后的成本模型为所述机器学习增强的成本模型。
[0009]该种可能的实现方式中，数据库管理设备先进行计划探索，然后根据计划探索后的执行反馈校准成本模型，即数据库管理设备根据机器学习技术修改了成本模型。通过机
器学习技术对成本模型的校准，可以选出更好的目标查询计划，并且结合了传统成本模型中的定理和先验知识。
[0010]在另一种可能的实现方式中，上述方法还包括：所述数据库管理设备接收任务信息；所述数据库管理设备根据所述任务信息生成查询任务；相应地，上述数据库管理设备生成多个查询计划包括：所述数据库管理设备基于所述查询任务生成多个查询计划，所述多个查询计划中的任一个查询计划都可以用于执行所述目标查询任务。
[0011]在另一种可能的实现方式中，所述数据库管理设备的搜索状态空间存储有所述多个查询计划，上述方法还包括：在预设情况下，所述数据库管理设备删减所述搜索状态空间存储的多个查询计划中预估查询成本较高的至少一个查询计划。
[0012]该种可能的实现方式中，数据库管理设备删减可以删减预估查询成本较高查询计划，减少了查询优化中间执行计划的搜索时间，提升了搜索效率。
[0013]在另一种可能的实现方式中，上述预设情况包括：所述数据库管理设备的搜索状态空间的剩余空间小于阈值；或所述数据库管理设备的搜索次数达到阈值。
[0014]在另一种可能的实现方式中，上述方法还包括：所述数据库管理设备基于所述目标查询计划生成多个查询子计划。
[0015]第二方面，本申请实施例提供了一种数据库管理设备，包括：处理器和存储器。处理器与存储器耦合；存储器用于存储计算机指令，计算机指令由所述处理器加载并执行以使管理服务器实现第一方面提供的任意一种方法。
[0016]第三方面，本申请实施例提供了一种芯片，该芯片包括：处理器和接口电路；接口电路，用于接收代码指令并传输至处理器；处理器，用于运行代码指令以执行第一方面提供的任意一种方法。
[0017]第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序指令，该计算机程序指令由处理器加载并执行以实现如上述第一方面提供的任意一种方法。
[0018]第五方面，本申请实施例提供了一种计算机程序产品，包括计算机执行指令，当计算机执行指令在计算机上运行时，使得计算机执行第一方面提供的任意一种方法。
[0019]第二方面至第五方面中的任一种实现方式所带来的技术效果可参见第一方面中对应实现方式所带来的技术效果，此处不再赘述。
附图说明
[0020]图1为本申请实施例提供的一种机器学习辅助的查询方法的流程示意图；
[0021]图2为本申请实施例提供的另一种机器学习辅助的查询方法的流程示意图；
[0022]图3为本申请实施例提供的另一种机器学习辅助的查询方法的流程示意图；
[0023]图4为本申请实施例提供的一种数据库管理设备的结构示意图；
[0024]图5为本申请实施例提供的另一种数据库管理设备的结构示意图。
具体实施方式
[0025]本申请实施例提供了一种机器学习辅助的查询方法及装置，涉及信息处理领域。用于通过机器学习强化传统成本模型，提升了查询的效率。
[0026]下面结合附图，对本申请的实施例进行描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
[0027]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0028]一、数据库管理设备。
[0029]近年来，大数据产业迅速发展，大数据技术已经渗透到各行各业中，成为了一个重要的生产因素。其中，数据库是大数据技术的核心。随着各行各业对数据需求的不断增高，传统的数据库管理设备(database management system，DBMS)逐渐演变成为可以处理海量数据的管理平台。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器学习辅助的查询方法，其特征在于，所述方法包括：数据库管理设备生成多个查询计划，所述多个查询计划中的任一个查询计划都可以用于执行目标查询任务；所述数据库管理设备根据机器学习增强的成本模型确定所述多个查询计划对应的预估查询成本；所述数据库管理设备确定目标查询计划为可执行的查询计划，所述目标查询计划为所述多个查询计划中预估查询成本最低的查询计划。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：数据库管理设备基于机器学习模型和成本模型进行计划探索，并将执行反馈记录在经验池中；数据库管理设备基于所述经验池中的执行反馈对成本模型进行校准以得到校准后的成本模型，所述校准后的成本模型为所述机器学习增强的成本模型。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：所述数据库管理设备接收任务信息；所述数据库管理设备根据所述任务信息生成查询任务；所述数据库管理设备生成多个查询计划，包括：所述数据库管理设备基于所述查询任务生成多个查询计划，所述多个查询计划中的任一个查询计划都可以用于执行所述目标查询任务。4.根据权利要求3所述的方法，其特征在于，所述数据库管理设备的搜索状态空间存储有所述多个查询计划，所述方法还包括：在预设情况下，所述数据库管理设备删减所述搜索状态空间存储的多个查询计划中预估查询成本较高的至少一个查询计划。5.根据权利要求4所述的方法，其特征在于，所述预设情况包括：所述数据库管理设备的搜索状态空间的剩余空间小于阈值；或所述数据库管理设备的搜索次数达到阈值。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述方法还包括：所述数据库管理设备基于所述目标查询计划生成多个查询子计划。7.一种数据库管理设备，其特征在于，所述数据库管理设备包括：第一生成模块，用于生成多个查询计划，所述多个查询计划中的任一个查询计划都可以用于执行目标查询任务；第一确定模块，用于根据机器学习增强的成本模型确定所述多个查询计划对应的预估查询成本；第二确定模块，用于确定目标查询计划为可执行的查询计划，所述目标查询计划为所述多个查询计划中预估查询成...

【专利技术属性】
技术研发人员：陈旭，曾凯，王静鸿，
申请(专利权)人：深圳华为云计算技术有限公司，
类型：发明
国别省市：