基于数据剪枝提升等值连接查询性能的方法、装置及设备制造方法及图纸

本发明专利技术提供基于数据剪枝提升等值连接查询性能的方法、装置及设备，属于数据库查询技术领域。方法包括：步骤S1，获取多路等值连接查询操作所涉及的所有表、以及各个所述表之间的连接关系，所述连接关系包括对应关系和连接属性；步骤S2，根据所有所述表、以及所述对应连接属性，生成N个独立的传递闭包；步骤S3，令所述传递闭包作为具有M个剪枝元素PE的剪枝单元PU，对所述传递闭包实施两段剪枝操作，得到两段剪枝后的传递闭包；步骤S4，基于所有所述两段剪枝后的传递闭包执行所述多路等值连接查询操作。询操作。

【技术实现步骤摘要】
基于数据剪枝提升等值连接查询性能的方法、装置及设备


[0001]本专利技术涉及数据库查询
，尤其涉及一种基于数据剪枝提升等值连接查询性能的方法、装置及设备。

技术介绍

[0002]执行多路等值连接查询主要分为两个步骤：1.通过扫描算子获取所需数据2.通过其他算子(如连接算子、聚合算子等)根据获取的数据计算最终结果。第一步主要依赖谓词下推降低扫描的数据量，而第2步同样会涉及对最终执行结果没有贡献的多余数据，它们是在计算过程中舍弃的，需要为过程消耗一部分计算资源，因此这种方法存在剪枝广度不够、无法彻底搜索所有剪枝对象的问题。
[0003]集中式数据库系统，如PostgreSQL，执行等值连接查询期间，查询优化器会根据SQL语句中涉及的等值连接属性，根据等值传递性，构造等价类，以减少扫描数据数量。分布式数据库系统，如TiDB，将表进行分区，结合分区信息以及谓词信息，将不必要的分区提前去除，达到数据剪枝的目的。但这两种策略无法捕捉数据内部分布，剪枝深度不够，无法充分去除不必要数据。

技术实现思路

[0004]有鉴于此，本专利技术提供一种基于数据剪枝提升等值连接查询性能的方法、装置及设备，通过提高剪枝广度和深度减少等值查询操作的数据量，提升查询执行效率。
[0005]本专利技术实施例解决其技术问题所采用的技术方案是：
[0006]一种基于数据剪枝提升等值连接查询性能的方法，包括：
[0007]步骤S1，获取多路等值连接查询操作所涉及的所有表、以及各个所述表之间的对应连接属性，所述对应连接属性通过解析器从输入的SQL语句中获得；
[0008]步骤S2，根据所有所述表、以及所述对应连接属性，生成N个独立的传递闭包；
[0009]步骤S3，令所述传递闭包作为具有M个剪枝元素PE的剪枝单元PU，对所述传递闭包实施两段剪枝操作，得到两段剪枝后的传递闭包；
[0010]步骤S4，基于所有所述两段剪枝后的传递闭包执行所述多路等值连接查询操作，得出查询结果。
[0011]较优地，所述步骤S2根据所有所述表、以及所述对应连接属性，生成N个独立的传递闭包包括：
[0012]步骤S21，对SQL语句进行语法解析，得到所述SQL语句的语法树，并对所述语法树进行逻辑优化；
[0013]步骤S22，深度优先遍历优化后的所述语法树，从中提取出具有等值连接关系的表构成的路径，每一个所述路径作为一个独立的传递闭包PU。
[0014]较优地，所述步骤S3对所述传递闭包实施两段剪枝操作，得到两段剪枝后的传递闭包包括：
[0015]步骤S31，对所述传递闭包PU实施一段剪枝α
‑
align，根据区间对齐策略，将所述PU中每一个剪枝元素PE对齐，得到{PU}1，其中，所述传递闭包PU中的所述PE由表名和列名构成，PE＝{r|r＝[x,y]}；
[0016]步骤S32，所述对齐结果不为空时，计算出所述{PU}1的空洞范围HR，根据所述空洞范围去除各个所述剪枝元素PE中不存在的数据范围，以使所述{PU}1离散化，得到{PU}2；
[0017]步骤S33，对所述{PU}2实施二段剪枝β
‑
align，构造出所述{PU}2的公共范围，并基于所述公共范围对齐所述{PU}2中的每一个剪枝元素PE中的元素，直至达到稳态得到{PU}3，所述稳态代表每一个所述PE中的元素均实现所有数据范围对齐；
[0018]步骤S34，所述{PU}3为所述两段剪枝后的传递闭包。
[0019]较优地，所述步骤S32求解出所述{PU}1的空洞范围HR包括：
[0020]步骤S321，计算出用于限制所述空洞范围中元素数目的上届O：
[0021]O＝B+A*U/N
[0022]其中，B表示基本阈值，A表示默认值，U/N是扩展因子，U表示所述表里第i列中值的总个数，N表示第i列的基数；
[0023]步骤S322，求解出所述表里第i列中数据范围跨度不低于预设值α的所有候选空洞范围。
[0024]步骤S323，将各个所述候选空洞范围按照跨度进行降序排序，选取前β％的候选空洞范围组成所述表里第i列对应的空洞范围，所述空洞范围HR包括所述{PU}1中各所述表各列的空洞范围。
[0025]较优地，所述步骤S33对所述{PU}2实施二段剪枝包括：
[0026]步骤S331，提取所述{PU}2中每一个所述PE的最小数据范围上届构建成集合D，提取出每一个所述PE的最大数据范围下届构建成集合U；
[0027]步骤S332，对所述集合D降序排序形成降序序列，对所述集合U升序排序形成升序序列，取所述降序序列的首个元素和所述升序序列的首个元素构建出所述公共范围；
[0028]步骤S333，利用所述公共范围对每一个所述PE中的元素实施一轮对齐；
[0029]步骤S334，若对齐操作结束后未能达到稳态，则返回执行步骤S332，选取降序序列的下一个元素和升序序列的下一个元素构建出新的公共范围，利用新的公共范围对每一个PE中的元素实施下一轮对齐，直至达到稳态。
[0030]较优地，所述步骤S4基于所有所述两段剪枝后的传递闭包执行所述多路等值连接查询操作包括：
[0031]步骤S41，将所述两段剪枝后的传递闭包中所有所述PE里包含的数据范围打散，按照剪枝度进行降序排序，所述剪枝度PD(r)的表达式为：
[0032][0033]其中，(r)为数据范围，ζ为求解数据范围(r)的基数的函数，(ζ(r))表示剪枝前基数，(ζ(r
°
))表示剪枝后基数；
[0034]步骤S42，根据各个所述数据范围的所述剪枝度PD(r)求解所述数据范围的实施位置，所述实施位置包括逻辑计划LT的实施位置和物理计划PT实施位置：
[0035][0036]步骤S43，在所述实时位置实施所述逻辑计划LT和所述物理计划PT；
[0037]步骤S44，执行所述多路等值连接查询操作。
[0038]本专利技术提供一种等值连接查询装置，包括：
[0039]获取模块21，用于获取多路等值连接查询操作所涉及的所有表、以及各个所述表之间的对应连接属性，所述对应连接属性通过解析器从输入的SQL语句中获得；
[0040]传递闭包生成模块22，用于根据所有所述表、以及所述对应连接属性，生成N个独立的传递闭包；
[0041]剪枝模块23，令所述传递闭包作为具有M个剪枝元素PE的剪枝单元PU，对所述传递闭包实施两段剪枝操作，得到两段剪枝后的传递闭包；
[0042]查询模块24，基于所有所述两段剪枝后的传递闭包执行多路等值连接查询操作，得出查询结果。
[0043]本专利技术提供一种电子设备，包括：一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
[0044]本专利技术提供一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据剪枝提升等值连接查询性能的方法，其特征在于，包括：步骤S1，获取多路等值连接查询操作所涉及的所有表、以及各个所述表之间的对应连接属性，所述对应连接属性通过解析器从输入的SQL语句中获得；步骤S2，根据所有所述表、以及所述对应连接属性，生成N个独立的传递闭包；步骤S3，令所述传递闭包作为具有M个剪枝元素PE的剪枝单元PU，对所述传递闭包实施两段剪枝操作，得到两段剪枝后的传递闭包；步骤S4，基于所有所述两段剪枝后的传递闭包执行所述多路等值连接查询操作，得出查询结果。2.如权利要求1所述的基于数据剪枝提升等值连接查询性能的方法，其特征在于，所述步骤S2根据所有所述表、以及所述对应连接属性，生成N个独立的传递闭包包括：步骤S21，对SQL语句进行语法解析，得到所述SQL语句的语法树，并对所述语法树进行逻辑优化；步骤S22，深度优先遍历优化后的所述语法树，从中提取出具有等值连接关系的表构成的路径，每一个所述路径作为一个独立的传递闭包PU。3.如权利要求2所述的基于数据剪枝提升等值连接查询性能的方法，其特征在于，所述步骤S3对所述传递闭包实施两段剪枝操作，得到两段剪枝后的传递闭包包括：步骤S31，对所述传递闭包PU实施一段剪枝α
‑
align，根据区间对齐策略，将所述PU中每一个剪枝元素PE对齐，得到{PU}1，其中，所述传递闭包PU中的所述PE由表名和列名构成，PE＝{r|r＝[x,y]}；步骤S32，所述对齐结果不为空时，计算出所述{PU}1的空洞范围HR，根据所述空洞范围去除各个所述剪枝元素PE中不存在的数据范围，以使所述{PU}1离散化，得到{PU}2；步骤S33，对所述{PU}2实施二段剪枝β
‑
align，构造出所述{PU}2的公共范围，并基于所述公共范围对齐所述{PU}2中的每一个剪枝元素PE中的元素，直至达到稳态得到{PU}3，所述稳态代表每一个所述PE中的元素均实现所有数据范围对齐；步骤S34，所述{PU}3为所述两段剪枝后的传递闭包。4.如权利要求3所述的基于数据剪枝提升等值连接查询性能的方法，其特征在于，所述步骤S32求解出所述{PU}1的空洞范围HR包括：步骤S321，计算出用于限制所述空洞范围中元素数目的上届O：O＝B+A*U/N其中，B表示基本阈值，A表示默认值，U/N是扩展因子，U表示所述表里第i列中值的总个数，N表示第i列的基数；步骤S322，求解出所述表里第i列中数据范围跨度不低于预设值α的所有候选空洞范围；步骤S323，将各个所述候选空洞范围按照跨度进行降序排序，选取前β％的候选空洞范围组成所述表里第i列对应的空洞范围，所述空洞范围HR包括所述{PU}1中各所述表各列的空洞范围。5.如权利要求4所述...

【专利技术属性】
技术研发人员：高锦涛，郑洁，姜璐璐，李弋杰，王浩，莫先，
申请(专利权)人：宁夏大学，
类型：发明
国别省市：