查询元数据的方法、装置和电子设备制造方法及图纸

本公开提供了一种查询元数据的方法，涉及人工智能技术领域，尤其涉及数据库技术领域。具体实现方案为：响应于接收到元数据查询请求，解析上述元数据查询请求，得到与上述元数据查询请求相关联的多个分区字段信息；对上述多个分区字段信息进行解析，得到语法树；根据上述语法树，确定针对元数据查询请求的开始行键和结束行键；以及根据上述开始行键和结束行键，扫描HBase数据库，得到针对上述元数据查询请求的查询结果。本公开还提供了一种查询元数据的装置、一种电子设备、一种非瞬时性计算机可读存储介质、一种计算机程序产品。

【技术实现步骤摘要】
查询元数据的方法、装置和电子设备
本公开涉及人工智能
，尤其涉及数据库
，具体涉及一种查询元数据的方法和装置、电子设备和存储介质。
技术介绍
常见的元数据管理可以分为集中式和分布式元数据管理架构。集中式元数据管理架构采用单一的元数据服务器。分布式元数据管理架构则将元数据分散在多个节点上。
技术实现思路
提供了一种查询元数据的方法、装置、设备以及存储介质。根据第一方面，提供了一种查询元数据的方法，包括：响应于接收到元数据查询请求，解析上述元数据查询请求，得到与上述元数据查询请求相关联的多个分区字段信息；对上述多个分区字段信息进行解析，得到语法树；根据上述语法树，确定针对元数据查询请求的开始行键和结束行键；以及根据上述开始行键和结束行键，扫描HBase数据库，得到针对上述元数据查询请求的查询结果。根据第二方面，提供了一种查询元数据的装置，包括：响应模块，用于响应于接收到元数据查询请求，解析上述元数据查询请求，得到与上述元数据查询请求相关联的多个分区字段信息；解析模块，用于对上述多个分区字段信息进行解析，得到语法树；确定模块，用于根据上述语法树，确定针对元数据查询请求的开始行键和结束行键；以及扫描模块，用于根据上述开始行键和结束行键，扫描HBase数据库，得到针对上述元数据查询请求的查询结果。根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行本公开实施例提供的方法。根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行本公开实施例提供的方法。根据第五方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现本公开实施例的提供的方法。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本公开的限定。其中：图1示例性示出了适于本公开实施例的查询元数据的方法或/和装置的示例性系统架构；图2是根据本公开一个实施例的查询元数据的方法的流程图；图3A、图3B、图3C分别是根据本公开一个实施例的上述HBase数据库中的针对主题层级的第一行键、针对数据库层级的第二行键和针对表层级的第三行键、针对上述分区字段信息的第四行键的示意图；图4是根据本公开一个实施例的物理表的示意图；图5是根据本公开一个实施例的查询元数据的方法的执行流程图；图6是根据本公开一个实施例的查询元数据的装置的框图；图7示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。具体实施方式以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。常见的元数据管理可以分为集中式和分布式元数据管理架构。集中式元数据管理架构采用单一的元数据服务器，实现简单.但是存在单点故障等问题。分布式元数据管理架构则将元数据分散在多个节点上，进而解决了元数据服务器的性能瓶颈等问题，并提高了元数据管理架构的可扩展性，但实现较为复杂，并引入了元数据一致性的问题。HBase(HadoopDatabase，分布式计算数据库)，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。其元数据的存储可以不基于行键和列族的结构，但存在一系列问题。图1示例性示出了适于本公开实施例的查询元数据的方法或/和装置的示例性系统架构。需要注意的是，图1所示仅为可以应用本申请实施例的系统架构的示例，以帮助本领域技术人员理解本申请的
技术实现思路
，但并不意味着本申请实施例不可以用于其他环境或场景。如图1所示，该系统架构100包括客户端101、元数据管理器102和数据读写管理器103。客户端101提供了访问HBase的接口，并且维护了对应的cache来加速HBase的访问。元数据管理器102存储HBase的元数据。在是读取数据或写入数据时，客户端101从元数据管理器102获取元数据，进而客户端根据元数据至相应的数据读写管理器发起读写数据的请求。数据读写管理器103处理客户端101的读写请求，负责与分布式文件系统(HadoopDistributedFileSystem，HDFS)交互。需要续写数据时，客户端101发起获取元数据的请求到元数据管理器102，然后元数据管理器102返回相应的数据读写管理器103的地址给客户端101。客户端101获取元数据管理器102返回的地址，然后根据上述地址向相应的数据读写管理器103发起请求，最后数据读写管理器103进行读写数据操作后返回给客户端101。应该理解，图1中客户端、元数据管理器和数据读写管理器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端、元数据管理器和数据读写管理器。图2是根据本公开一个实施例的查询元数据的方法的流程图。如图2所示，该方法200可以包括操作S210～操作S240。在操作S210，响应于接收到元数据查询请求，解析上述元数据查询请求，得到与上述元数据查询请求相关联的多个分区字段信息。例如，元数据管理器可以同数据读写管理器交互，数据读写管理器可以同分布式文件系统交互。分布式文件系统中可以存储运动员的数据，可以将运动员的姓名name和能力评分rating作为分区字段。元数据查询请求可以为name＝‘jim’andrating≥97andjersey＝23。解析元数据查询请求可以得到分区字段信息：name＝‘jim’，rating≥97。在操作S220，对上述多个分区字段信息进行解析，得到语法树。根据本公开实施例，上述语法树可以包含分区字段信息之间的逻辑运算关系。例如，解析多个分区字段信息name＝‘jim’andrating≥97可以得到相应的语法树。在操作S230，根据上述语法树，确定针对元数据查询请求的开始行键和结束行键。根据本公开实施例，根据上述语法树，可以先确定针对元数据查询请求的初始开始行键和初始结束行键，再得到分析后的开始行键和分析后的结束行键。例如，可以根据上述语法数据，得到元数据查询请求为name＝‘jim’andrating≥97andjersey＝23的初始的开始行键statrowkey为player和初始的结束行键endrowkey为playes，针对上述元数据查询请求，本文档来自技高网...

【技术保护点】
1.一种查询元数据的方法，包括：/n响应于接收到元数据查询请求，解析所述元数据查询请求，得到与所述元数据查询请求相关联的多个分区字段信息；/n对所述多个分区字段信息进行解析，得到语法树；/n根据所述语法树，确定针对元数据查询请求的开始行键和结束行键；以及/n根据所述开始行键和结束行键，扫描HBase数据库，得到针对所述元数据查询请求的查询结果。/n

【技术特征摘要】
1.一种查询元数据的方法，包括：
响应于接收到元数据查询请求，解析所述元数据查询请求，得到与所述元数据查询请求相关联的多个分区字段信息；
对所述多个分区字段信息进行解析，得到语法树；
根据所述语法树，确定针对元数据查询请求的开始行键和结束行键；以及
根据所述开始行键和结束行键，扫描HBase数据库，得到针对所述元数据查询请求的查询结果。


2.根据权利要求1所述的方法，其中，针对每个元数据，所述HBase数据库包括针对主题层级的第一行键、针对数据库层级的第二行键和针对表层级的第三行键；
其中，所述表包括映射表和物理表，所述映射表包括数据源信息和存储路径信息；所述物理表包括字段信息。


3.根据权利要求2所述的方法，其中，所述第一行键包括依次排列的以下字段：
模块名字符长度、模块名、命名空间字符长度、命名空间、所属层级字符长度、所属层级、自定义命名字符长度和自定义命名。


4.根据权利要求2所述的方法，其中，所述第二行键和第三行键各自包括依次排列的以下字段：
模块名字符长度、模块名、命名空间字符长度、命名空间、所属层级字符长度、所属层级、上一层级自定义名称字符长度、上一层级自定义名称、自定义名称字符长度和自定义名称。


5.根据权利要求2所述的方法，其中，所述字段信息包括非分区字段信息和分区字段信息；
其中，所述HBase数据库还包括针对所述分区字段信息的第四行键，所述第四行键依次包括以下字段：
模块名字符长度、模块名、命名空间字符长度、命名空间、表名称字符长度、表名称、分区字段值字符长度和分区值。


6.根据权利要求5所述的方法，其中，所述根据所述开始行键和结束行键扫描所述HBase数据库，得到针对所述元数据查询请求的查询结果包括：
将所述开始行键和结束行键分别与所述HBase数据库中的第四行键进行匹配，得到针对所述元数据查询请求的查询结果。


7.一种查询元数据的装置，包括：
响应模块，用于响应于接收到元数据查询请求，解析所述元数据查询请求，得到与所述元数据查询请求相关联的多个分区字段信息；
解析模块，用于对所述多个分区字段信息进行解析，得到语法树；
确定模块，用于根据所述语法树，确定针对元数...

【专利技术属性】
技术研发人员：贺斌，姚利，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11