元数据处理方法和装置制造方法及图纸

本申请公开了元数据处理方法和装置，涉及数据处理技术领域。该方法的一具体实施方式包括：响应于获取到新的元数据，将新的元数据划分为一级元数据和二级元数据；基于一级元数据、计算节点数目、计算节点编号，通过预设的分配算法，将二级元数据划分为多个部分二级元数据，并确定每一部分二级元数据对应的第一计算节点；将各部分二级元数据写入对应的第一计算节点。该实施方式有效减轻了内存的资源耗费。该实施方式有效减轻了内存的资源耗费。该实施方式有效减轻了内存的资源耗费。

【技术实现步骤摘要】
元数据处理方法和装置


[0001]本申请涉及计算机
，具体涉及数据处理
，尤其涉及一种元数据处理方法和装置。

技术介绍

[0002]现有技术中，存算分离云原生实时数仓技术是指存储资源和计算资源分别在不同的物理机上，计算和存储可分别扩展，同时计算与存储资源云原生化，高效管理，可以极大提高资源利用率，降低运营成本，进而降本增效，实时数仓技术，可以将PB级的数据，聚合分析以秒级甚至毫秒级响应。
[0003]但是，基于存算分离云原生实时数仓，由于采用共享缓存技术，且实时数仓有很多的元数据常驻内存，所有节点都可查询所有数据，造成当数据量足够大的时候，资源消耗非常严重。

技术实现思路

[0004]本申请实施例提供了一种元数据处理方法、装置、设备以及存储介质。
[0005]根据第一方面，本申请实施例提供了一种元数据处理方法，该方法包括：响应于获取到新的元数据，将新的元数据划分为一级元数据和二级元数据；基于一级元数据、计算节点数目、计算节点编号，通过预设的分配算法，将二级元数据划分为多个部分二级元数据，并确定每一部分二级元数据对应的第一计算节点；将各部分二级元数据写入对应的第一计算节点。
[0006]根据第二方面，本申请实施例提供了一种元数据处理装置，该装置包括：划分模块，被配置成响应于获取到新的元数据，将新的元数据划分为一级元数据和二级元数据；确定模块，被配置成基于一级元数据、计算节点数目、计算节点编号，通过预设的分配算法，将二级元数据划分为多个部分二级元数据，并确定每一部分二级元数据对应的第一计算节点；写入模块，被配置成将各部分二级元数据写入对应的第一计算节点。
[0007]根据第三方面，本申请实施例提供了一种电子设备，该电子设备包括一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被该一个或多个处理器执行，使得一个或多个处理器实现如第一方面的任一实施例的元数据处理方法。
[0008]根据第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面的任一实施例的元数据处理方法。
[0009]本申请通过响应于获取到新的元数据，将新的元数据划分为一级元数据和二级元数据；基于一级元数据、计算节点数目、计算节点编号，通过预设的分配算法，将二级元数据划分为多个部分二级元数据，并确定每一部分二级元数据对应的第一计算节点；将各部分二级元数据写入对应的第一计算节点，即将元数据划分为一级元数据和二级元数据，其中，一级元数据只需要存储足以确定数据分片分布情况的元数据信息，并且分配算法可根据场景自由选择，其他元数据信息，即二级元数据可以下沉到计算节点，有效减轻了内存的资源
耗费。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其他特征将通过以下的说明书而变得容易理解。
附图说明
[0011]图1是本申请可以应用于其中的示例性系统架构图；
[0012]图2是根据本申请的元数据处理方法的一个实施例的流程图；
[0013]图3是根据本申请的元数据处理方法的一个应用场景的示意图；
[0014]图4是根据本申请的元数据处理方法的又一个实施例的流程图；
[0015]图5是根据本申请的元数据处理装置的一个实施例的示意图；
[0016]图6是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
[0017]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0018]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0019]图1示出了可以应用本申请的元数据处理方法的实施例的示例性系统架构100。
[0020]如图1所示，系统架构100可以包括元数据服务集群(Metadata Service)101，网络102和计算节点103、104、105。网络102用以在元数据服务集群101和计算节点103、104、105之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0021]元数据服务集群101通过网络102与计算节点103、104、105交互，以接收或发送消息等。元数据服务集群101主要用来解决分布式应用中经常遇到的一些数据管理服务，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。
[0022]具体地，元数据服务集群101用于响应于获取到新的元数据，将新的元数据划分为一级元数据和二级元数据；基于一级元数据、计算节点数目、计算节点编号，通过预设的分配算法，将二级元数据划分为多个部分二级元数据，并确定每一部分二级元数据对应的第一计算节点；将各部分二级元数据写入对应的计算节点。
[0023]进一步地，元数据服务集群101还可用于存储全量的轻量级的一级元数据以供元数据查询。
[0024]计算节点103、104、105可以是硬件，也可以是软件。当计算节点103、104、105为硬件时，可以是具有显示屏的各种电子设备，包括但不限于手机和笔记本电脑。当计算节点103、104、105为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
[0025]需要说明的是，元数据服务集群101可以是硬件，也可以是软件。当元数据服务集群101为硬件时，可以实现成多个服务器组成的分布式服务器集群。当服务器为软件时，可
以实现成多个软件或软件模块(例如用来提供元数据处理服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
[0026]需要指出的是，本公开的实施例所提供的元数据处理方法通常由元数据服务集群101执行。相应地，元数据处理装置包括的各个部分(例如各个单元、子单元、模块、子模块)可以全部设置于元数据服务集群101中。
[0027]应该理解，图1中的元数据服务集群、网络和计算节点的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0028]图2示出了可以应用于本申请的元数据处理方法的实施例的流程示意图200。在本实施例中，元数据处理方法包括以下步骤：
[0029]步骤201，响应于获取到新的元数据，将新的元数据划分为一级元数据和二级元数据。
[0030]在本实施例中，执行主体(如图1中所示的元数据服务集群101)可实时或定期监测新的元数据，响应于获取到新的元数据，可将新的元数据划分为一级元数据和二级元数据，其中，一级元本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种元数据处理方法，所述方法包括：响应于获取到新的元数据，将所述新的元数据划分为一级元数据和二级元数据，其中，所述一级元数据为用于确定数据分布情况的元数据信息，所述二级元数据为所述新的元数据中除所述一级元数据之外的元数据信息；基于所述一级元数据、计算节点数目、计算节点编号，通过预设的分配算法，将所述二级元数据划分为多个部分二级元数据，并确定每一部分二级元数据对应的第一计算节点；将各部分二级元数据写入对应的第一计算节点。2.根据权利要求1所述的方法，其中，所述将各部分二级元数据写入对应的第一计算节点，包括：将所述新的元数据写入节点集群中的任一计算节点，并使所述节点集群中的其余计算节点同步该新的元数据的一级元数据，所述节点集群包括多个计算节点；对于具有一级元数据的每一计算节点，响应于确定该计算节点为所述第一计算节点，加载对应的部分二级元数据。3.根据权利要求2所述的方法，所述方法还包括：对于最先写入新的元数据的计算节点，响应于确定该计算节点不是第一计算节点，删除该计算节点中的二级元数据。4.根据权利要求2所述的方法，所述方法还包括：存储一级元数据，基于所述一级元数据执行查询操作。5.根据权利要求2所述的方法，所述方法还包括：响应于确定所述节点集群发生变化，并且存在第二计算节点，从共享存储中加载对应的部分二级元数据至第二计算节点，其中，所述第二计算节点为缺少对应的部分二级元数据的计算节点。6.根据权利要求...

【专利技术属性】
技术研发人员：王学伟，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：