本发明专利技术公开了一种基于Kubernetes的数据处理方法、系统及介质，包括：获取用户创建的备份任务；根据所述备份任务遍历Kubernetes API中所有URL以获取所述备份任务对应资源的组信息，根据所述组信息确定列表信息，并根据所述列表信息确定第一资源信息；将所述第一资源信息进行保存，并将所述第一资源信息保存到外部存储器。本发明专利技术实施例通过外部存储器保存持久化数据，减少持久化数据丢失可能性并便于持久化数据在其它集群的恢复，可广泛应用于计算机技术领域。技术领域。技术领域。
【技术实现步骤摘要】
基于Kubernetes的数据处理方法、系统及介质
[0001]本专利技术涉及计算机
，尤其涉及一种基于Kubernetes的数据处理方法、系统及介质。
技术介绍
[0002]一般的kubernetes备份步骤为：1、备份元数据，2、备份持久化数据。备份的元数据可以备份到异地存储，而持久化数据一般保存在分布式存储中，为保持持久化数据的一致性，需要对底层存储进行快照处理。持久化数据快照数据保存在原分布式存储中，如果改分布式存储出现不可逆的错误，很可能导致应用的数据永久丢失；同时，无法将快照中的应用数据恢复到其它集群。一般备份针对某一种分布式存储快照，对于不同的存储则需要调用不同的命令进行快照，增加了复杂性。
技术实现思路
[0003]有鉴于此，本专利技术实施例的目的是提供一种基于Kubernetes的数据处理方法、系统及介质，通过外部存储器保存持久化数据，减少持久化数据丢失可能性并便于持久化数据在其它集群的恢复。
[0004]第一方面，本专利技术实施例提供了一种基于Kubernetes的数据处理方法，包括以下步骤：
[0005]获取用户创建的备份任务；
[0006]根据所述备份任务遍历Kubernetes API中所有URL以获取所述备份任务对应资源的组信息，根据所述组信息确定列表信息，并根据所述列表信息确定第一资源信息；
[0007]将所述第一资源信息进行保存，并将所述第一资源信息保存到外部存储器。
[0008]可选地，所述方法还包括：
[0009]获取用户创建的恢复任务；
[0010]根据所述恢复任务从所述外部存储器中读取对应的元数据备份信息；
[0011]对所述元数据备份信息进行资源排序，并按照所述资源排序向所述Kubernetes API发送创建资源请求，并将所述创建资源请求对应的第二资源信息从所述外部存储器中复制到Kubernetes API中。
[0012]可选地，所述备份任务或所述恢复任务通过以下方式获取：
[0013]接收backupd发送的创建备份任务请求或创建恢复任务请求；其中，所述创建备份任务请求或所述创建恢复任务请求由所述backupd根据用户的输入请求信息确定。
[0014]可选地，所述将所述第一资源信息进行保存，具体包括：
[0015]当所述第一资源信息为PVC类型，克隆第一PVC并启动挂载所述第一PVC的临时pod以保存所述PVC类型的第一资源信息；
[0016]否则，复制所述资源信息以进行保存。
[0017]可选地，所述将所述资源请求对应的第二资源信息从所述外部存储器中复制到
Kubernetes API中，具体包括：
[0018]当所述第二资源信息为PVC类型，启动挂载克隆第二PVC的临时pod，将所述第二资源信息从外部存储器中复制到所述第二PVC中；
[0019]否则，将所述第二资源信息复制到所述Kubernetes API。
[0020]第二方面，本专利技术实施例提供了一种基于Kubernetes的数据处理系统，包括：
[0021]第一模块，用于获取用户创建的备份任务；
[0022]第二模块，用于根据所述备份任务遍历Kubernetes API中所有URL以获取所述备份任务对应资源的组信息，根据所述组信息确定列表信息，并根据所述列表信息确定第一资源信息；
[0023]第三模块，用于将所述第一资源信息进行保存，并将所述第一资源信息保存到外部存储器。
[0024]第三方面，本专利技术实施例提供了一种基于Kubernetes的数据处理系统，包括：
[0025]至少一个处理器；
[0026]至少一个存储器，用于存储至少一个程序；
[0027]当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述的方法。
[0028]第四方面，本专利技术实施例提供了一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的方法。
[0029]第五方面，本专利技术实施例提供了一种基于Kubernetes的数据处理系统，包括Kubernetes和外部存储器，所述Kubernetes包含agent，所述Kubernetes及所述外部存储器均于所述agent通信连接；其中，
[0030]所述agent包括：
[0031]至少一个处理器；
[0032]至少一个存储器，用于存储至少一个程序；
[0033]当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上述的方法。
[0034]可选地，所述系统还包括UI和dackupd，其中，
[0035]所述UI，用于接收用户的输入请求信息，并将所述输入请求信息发送给所述dackupd；
[0036]所述dackupd，用于接收所述UI发送的所述输入请求信息，并根据所述输入请求信息生成创建备份任务请求或创建恢复任务请求，并将所述创建备份任务请求或创建恢复任务请求发送给所述agent。
[0037]实施本专利技术实施例包括以下有益效果：本实施例根据用户创建的备份任务遍历Kubernetes API中所有URL以获取备份任务对应资源的组信息、列表信息及第一资源信息，并将第一资源信息的持久化数据保存到外部存储器，通过外部存储器保存持久化数据，减少持久化数据丢失可能性并便于持久化数据在其它集群的恢复。
附图说明
[0038]图1是本专利技术实施例提供的一种基于Kubernetes的数据处理系统的结构框图；
[0039]图2是本专利技术实施例提供的一种基于Kubernetes的数据处理方法的步骤流程示意图；
[0040]图3是本专利技术实施例提供的一种基于Kubernetes的数据处理方法的时序图；
[0041]图4是本专利技术实施例提供的另外一种基于Kubernetes的数据处理方法的步骤流程示意图；
[0042]图5是本专利技术实施例提供的另一种基于Kubernetes的数据处理方法的时序图；
[0043]图6是本专利技术实施例提供的另一种基于Kubernetes的数据处理系统的结构框图；
[0044]图7是本专利技术实施例提供的另一种基于Kubernetes的数据处理系统的结构框图。
具体实施方式
[0045]下面结合附图和具体实施例对本专利技术做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0046]参阅图1，dbackup是http服务，用于与用户交互，用户通过交互可以发起备份与恢复；agent是实际执行备份或恢复的服务，部署在kubernetes中；Kubernetes API是kubernetes系统组件，agent通过http接口进行备份或恢复；相关pod包含创建、删除、att本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于Kubernetes的数据处理方法，其特征在于，包括：获取用户创建的备份任务；根据所述备份任务遍历Kubernetes API中所有URL以获取所述备份任务对应资源的组信息，根据所述组信息确定列表信息，并根据所述列表信息确定第一资源信息；将所述第一资源信息进行保存，并将所述第一资源信息保存到外部存储器。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取用户创建的恢复任务；根据所述恢复任务从所述外部存储器中读取对应的元数据备份信息；对所述元数据备份信息进行资源排序，并按照所述资源排序向所述Kubernetes API发送创建资源请求，并将所述创建资源请求对应的第二资源信息从所述外部存储器中复制到Kubernetes API中。3.根据权利要求1或2任一项所述的方法，其特征在于，所述备份任务或所述恢复任务通过以下方式获取：接收backupd发送的创建备份任务请求或创建恢复任务请求；其中，所述创建备份任务请求或所述创建恢复任务请求由所述backupd根据用户的输入请求信息确定。4.根据权利要求1所述的方法，其特征在于，所述将所述第一资源信息进行保存，具体包括：当所述第一资源信息为PVC类型，克隆第一PVC并启动挂载所述第一PVC的临时pod以保存所述PVC类型的第一资源信息；否则，复制所述资源信息以进行保存。5.根据权利要求2所述的方法，其特征在于，所述将所述资源请求对应的第二资源信息从所述外部存储器中复制到Kubernetes API中，具体包括：当所述第二资源信息为PVC类型，启动挂载克隆第二PVC的临时pod，将所述第二资源信息从外部存储器中复制到所述第二PVC中；否则，将所述第二资源信息复制到所述Kubernetes API。6.一种基于Kubernetes的数据处理系统，其特...
【专利技术属性】
技术研发人员：鲁伟，范佳，王子骏，马立珂，
申请(专利权)人：广州鼎甲计算机科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。