数据处理方法、装置、系统、电子设备和计算机存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、系统和电子设备及计算机存储介质。具体实现方案为包括：接收由第一存储节点发来的用于更新目标对象的基础镜像的存储请求；基于所述存储请求在所述第二存储节点中确定所述目标对象的源镜像；基于所述存储请求在所述第一存储节点中确定与所述目标对象的源镜像对应的目标对象的基础镜像；确定所述目标对象的源镜像与所述目标对象的基础镜像之间的差异数据；向第二存储节点发送传输指令，所述传输指令用于指示第二存储节点将所述差异数据发送至所述第一存储节点，以使得第一存储节点将所述目标对象的基础镜像与所述差异数据合并，生成目标对象的目标镜像。的目标镜像。的目标镜像。

【技术实现步骤摘要】
数据处理方法、装置、系统、电子设备和计算机存储介质


[0001]本申请涉及信息处理领域，尤其涉及一种数据处理方法、装置、系统、电子设备和计算机存储介质。

技术介绍

[0002]云镜像是云服务厂商向客户提供的用于创建服务器的镜像文件，文件中包含云服务厂商所提供的云产品和客户要求的定制化服务。为维护不同地区及不同客户的多种多样的上云需求，云服务厂商需要在多个物理存储节点之间对云镜像文件进行复制传输，而云镜像文件往往由于占据较大的存储空间导致复制传输的效率较低，无法满足日常使用的需求。因此，如何提升云镜像文件在不同物理存储节点之间的数据传输效率成为需要解决的问题。

技术实现思路

[0003]为了解决现有技术中上述至少一个问题，本申请实施例提供一种数据处理方法、装置、系统、电子设备和计算机存储介质。
[0004]第一方面，本申请实施例提供一种数据处理方法，应用于服务器，所述方法包括：
[0005]接收由第一存储节点发来的用于更新目标对象的基础镜像的存储请求；
[0006]基于所述存储请求在第二存储节点中确定所述目标对象的源镜像；
[0007]基于所述存储请求在所述第一存储节点中确定与所述目标对象的源镜像对应的目标对象的基础镜像；
[0008]确定所述目标对象的源镜像与所述目标对象的基础镜像之间的差异数据；
[0009]向第二存储节点发送传输指令，所述传输指令用于指示第二存储节点将所述差异数据发送至所述第一存储节点，以使得第一存储节点将所述目标对象的基础镜像与所述差异数据合并，生成目标对象的目标镜像。
[0010]第二方面，本申请实施例提供一种数据处理方法，应用于第一存储节点，所述方法包括：
[0011]向服务器发送存储请求；
[0012]接收由第二存储节点发来的目标对象的源镜像与目标对象的基础镜像之间的差异数据；
[0013]将所述目标对象的基础镜像与所述差异数据合并，生成目标对象的目标镜像。
[0014]第三方面，本实施例提供一种数据处理方法，应用于第二存储节点，所述方法包括：
[0015]接收服务器发送的传输指令；
[0016]响应于所述传输指令将目标对象的源镜像与所述目标对象的基础镜像之间的差异数据发送至第一存储节点，以使得所述第一存储节点中所述目标对象的基础镜像与所述差异数据合并，生成所述目标对象的目标镜像。
[0017]第四方面，本实施例提供一种服务器，包括：
[0018]第一接收模块，用于接收由第一存储节点发来的用于更新目标对象的基础镜像的存储请求；
[0019]第一确定模块，用于基于所述存储请求在第二存储节点中确定所述目标对象的源镜像；
[0020]第二确定模块，用于基于所述存储请求在所述第一存储节点中确定与所述目标对象的源镜像对应的目标对象的基础镜像；
[0021]第三确定模块，用于确定所述目标对象的源镜像与所述目标对象的基础镜像之间的差异数据；
[0022]第一发送模块，用于向第二存储节点发送传输指令，所述传输指令用于指示第二存储节点将所述差异数据发送至所述第一存储节点，以使得第一存储节点将所述目标对象的基础镜像与所述差异数据合并，生成目标对象的目标镜像。
[0023]第五方面，本实施例提供一种第一存储节点，包括：
[0024]第二发送模块，用于向服务器发送存储请求；
[0025]第二接收模块，用于接收由第二存储节点发来的目标对象的源镜像与目标对象的基础镜像之间的差异数据；
[0026]合并模块，用于将所述目标对象的基础镜像与所述差异数据合并，生成目标对象的目标镜像。
[0027]第六方面，本实施例提供一种第二存储节点，包括：
[0028]第三接收模块，用于接收服务器发送的传输指令；
[0029]第三发送模块，用于响应于所述传输指令将目标对象的源镜像与所述目标对象的基础镜像之间的差异数据发送至第一存储节点，以使得所述第一存储节点中所述目标对象的基础镜像与所述差异数据合并，生成所述目标对象的目标镜像。
[0030]第七方面，本实施例提供一种数据处理系统，包括：
[0031]服务器，用于接收由第一存储节点发来的用于更新目标对象的基础镜像的存储请求；基于所述存储请求在第二存储节点中确定所述目标对象的源镜像；基于所述存储请求在所述第一存储节点中确定与所述目标对象的源镜像对应的目标对象的基础镜像；确定所述目标对象的源镜像与所述目标对象的基础镜像之间的差异数据；向第二存储节点发送传输指令，所述传输指令用于指示第二存储节点将所述差异数据发送至所述第一存储节点，以使得第一存储节点将所述目标对象的基础镜像与所述差异数据合并，生成目标对象的目标镜像。
[0032]第一存储节点，用于向服务器发送存储请求；接收由第二存储节点发来的目标对象的源镜像与目标对象的基础镜像之间的差异数据；将所述目标对象的基础镜像与所述差异数据合并，生成目标对象的目标镜像。
[0033]第二存储节点，用于接收服务器发送的传输指令；响应于所述传输指令将目标对象的源镜像与所述目标对象的基础镜像之间的差异数据发送至第一存储节点，以使得所述第一存储节点中所述目标对象的基础镜像与所述差异数据合并，生成所述目标对象的目标镜像。
[0034]第八方面，本实施例提供一种电子设备，其特征在于，包括：
[0035]至少一个处理器；以及
[0036]与所述至少一个处理器通信连接的存储器；其中，
[0037]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意一项实施例所提供的方法。
[0038]第九方面，本申请实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意一项实施例所提供的方法。
[0039]上述申请中的一个实施例具有如下优点或有益效果：服务器接收由第一存储节点发来的存储请求后，基于所述存储请求在第二存储节点和第一存储节点中分别确定目标对象的源镜像和目标对象源镜像对应的目标对象的基础镜像，确定所述目标对象的源镜像与所述目标对象的基础镜像之间的差异数据；然后由服务器向第二存储节点发送传输指令，所述传输指令用于指示第二存储节点将所述差异数据发送至所述第一存储节点，以使得第一存储节点将所述目标对象的基础镜像与所述差异数据合并，生成目标对象的目标镜像。由此，通过以增量传输替换原有的全量传输，大大减少了不同物理存储节点之间的数据传输量，提升了云镜像文件在不同物理存储节点之间的传输效率。
[0040]上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
[0041]附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0042]图1是根据本申请一实施例的数据处理方法的流程示意图一；
[0043]图2是根据本申请一实施例的服务器与存储节本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，应用于服务器，所述方法包括：接收由第一存储节点发来的用于更新目标对象的基础镜像的存储请求；基于所述存储请求在第二存储节点中确定所述目标对象的源镜像；基于所述存储请求在所述第一存储节点中确定与所述目标对象的源镜像对应的目标对象的基础镜像；确定所述目标对象的源镜像与所述目标对象的基础镜像之间的差异数据；向第二存储节点发送传输指令，所述传输指令用于指示第二存储节点将所述差异数据发送至所述第一存储节点，以使得第一存储节点将所述目标对象的基础镜像与所述差异数据合并，生成目标对象的目标镜像。2.根据权利要求1所述的方法，所述存储请求包括，所述目标对象的目标镜像在所述第一存储节点中的目标路径；所述基于所述存储请求在所述第一存储节点中确定与所述目标对象的源镜像对应的目标对象的基础镜像，包括：在所述第一存储节点存在所述目标路径的情况下，将所述目标路径所指向的目标对象的候选镜像作为所述目标对象的基础镜像。3.根据权利要求2所述的方法，还包括：在所述第一存储节点不存在所述目标路径的情况下，计算所述目标对象的源镜像与所述第一存储节点中的N个候选镜像中的第i个候选镜像之间的文件相似度；将所述文件相似度的最大值所对应的候选镜像作为所述目标对象的基础镜像。4.根据权利要求3所述的方法，所述存储请求还包括，目标对象的源镜像的名称；所述计算所述目标对象的源镜像与所述第一存储节点中的N个候选镜像中的第i个候选镜像之间的文件相似度，包括：基于所述目标对象的源镜像的名称和所述第一存储节点中的N个候选镜像中的第i个候选镜像的名称，计算所述目标对象的源镜像与所述N个候选镜像中的第i个候选镜像之间的文件相似度。5.根据权利要求3所述的方法，所述计算所述目标对象的源镜像与所述第一存储节点中的N个候选镜像中的第i个候选镜像之间的文件相似度，包括：基于所述目标对象的源镜像的数据信息和所述第一存储节点中的N个候选镜像中的第i个候选镜像的数据信息，计算所述目标对象的源镜像与所述N个候选镜像中的第i个候选镜像之间的文件相似度。6.根据权利要求5所述的方法，所述数据信息包括系统数据信息和用户数据信息。7.根据权利要求3
‑
6所述的方法，还包括：在所述目标对象的源镜像与所述N个候选镜像中的第i个候选镜像之间的文件相似度均小于第一门限值的情况下，在所述第一存储节点中建立新的镜像作为所述目标对象的基础镜像；或者，在所述目标对象的源镜像与所述N个候选镜像中的第i个候选镜像之间的文件相似度均小于第一门限值的情况下，将所述第一存储节点中的指定镜像作为所述目标对象的基础镜像。
8.一种数据处理方法，应用于第一存储节点，所述方法包括：向服务器发送存储请求；接收由第二存储节点发来的目标对象的源镜像与目标对象的基础镜像之间的差异数据；将所述目标对象的基础镜像与所述差异数据合并，生成目标对象的目标镜像。9.一种数据处理方法，应用于第二存储节点，所述方法包括：接收服务器发送的传输指令；响应于所述传输指令将目标对象的源镜像与所述目标对象的基础镜像之间的差异数据发送至第一存储节点，以使得所述第一存储节点中所述目标对象的基础镜像与所述差异数据合并，生成所述目标对象的目标镜像。10.一种服务器，包括：第一接收模块，用于接收由第一存储节点发来的用于更新目标对象的基础镜像的存储请求；第一确定模块，用于基于所述存储请求在第二存储节点中确定所述目标对象的源镜像；第二确定模块，用于基于所述存储请求在所述第一存储节点中确定与所述目标对象的源镜像对应的目标对象的基础镜像；第三确定模块，用于确定所述目标对象的源镜像与所述目标对象的基础镜像之间的差异数据；第一发送模块，用于向第二存储节点发送传输指令，所述传输指令用于指示第二存储节点将所述差异数据发送至所述第一存储节点，以使得第一存储节点将所述目标对象的基础镜像与所述差异数据合并，生成目标对象的目标镜像。11.根据权利要求10所述的服务器，其特征在于，所述存储请求包括：所述目标对象的目标镜像在所述第一存储节点中的目标路径；以及，所述第二确定模块包括判断子模块和第一确定子模块，其中，所述判断子模块，用于判断所述第一存储节点是否存在所述目标路径；所...

【专利技术属性】
技术研发人员：唐登科，
申请(专利权)人：北京首都在线科技股份有限公司，
类型：发明
国别省市：