用于计算集群的数据传输方法、装置及存储介质制造方法及图纸

本公开涉及一种用于计算集群的数据传输方法、装置及存储介质，该方法包括：对该多个节点的存储介质的存储空间进行统一编址，得到编址信息；在该多个节点的每一个节点的存储空间中构建缓存空间；响应于该多个节点中的任意一个目标节点中的应用程序发起数据访问请求，确定需求数据；根据该需求数据确定该需求数据所在的第一节点以及目标物理地址；在该第一节点不是该目标节点的情况下，根据该目标物理地址查询该目标节点的本地缓存空间中是否命中该需求数据；在该本地缓存空间未命中该需求数据的情况下，将该第一节点中的需求数据传输至该目标节点的本地缓存空间，以使得该应用程序从该目标节点的本地缓存空间获取该需求数据。该目标节点的本地缓存空间获取该需求数据。该目标节点的本地缓存空间获取该需求数据。

【技术实现步骤摘要】
用于计算集群的数据传输方法、装置及存储介质


[0001]本公开涉及信息传输领域，具体地，涉及一种用于计算集群的数据传输方法、装置及存储介质。

技术介绍

[0002]当前，随着计算硬件以及高速网络的快速发展，构建多节点的异构计算集群获得了广泛的研究和关注。然而，虽然网络硬件，通信协议等快速发展，网络传输与本地的PCI总线传输相比，其带宽和延迟仍存在一定差距；如何提升跨节点的数据传输能力，提升集群整体计算性能，是当前集群性能优化的重要方向。
[0003]在跨节点集群中，当前的网络传输使用多种方法来实现和提升数据传输性能。然而在相关技术中，直接的内存数据拷贝方法由于需要CPU介入网络软件栈的处理，带来额外的性能开销，性能较差；RDMA技术可以有效实现高速的跨节点数据通信，但是不能解决异构硬件（如GPU）等的通信问题，存在跨节点数据访问灵活性差的问题。

技术实现思路

[0004]为了进一步提高数据传输效率，本公开提供一种用于计算集群的数据传输方法、装置及存储介质。
[0005]为了实现上述目的，本公开第一方面提供一种用于计算集群的数据传输方法，应用于包括多个节点的计算集群，所述方法包括：对所述多个节点的存储介质的存储空间进行统一编址，得到编址信息，所述编址信息中的每一个地址映射至所述多个节点中的任一节点的存储介质的存储空间的一个物理地址；并，在所述多个节点的每一个节点的存储空间中构建缓存空间；响应于所述多个节点中的任意一个目标节点中的应用程序发起数据访问请求，确定所述数据访问请求对应的需求数据；根据所述需求数据的地址确定所述需求数据所在的第一节点以及目标物理地址；在所述第一节点不是所述目标节点的情况下，根据所述目标物理地址查询所述目标节点的本地缓存空间中是否命中所述需求数据；在所述本地缓存空间未命中所述需求数据的情况下，将所述第一节点中存储于所述目标物理地址的需求数据传输至所述目标节点的本地缓存空间；并，将所述本地缓存空间中存储所述需求数据的地址映射为所述目标物理地址，以使得所述应用程序从所述目标节点的本地缓存空间获取所述需求数据。
[0006]可选地，所述存储空间包括内存和/或显存，所述在所述多个节点的每一个节点的存储空间中构建缓存空间包括：在所述多个节点的每一个节点的内存和/或显存中构建缓存空间以及本地存储空间；
所述方法包括：在所述第一节点为所述目标节点的情况下，确定所述目标物理地址指向所述目标节点的本地存储空间，并将所述目标节点的本地存储空间中存储的需求数据返回至所述应用程序。
[0007]可选地，所述方法还包括：根据历史访问特征，基于预取算法确定预取数据以及预取规模；将所述预取数据对应的物理地址中的数据按照所述预取规模缓存至所述本地缓存空间。
[0008]可选地，所述方法还包括：在将所述预取数据对应的物理地址中的数据按照所述预取规模缓存至所述本地缓存空间后，将所述本地缓存空间中缓存所述预取数据的存储空间的地址映射为所述预取数据对应的物理地址。
[0009]可选地，所述在所述多个节点中的每一个节点的内存和/或显存中构建缓存空间包括：在所述多个节点中的每一个节点的内存和显存中构建缓存空间，所述缓存空间包括内存缓存以及显存缓存，并设置所述显存缓存与所述内存缓存的优先级；所述将所述第一节点中存储于所述目标物理地址的需求数据传输至所述目标节点的本地缓存空间包括：根据所述显存缓存与所述内存缓存的优先级，在优先级较高的缓存空间未满的情况下，将所述存储于所述目标物理地址的需求数据缓存至优先级较高的缓存空间。
[0010]可选地，所述设置所述显存缓存与所述内存缓存的优先级包括：将所述显存缓存设置为第一优先级，将所述内存缓存设置为第二优先级；所述根据所述显存缓存与所述内存缓存的优先级，在优先级较高的缓存空间未满的情况下，将所述存储于所述目标物理地址的需求数据缓存至优先级较高的缓存空间包括：在所述显存缓存的存储空间已满的情况下，若所述存储于所述目标物理地址的需求数据未完全缓存，则将所述存储于所述目标物理地址的需求数据未缓存完成的数据缓存至内存缓存的存储空间。
[0011]可选地，所述将所述第一节点中存储于所述目标物理地址的需求数据传输至所述目标节点的本地缓存空间还包括：确定所述目标物理地址指向的存储空间为内存或显存；在所述目标物理地址指向的存储空间为内存的情况下，将所述内存缓存的优先级设置为第一优先级，并将所述显存缓存的优先级设置为第二优先级；在所述目标物理地址指向的存储空间为显存的情况下，将所述显存缓存的优先级设置为第一优先级，并将所述内存缓存的优先级设置为第二优先级；所述第一优先级的优先级高于所述第二优先级的优先级。
[0012]可选地，所述将所述第一节点中存储于所述目标物理地址的需求数据传输至所述目标节点的本地缓存空间包括：通过直接网络拷贝或远程直接数据存取或显存远程直接数据存取，将所述第一节
点中存储于所述目标物理地址的需求数据传输至所述目标节点的本地缓存空间。
[0013]本公开第二方面提供一种用于计算集群的数据传输装置，所述装置设置于包括多个节点的计算集群，所述装置包括：统一编址模块，用于对所述多个节点的存储介质的存储空间进行统一编址，得到编址信息，所述编址信息中的每一个地址映射至所述多个节点中的任一节点的存储介质的存储空间的一个物理地址；并，缓存空间构建模块，用于在所述多个节点的每一个节点的存储空间中构建缓存空间；第一确定模块，用于响应于所述多个节点中的任意一个目标节点中的应用程序发起数据访问请求，确定所述数据访问请求对应的需求数据；第二确定模块，用于根据所述需求数据的地址确定所述需求数据所在的第一节点以及目标物理地址；命中查询模块，用于在所述第一节点不是所述目标节点的情况下，根据所述目标物理地址查询所述目标节点的本地缓存空间中是否命中所述需求数据；传输模块，用于在所述本地缓存空间未命中所述需求数据的情况下，将所述第一节点中存储于所述目标物理地址的需求数据传输至所述目标节点的本地缓存空间；映射模块，将所述本地缓存空间中存储所述需求数据的地址映射为所述目标物理地址，以使得所述应用程序从所述目标节点的本地缓存空间获取所述需求数据。
[0014]本公开第三方面提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面中任一项所述方法的步骤。
[0015]通过上述技术方案，通过对计算集群内的多个节点中的存储介质进行统一编址，应用可以在任意一个节点直接进行数据访问，而无需关心数据的实际存储位置，无需主动的进行数据拷贝，有效地解决了跨节点数据访问灵活性差的问题。并且，通过构建缓存空间，在本地构建远端数据的缓存，应用在进行跨节点数据访问时，可以获得与本节点数据访问相近的性能，进一步提高了数据传输效率。
[0016]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0017]附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于计算集群的数据传输方法，其特征在于，应用于包括多个节点的计算集群，所述方法包括：对所述多个节点的存储介质的存储空间进行统一编址，得到编址信息，所述编址信息中的每一个地址映射至所述多个节点中的任一节点的存储介质的存储空间的一个物理地址；并，在所述多个节点的每一个节点的存储空间中构建缓存空间；响应于所述多个节点中的任意一个目标节点中的应用程序发起数据访问请求，确定所述数据访问请求对应的需求数据；根据所述需求数据的地址确定所述需求数据所在的第一节点以及目标物理地址；在所述第一节点不是所述目标节点的情况下，根据所述目标物理地址查询所述目标节点的本地缓存空间中是否命中所述需求数据；在所述本地缓存空间未命中所述需求数据的情况下，将所述第一节点中存储于所述目标物理地址的需求数据传输至所述目标节点的本地缓存空间；并，将所述本地缓存空间中存储所述需求数据的地址映射为所述目标物理地址，以使得所述应用程序从所述目标节点的本地缓存空间获取所述需求数据。2.根据权利要求1所述的方法，其特征在于，所述存储空间包括内存和/或显存，所述在所述多个节点的每一个节点的存储空间中构建缓存空间包括：在所述多个节点的每一个节点的内存和/或显存中构建缓存空间以及本地存储空间；所述方法包括：在所述第一节点为所述目标节点的情况下，确定所述目标物理地址指向所述目标节点的本地存储空间，并将所述目标节点的本地存储空间中存储的需求数据返回至所述应用程序。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据历史访问特征，基于预取算法确定预取数据以及预取规模；将所述预取数据对应的物理地址中的数据按照所述预取规模缓存至所述本地缓存空间。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：在将所述预取数据对应的物理地址中的数据按照所述预取规模缓存至所述本地缓存空间后，将所述本地缓存空间中缓存所述预取数据的存储空间的地址映射为所述预取数据对应的物理地址。5.根据权利要求2所述的方法，其特征在于，所述在所述多个节点中的每一个节点的内存和/或显存中构建缓存空间包括：在所述多个节点中的每一个节点的内存和显存中构建缓存空间，所述缓存空间包括内存缓存以及显存缓存，并设置所述显存缓存与所述内存缓存的优先级；所述将所述第一节点中存储于所述目标物理地址的需求数据传输至所述目标节点的本地缓存空间包括：根据所述显存缓存与所述内存缓存的优先级，在优先级较高的缓存空间未满的情况下，将所述存储于所述目标物理地址的需求数据缓存至优先级较高的缓存空间。6.根据权利要求5所述的方法，其特征在于，所述设置所述显存缓存与所述内存缓存的
优先级包括：将所述显存缓存设置为第一优先级，将所述内存缓存设置为第...

【专利技术属性】
技术研发人员：黄增士，王鲲，陈飞，邹懋，杨智佳，
申请(专利权)人：维塔科技北京有限公司，
类型：发明
国别省市：