数据处理方法、装置、电子设备、存储介质及程序产品制造方法及图纸

技术编号：43187365 阅读：4 留言：0更新日期：2024-11-01 20:11

本申请提供一种数据处理方法、装置、电子设备、存储介质及程序产品，涉及云计算、智慧交通等技术领域。本申请中，计算集群包括多个LC、每个LC关联的多个LA组、以及每个LA组关联的多个云计算设备；目标客户端通过向关联的云计算设备发送第一获取请求，以得到目标客户端关联的各个云计算设备的LA组标识信息；并且，基于LA组标识信息对各个云计算设备进行排序，以按照排序后的顺序使用各个云计算设备进行计算。由于排序后使得同一LA组的云计算设备集中在一起，便于使用同LA组的云计算设备进行计算，大大减少云计算设备之间跨LA组的通信，最小化流量绕行，降低网络延迟，减少流量消耗。

全部详细技术资料下载

【技术实现步骤摘要】

本申请涉及云计算、大数据等，本申请涉及一种数据处理方法、装置、电子设备、存储介质及程序产品。

技术介绍

1、高性能计算集群是以高性能的云计算设备为节点，通过rdma（remote directmemory access，远程直接数据存取）技术互联，来提供高带宽和极低延迟的网络服务。用户可使用高性能计算集群，进行大规模高性能计算、人工智能、大数据推荐等并行计算。

2、相关技术中，云端管理人员可根据用户的需求，通过人工操作选取一定数量的云计算设备并编排，并将选取的云计算设备返回给用户，以便用户使得云计算设备进行相关业务的计算。

3、然而，上述过程是通过人工操作编排云计算设备，人工操作编排存在效率低、编排不合理等情况，若编排不合理，极易导致编排的各个云计算设备之间通信存在网络延迟。

技术实现思路

1、本申请提供了一种数据处理方法、装置、电子设备、存储介质及程序产品，能够降低编排后的云计算设备之间通信的网络延迟。所述技术方案如下：

2、一方面，本申请提供了一种数据处理方法，所述方法应用于目标客户端，所述目标客户端是计算集群的应用客户端；所述计算集群包括多个汇聚设备lc、每个lc关联的多个接入设备la组、以及每个la组关联的多个云计算设备；

3、其中，每个la组包括多个la，同一la组关联的各个云计算设备之间基于该la组的la进行通信，不同la组关联的各个云计算设备之间基于对应la组的la和关联的lc进行通信；

4、所述方法包括：</p>

5、向目标客户端关联的各个云计算设备发送第一获取请求，所述第一获取请求用于请求获取云计算设备对应的la组标识信息；

6、接收目标客户端关联的各个云计算设备返回的la组标识信息，所述la组标识信息是基于云计算设备所关联的la组的标识确定的；

7、基于la组标识信息对目标客户端关联的各个云计算设备进行排序，以按照排序后的顺序使用目标客户端关联的各个云计算设备进行计算。

8、另一方面，本申请提供了一种数据处理方法，所述方法应用于计算集群中与目标客户端关联的任一云计算设备，所述计算集群包括多个lc、每个lc关联的多个la组、以及每个la组关联的多个云计算设备；

9、其中，每个la组包括多个la，同一la组关联的各个云计算设备之间基于该la组的la进行通信，不同la组关联的各个云计算设备之间基于对应la组的la和关联的lc进行通信；

10、所述方法包括：

11、接收目标客户端发送的第一获取请求，所述第一获取请求用于请求获取所述任一云计算设备对应的la组标识信息；

12、基于所述第一获取请求，向所述目标客户端返回所述任一云计算设备的la组标识信息，所述la组标识信息是基于云计算设备所关联的la组的标识确定的，以使所述目标客户端基于la组标识信息对目标客户端关联的各个云计算设备进行排序，以按照排序后的顺序使用目标客户端关联的各个云计算设备进行计算。

13、另一方面，本申请提供了一种数据处理方法，所述方法应用于计算集群的云端管理设备，所述计算集群包括多个lc、每个lc关联的多个la组、以及每个la组关联的多个云计算设备；

14、其中，每个la组包括多个la，同一la组关联的各个云计算设备之间基于该la组的la进行通信，不同la组关联的各个云计算设备之间基于对应la组的la和关联的lc进行通信；

15、所述方法包括：

16、当接收到任一云计算设备发送的第二获取请求时，基于预配置的各个云计算设备的设备标识与la组的标识之间的关联关系，确定所述任一云计算设备关联的la组的标识；

17、基于所述任一云计算设备所关联的la组的标识，确定la组标识信息，并向所述任一云计算设备返回所述la组标识信息，以使所述任一云计算设备执行以下步骤：

18、在接收到所关联的目标客户段发送的第一获取请求时，向所述目标客户端返回所述任一云计算设备的la组标识信息，以使所述目标客户端基于la组标识信息对目标客户端关联的各个云计算设备进行排序，以按照排序后的顺序使用目标客户端关联的各个云计算设备进行计算。

19、在一个可能实现方式中，所述基于所述任一云计算设备所关联的la组的标识，确定la组标识信息，包括：

20、对所述云计算设备所关联的la组的标识进行变换处理，得到所述la组的标识的隐式指示值，将所述隐式指示值作为所述云计算设备对应的la组标识信息。

21、另一方面，本申请提供了一种数据处理系统，所述数据处理系统包括计算集群的目标客户端、云端管理设备以及所述目标客户端关联的任一云计算设备；

22、其中，所述计算集群包括多个汇聚设备lc、每个lc关联的多个接入设备la组、以及每个la组关联的多个云计算设备；每个la组包括多个la，同一la组关联的各个云计算设备之间基于该la组的la进行通信，不同la组关联的各个云计算设备之间基于对应la组的la和关联的lc进行通信；

23、所述云端管理设备，用于当接收到任一云计算设备发送的第二获取请求时，基于预配置的各个云计算设备的设备标识与la组的标识之间的关联关系，确定所述任一云计算设备关联的la组的标识；

24、所述云端管理设备，用于基于所述任一云计算设备所关联的la组的标识，确定la组标识信息，并向所述任一云计算设备返回所述la组标识信息；

25、所述目标客户端，用于向目标客户端关联的各个云计算设备发送第一获取请求，所述第一获取请求用于请求获取云计算设备对应的la组标识信息；

26、所述任一云计算设备，用于接收目标客户端发送的第一获取请求，并基于所述第一获取请求，向所述目标客户端返回所述任一云计算设备的la组标识信息，所述la组标识信息是基于云计算设备所关联的la组的标识确定的；

27、所述目标客户端，用于接收目标客户端关联的各个云计算设备返回的la组标识信息；

28、所述目标客户端，用于基于la组标识信息对目标客户端关联的各个云计算设备进行排序，以按照排序后的顺序使用目标客户端关联的各个云计算设备进行计算。

29、另一方面，本申请提供了一种数据处理装置，所述装置应用于目标客户端，所述目标客户端是计算集群的应用客户端；所述计算集群包括多个汇聚设备lc、每个lc关联的多个接入设备la组、以及每个la组关联的多个云计算设备；

30、其中，每个la组包括多个la，同一la组关联的各个云计算设备之间基于该la组的la进行通信，不同la组关联的各个云计算设备之间基于对应la组的la和关联的lc进行通信；

31、所述装置包括：

32、第一发送模块，用于向目标客户端关联的各个云计算设备发送第一获取请求，所述第一获取请求用于请求获取云计算设备对应的la组标识信息；

33、第一接收模块，用于接收目标客户端关联的各个云计本文档来自技高网...

【技术保护点】

1.一种数据处理方法，其特征在于，所述方法应用于目标客户端，所述目标客户端是计算集群的应用客户端；所述计算集群包括多个汇聚设备LC、每个LC关联的多个接入设备LA组、以及每个LA组关联的多个云计算设备；

2.根据权利要求1所述的方法，其特征在于，对于任一云计算设备，所述云计算设备对应的LA组标识信息是通过以下步骤得到的：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述分配请求为新建请求，所述新建请求用于请求为目标客户端新建用户计算集群：

5.根据权利要求4所述的方法，其特征在于，所述以所述第一LA组序列中各个LA组的排列顺序为分配顺序，依次从至少一个LA组关联云计算设备中选取云计算设备，包括：

6.根据权利要求4或5所述的方法，其特征在于，所述基于各个LA组的空闲设备数，对各个LA组进行降序排列，得到第一LA组序列，包括：

7.根据权利要求3所述的方法，其特征在于，所述分配请求为扩容请求，所述扩容请求用于请求为目标客户端的用户计算集群新增云计算设备：

8.一种数据处理方法，其特征在于，所述方法应用于计算集群中与目标客户端关联的任一云计算设备，所述计算集群包括多个LC、每个LC关联的多个LA组、以及每个LA组关联的多个云计算设备；

9.根据权利要求8所述的方法，其特征在于，所述接收目标客户端发送的第一获取请求之前，所述方法还包括：

10.一种数据处理方法，其特征在于，所述方法应用于计算集群的云端管理设备，所述计算集群包括多个LC、每个LC关联的多个LA组、以及每个LA组关联的多个云计算设备；

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

12.一种数据处理装置，其特征在于，所述装置应用于目标客户端，所述目标客户端是计算集群的应用客户端；所述计算集群包括多个汇聚设备LC、每个LC关联的多个接入设备LA组、以及每个LA组关联的多个云计算设备；

13.一种数据处理装置，其特征在于，所述装置应用于计算集群中与目标客户端关联的任一云计算设备，所述计算集群包括多个LC、每个LC关联的多个LA组、以及每个LA组关联的多个云计算设备；

14.一种数据处理装置，其特征在于，所述装置应用于计算集群的云端管理设备，所述计算集群包括多个LC、每个LC关联的多个LA组、以及每个LA组关联的多个云计算设备；

15.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至11任一项所述方法的步骤。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11任一项所述方法的步骤。

17.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11任一项所述方法的步骤。

...

【技术特征摘要】

1.一种数据处理方法，其特征在于，所述方法应用于目标客户端，所述目标客户端是计算集群的应用客户端；所述计算集群包括多个汇聚设备lc、每个lc关联的多个接入设备la组、以及每个la组关联的多个云计算设备；

2.根据权利要求1所述的方法，其特征在于，对于任一云计算设备，所述云计算设备对应的la组标识信息是通过以下步骤得到的：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述分配请求为新建请求，所述新建请求用于请求为目标客户端新建用户计算集群：

5.根据权利要求4所述的方法，其特征在于，所述以所述第一la组序列中各个la组的排列顺序为分配顺序，依次从至少一个la组关联云计算设备中选取云计算设备，包括：

6.根据权利要求4或5所述的方法，其特征在于，所述基于各个la组的空闲设备数，对各个la组进行降序排列，得到第一la组序列，包括：

7.根据权利要求3所述的方法，其特征在于，所述分配请求为扩容请求，所述扩容请求用于请求为目标客户端的用户计算集群新增云计算设备：

8.一种数据处理方法，其特征在于，所述方法应用于计算集群中与目标客户端关联的任一云计算设备，所述计算集群包括多个lc、每个lc关联的多个la组、以及每个la组关联的多个云计算设备；

9.根据权利要求8所述的方法，其特征在于，所述接收目标客户端发送的第一获取请求之前，所述方法还包...

【专利技术属性】
技术研发人员：杨东成，陈煜东，
申请(专利权)人：腾讯云计算北京有限责任公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人