一种面向高性能计算的存储服务资源管理方法技术

本发明专利技术公开一种面向高性能计算的存储服务资源管理方法，包括运算节点到存储服务资源映射查询、存储服务资源到运算节点的映射查询和存储服务资源调度；所述管理节点，用于将查询任务指派到指定的CE节点，还用于选择调度策略并计算映射关系，将调度任务派送到指定的CE节点；所述CE节点层，用于在CE节点上以多进程的方式登录到多个运算节点，执行具体的查询任务，还用于在CE节点上以多进程的方式登录到转发节点，然后在转发节点上获取具体的映射信息，执行具体的调度任务；所述运算节点层为存储服务资源的使用层。本发明专利技术解决了存储服务资源和计算节点快速查询和调度的问题，快速高效，可扩展性、通用性强。通用性强。通用性强。

【技术实现步骤摘要】
一种面向高性能计算的存储服务资源管理方法


[0001]本专利技术涉及一种面向高性能计算的存储服务资源管理方法，属于高性能计算领域。

技术介绍

[0002]在高性能计算领域，随着高性能计算机的计算性能的不断提升，存储规模也在不断扩大。目前，计算性能主要通过计算资源的不断扩展来提升，而存储系统则是采用运算节点
‑
转发节点
‑
全局存储的三层转发架构，通过增加转发节点的数量来效缓解底层分布式存储的压力，实现存储规模的扩展。
[0003]在P级高性能计算机中，运算节点的数量已达到数万个，转发节点的数量也达到数百个，而在某些高性能计算平台中，运算节点与转发节点之间是以一种静态映射的方式形成固定的服务关系。在以下两种场景中，上述固定映射关系的弊端尤为突出：一是在转发节点故障时，其对应的运算节点文件系统将无法使用，为了保证计算资源不浪费，必须使用其他的转发节点来代替，但是重新映射可操作性差，而且已有的映射关系发生变化，会导致映射关系混乱，管理难度成倍增加；二是为了临时提升用户应用程序的I/O性能，一种最直接的方法就是为用户队列内的运算节点分配更多的存储服务资源，然而运算节点和存储服务资源之间重新建立映射关系实施起来比较困难。
[0004]在超大规模环境下，尚没有一种高效的映射查询方法，而存储服务资源调度则是以单进程方式逐一进行修改映射关系，执行效率很低。

技术实现思路

[0005]本专利技术的目的是提供一种面向高性能计算的存储服务资源管理方法，以解决高性能计算平台中计算节点与存储服务资源之间的映射关系查询与存储服务资源调度的问题。
[0006]为达到上述目的，本专利技术采用的技术方案是：提供一种面向高性能计算的存储服务资源管理方法，基于由管理节点层、CE节点层和运算节点层构成的分层管理结构，包括运算节点到存储服务资源映射查询、存储服务资源到运算节点的映射查询和存储服务资源调度；所述管理节点，用于将待查询的运算节点分组和查询结果的格式化处理，还用于将查询任务指派到指定的CE节点，还用于选择调度策略并计算映射关系，将调度任务派送到指定的CE节点；所述CE节点层，用于在CE节点上以多进程的方式登录到多个运算节点，执行具体的查询任务，还用于在CE节点上以多进程的方式登录到转发节点，然后在转发节点上获取具体的映射信息，还用于在CE节点上以多进程的方式登录到计算节点，执行具体的调度任务；所述运算节点层为存储服务资源的使用层；所述运算节点到存储服务资源映射查询包括以下步骤：
S11、在管理节点对待查询的运算节点按照均匀分配原则分组，然后将分配好的计算节点分别派送给指定的CE节点；S12、CE节点从管理节点处获得待查询的计算节点，CE节点立即向指派的运算节点发送查询任务；S13、CE节点收到运算节点发回的查询结果，并反馈给管理节点；S14、管理节点对查询结果格式化处理并输出，从而完成运算节点存储服务资源的查询任务；所述存储服务资源到运算节点的映射查询包括以下步骤：S21、管理节点向CE节点发出查询指令后，在多个CE节点上并发登陆到转发节点；S22、在转发节点上，通过netstat命令获取已建立的TCP连接；S23、根据管理节点的查询指令中指定的端口号过滤对应存储服务资源的运算节点的IP地址和端口号；S24、根据运算节点的IP地址的命名规则，将IP地址转换成运算节点号，反馈给管理节点，在管理节点格式化输出；所述存储服务资源调度包括以下步骤：S31、管理节点选择调度策略并计算存储服务资源和计算节点的映射关系；S32、将调度任务派送到指定的CE节点；S33、在CE节点上以多进程的方式登录到计算节点，执行具体的调度任务。
[0007]上述技术方案中进一步改进的方案如下：1. 上述方案中，所述CE节点可复用转发节点，也可用其它单独节点代替。
[0008]2. 上述方案中，S31中所述调度策略可以是任何自定义的规则，根据管理需求制定。
[0009]由于上述技术方案的运用，本专利技术与现有技术相比具有下列优点：本专利技术提出一种高效的查询和调度方法，充分利用分层和并发的思想，将查询和调度任务分发到多个分控节点，在分控节点上又以多进程的方式实施查询和调度任务，解决了部分高性能计算平台分层架构下，存储服务资源和计算节点快速查询和调度的问题，快速高效，可扩展性、通用性强。
附图说明
[0010]附图1为高性能计算分层存储架构示意图；附图2为分层管理结构示意图；附图3为存储服务资源到运算节点查询流程示意图；附图4为调度任务执行流程示意图。
具体实施方式
[0011]实施例：本专利技术提供一种面向高性能计算的存储服务资源管理方法，基于由管理节点层、CE节点层和运算节点层构成的分层管理结构，包括运算节点到存储服务资源映射查询、存储服务资源到运算节点的映射查询和存储服务资源调度；所述管理节点，用于将待查询的运算节点分组和查询结果的格式化处理，还用于
将查询任务指派到指定的CE节点，还用于选择调度策略并计算映射关系，将调度任务派送到指定的CE节点；所述CE节点层，用于在CE节点上以多进程的方式登录到多个运算节点，执行具体的查询任务，还用于在CE节点上以多进程的方式登录到转发节点，然后在转发节点上获取具体的映射信息，还用于在CE节点上以多进程的方式登录到计算节点，执行具体的调度任务；所述运算节点层为存储服务资源的使用层；所述运算节点到存储服务资源映射查询包括以下步骤：S11、在管理节点对待查询的运算节点按照均匀分配原则分组，然后将分配好的计算节点分别派送给指定的CE节点；S12、CE节点从管理节点处获得待查询的计算节点，CE节点立即向指派的运算节点发送查询任务；S13、CE节点收到运算节点发回的查询结果，并反馈给管理节点；S14、管理节点对查询结果格式化处理并输出，从而完成运算节点存储服务资源的查询任务；所述存储服务资源到运算节点的映射查询包括以下步骤：S21、管理节点向CE节点发出查询指令后，在多个CE节点上并发登陆到转发节点，这里CE节点按顺序选择，CE节点数量根据转发节点数量决定，一般按照1:16进行配比，也可根据实际需求做出改变；S22、在转发节点上，通过netstat命令获取已建立的TCP连接；S23、根据管理节点的查询指令中指定的端口号过滤对应存储服务资源的运算节点的IP地址和端口号；S24、根据运算节点的IP地址的命名规则，将IP地址转换成运算节点号，反馈给管理节点，在管理节点格式化输出；所述存储服务资源调度包括以下步骤：S31、管理节点选择调度策略并计算存储服务资源和计算节点的映射关系，有了映射关系，CE节点才知道计算节点使用哪个存储服务资源，CE节点是中间执行节点，收到任务后才能知道做什么；S32、将调度任务派送到指定的CE节点；S33、在CE节点上以多进程的方式登录到计算节点，执行具体的调度任务。
[0012]所述CE节点可复用转发节点，也可用其它单独节点代替。
[0013]S31中所述调度策略可以是任何自定义的规则，根据管理需求制定。
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向高性能计算的存储服务资源管理方法，其特征在于，基于由管理节点层、CE节点层和运算节点层构成的分层管理结构，包括运算节点到存储服务资源映射查询、存储服务资源到运算节点的映射查询和存储服务资源调度；所述管理节点，用于将待查询的运算节点分组和查询结果的格式化处理，还用于将查询任务指派到指定的CE节点，还用于选择调度策略并计算映射关系，将调度任务派送到指定的CE节点；所述CE节点层，用于在CE节点上以多进程的方式登录到多个运算节点，执行具体的查询任务，还用于在CE节点上以多进程的方式登录到转发节点，然后在转发节点上获取具体的映射信息，还用于在CE节点上以多进程的方式登录到计算节点，执行具体的调度任务；所述运算节点层为存储服务资源的使用层；所述运算节点到存储服务资源映射查询包括以下步骤：S11、在管理节点对待查询的运算节点按照均匀分配原则分组，然后将分配好的计算节点分别派送给指定的CE节点；S12、CE节点从管理节点处获得待查询的计算节点，CE节点立即向指派的运算节点发送查询任务；S13、CE节点收到运算节点发回的查询结果，并反馈给管理节点；S14、管...

【专利技术属性】
技术研发人员：刘鑫，高洁，肖伟，余婷，
申请(专利权)人：无锡江南计算技术研究所，
类型：发明
国别省市：