多应用异步制造技术

本发明专利技术提供一种多应用异步

【技术实现步骤摘要】
多应用异步I/O请求的调度方法及系统、设备及介质


[0001]本专利技术涉及计算机
，具体涉及一种多应用异步
I/O
请求的调度方法及系统
、
设备及介质
。

技术介绍

[0002]随着科技的发展和人们生活水平的提高，应用程序的计算量不断提高，很多程序成为能利用多个处理器核来加速计算的
MPI
并行程序，并运行在具有很多处理器核的高性能计算机或超级计算机上
。
超级计算机集中大规模计算资源，通常拥有大量处理器核，例如数十万甚至上千万处理器核
。
一个应用程序往往难以持续性占有整个超级计算机的所有处理器核，因此一台超级计算机往往会被多个用户同时使用，并同时运行多个应用程序
。
尽管一台超级计算机上同时运行的多个并行程序会使用不同处理器核，但这些应用程序往往会共享使用同一套并行存储服务系统，而这样的共享使用可能会导致对并行存储的资源竞争，甚至使存储开销成为整个超级计算机的性能瓶颈
。
因此，需要提高并行应用程序的
I/O
性能，降低
I/O
开销对程序运行速度的影响
。
[0003]提高
I/O
性能
、
降低
I/O
开销至少可以从两个层级进行
。
第一个层级是在一个并行应用程序的内部进行，应用程序利用计算机系统或中间件所提供的并行
I/O
库与应用程序接口，实现对数据的并行读写，从而提高读写的速度；此外，还有些系统提供了异步
I/O
或异步并行
I/O
的功能与接口，使得应用程序的计算过程能与数据的读写过程重叠进行，从而进一步降低读写开销对程序运行速度的影响
。
第二个层级是在多个应用程序之间及其与并行存储系统之间进行
。
同时运行的多个应用程序会竞争使用并行存储资源，而剧烈的资源竞争可能会导致
I/O
效率的急剧下降
。
良好的
I/O
请求调度方法，可以减少资源竞争情况下程序运行速度的变慢
、
避免卡死等
。
[0004]当前已有工作中，大部分主要针对第一个层级，尤其是针对异步
I/O
功能
。
在同步
I/O
系统中，一个应用程序只有在完成上一个
I/O
请求后，才能发起下一个
I/O
请求
。
而在异步
I/O
系统中，可以在应用程序级用队列缓存多个异步
I/O
请求，并在某个时刻，将多个
I/O
请求提交给并行存储系统
。
这种基于队列的缓存方式为第二个层级的优化提供了新的空间
。

技术实现思路

[0005]有鉴于此，本申请实施例提供一种多应用异步
I/O
请求的调度方法及系统
、
设备及介质，以提高并行应用程序的
I/O
性能，降低
I/O
开销对程序运行速度的影响
。
[0006]本申请实施例提供以下技术方案：一种多应用异步
I/O
请求的调度方法，包括：一个应用程序响应于针对
I/O
请求的一条提交命令，将所述提交命令对应的若干条第一
I/O
请求信息发送至并行存储系统；所述并行存储系统响应于来自一个应用程序发送的若干条所述第一
I/O
请求信息，将若干条所述第一
I/O
请求信息存放至
I/O
请求池中；
所述并行存储系统响应于执行
I/O
请求的命令，从所述
I/O
请求池中的所有
I/O
请求对应的所有应用程序中，确定各个所述应用程序的
I/O
特征信息，并根据设定的
I/O
调度方式和各个所述应用程序的
I/O
特征信息，选择一个目标应用程序，执行所述目标应用程序的一个
I/O
请求
。
[0007]根据本申请一种实施例，各个所述应用程序的
I/O
特征信息，包括以下多种
I/O
性能数据信息中的一种或多种：
I/O
资源占用率，
I/O
等待耗时，
I/O
等待耗时占应用程序运行时间的比例，
I/O
访问耗时，
I/O
访问耗时占应用程序运行时间的比例，
I/O
等待耗时与
I/O
访问耗时的比值，
I/O
请求访问的速度或效率，
I/O
访问的数据量，应用程序与并行存储系统之间进行通信的带宽，应用程序的优先级，
I/O
请求到达并行存储系统的先后顺序
。
[0008]根据本申请一种实施例，并根据设定的
I/O
调度方式和各个所述应用程序的
I/O
特征信息，其中：所述设定的
I/O
调度方式包括在所述
I/O
特征信息中所选用的一种或多种所述
I/O
性能数据信息，以及设定的根据所选用的一种或多种所述
I/O
性能数据信息，选择所述目标应用程序的目标确定方法；其中，所述目标确定方法为顺序筛选法或综合加权法中的一种
。
[0009]根据本申请一种实施例，所述
I/O
资源占用率的确定方法，包括：所述
I/O
资源占用率按照应用程序的
I/O
访问耗时来计算，或按照应用程序的每个计算资源单元的平均
I/O
访问耗时来计算
。
[0010]根据本申请一种实施例，所述
I/O
访问的数据量的确定方法，包括：所述
I/O
访问的数据量按照应用程序的
I/O
访问的数据量来计算，或按照应用程序的每个计算资源单元的平均
I/O
访问的数据量来计算
。
[0011]根据本申请一种实施例，所述
I/O
性能数据信息的确定方法，包括：一种所述
I/O
性能数据信息为应用程序启动以来的累积量，或为一个时间片内的累积量，其中时间片的长短为设定的系统阈值
。
[0012]根据本申请一种实施例，还包括：一个应用程序响应于针对
I/O
请求的一条提交命令，确定所述提交命令对应的若干条第一
I/O
请求信息，将若干条所述第一
I/O
请求信息进行合并处理后获得若干条第一
I/O
请求集信息，将所述第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多应用异步
I/O
请求的调度方法，其特征在于，包括：一个应用程序响应于针对
I/O
请求的一条提交命令，将所述提交命令对应的若干条第一
I/O
请求信息发送至并行存储系统；所述并行存储系统响应于来自一个应用程序发送的若干条所述第一
I/O
请求信息，将若干条所述第一
I/O
请求信息存放至
I/O
请求池中；所述并行存储系统响应于执行
I/O
请求的命令，从所述
I/O
请求池中的所有
I/O
请求对应的所有应用程序中，确定各个所述应用程序的
I/O
特征信息，并根据设定的
I/O
调度方式和各个所述应用程序的
I/O
特征信息，选择一个目标应用程序，执行所述目标应用程序的一个
I/O
请求
。2.
根据权利要求1所述的多应用异步
I/O
请求的调度方法，其特征在于，各个所述应用程序的
I/O
特征信息，包括以下多种
I/O
性能数据信息中的一种或多种：
I/O
资源占用率，
I/O
等待耗时，
I/O
等待耗时占应用程序运行时间的比例，
I/O
访问耗时，
I/O
访问耗时占应用程序运行时间的比例，
I/O
等待耗时与
I/O
访问耗时的比值，
I/O
请求访问的速度或效率，
I/O
访问的数据量，应用程序与并行存储系统之间进行通信的带宽，应用程序的优先级，
I/O
请求到达并行存储系统的先后顺序
。3.
根据权利要求2所述的多应用异步
I/O
请求的调度方法，其特征在于，并根据设定的
I/O
调度方式和各个所述应用程序的
I/O
特征信息，其中：所述设定的
I/O
调度方式包括在所述
I/O
特征信息中所选用的一种或多种所述
I/O
性能数据信息，以及设定的根据所选用的一种或多种所述
I/O
性能数据信息，选择所述目标应用程序的目标确定方法；其中，所述目标确定方法为顺序筛选法或综合加权法中的一种
。4.
根据权利要求2所述的多应用异步
I/O
请求的调度方法，其特征在于，所述
I/O
资源占用率的确定方法，包括：所述
I/O
资源占用率按照应用程序的
I/O
访问耗时来计算，或按照应用程序的每个计算资源单元的平均
I/O
访问耗时来计算
。5.
根据权利要求2所述的多应用异步
I/O
请求的调度方法，其特征在于，所述
I/O
访问的数据量的确定方法，包括：所述
I/O
访问的数据量按照应用程序的
I/O
访问的数据...

【专利技术属性】
技术研发人员：李锐喆，孙超，赵彤，
申请(专利权)人：北京卡普拉科技有限公司，
类型：发明
国别省市：