【技术实现步骤摘要】
本专利技术属于协同流量调度，尤其涉及一种基于端口带宽预留模式的多任务协同流量调度系统与方法。
技术介绍
1、网络业务从实时性要求上一般可以分为实时业务和非实时业务。其中，实时业务对网络质量变化感知明显，对网络的稳定性要求比较高，如实时大数据处理类业务、高性能计算类业务、大模型训练类业务以及语音视频通话类业务等。尤其在云计算平台日益普及的现状下，同一计算集群需要处理多租户、多业务的场景更是屡见不鲜。使每个计算任务拥有独立的运行环境以保障计算任务的高效执行需要的成本则愈发高昂，对于集群环境的整体运行效率也充满了挑战。
2、对于一个分布式计算集群而言，调度的目标不仅要提高单任务的执行效率，还要提升多任务的整体效率和带宽资源利用率。此外，分布式计算集群的管理系统还应能考虑高优先级计算任务的处理，并能在减少其它任务丢包的基础上，优先为高优先级任务提供计算和网络资源。
技术实现思路
1、本专利技术的目的是针对现有技术不足，提出了一种基于端口带宽预留模式的多任务协同流量调度系统与方法。
2、本专利技术是通过以下技术方案来实现的：
3、本专利技术实施例的第一方面提供了一种基于端口带宽预留模式的多任务协同流量调度方法，所述方法包括：
4、获取协同流量调度仿真任务参数和仿真任务服务质量要求；
5、当协同流量调度仿真任务启动时，根据仿真任务参数和仿真任务服务质量要求进行任务带宽资源申请，得到协同流量调度仿真任务的网络带宽资源池，完成任务级资源分
6、当协同流量调度仿真任务启动时或任一协同流量传输子任务传输完成时，根据仿真任务中各计算阶段和传输阶段的依赖关系、以及传输阶段对应的特征，申请任务中各传输子任务占该任务总资源的百分比，完成流量级资源分配；
7、根据任务级资源分配策略和流量级资源分配策略，同时根据任务优先级进行仿真任务的资源动态调整与调度。
8、本专利技术实施例的第二方面提供了一种基于端口带宽预留模式的多任务协同流量调度系统，所述系统包括：
9、分布式计算任务发包组件，用于获取协同流量调度仿真任务参数和仿真任务服务质量要求，并发出任务级资源分配申请、流量级资源分配申请；当任务网络带宽资源发生变化时，发送任务网络带宽资源变化通告报文至分布式计算任务收包组件；
10、分布式计算任务收包组件，用于接收分布式计算任务发包组件发送的协同流量并完成报文解析和统计；在任一协同流量传输完成后反馈协同流量传输结束确认报文至分布式计算任务发包组件的监听端口；响应于任务网络带宽资源变化通告报文，构造并发送资源变化通告确认报文至分布式计算任务发包组件的监听端口；
11、网络调度组件，响应于分布式计算任务发包组件发出的任务级资源分配申请以分配网络带宽资源，制定任务级资源分配策略；响应于分布式计算任务发包组件发出的流量级资源分配申请以生成各传输阶段资源占比，制定流量级资源分配策略；并根据任务优先级进行任务的资源动态调整；
12、sdn交换机，所述sdn交换机包括控制平面和数据平面；所述控制平面响应于网络调度组件下发的流量级资源分配策略并生成流表，同时响应网络调度组件的网络带宽资源查询请求；所述数据平面接收控制平面下发的流表，根据流表为不同任务进行带宽资源的预留并转发任务流量到下一跳sdn交换机或分布式计算任务收包组件。
13、本专利技术实施例的第三方面提供了一种电子设备，包括一个或多个处理器，用于实现上述的基于端口带宽预留模式的多任务协同流量调度方法。
14、本专利技术实施例的第四方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述的基于端口带宽预留模式的多任务协同流量调度方法。
15、与现有技术相比，本专利技术的有益效果是：
16、本专利技术在多计算任务场景下，基于分布式计算任务计算阶段和传输阶段的特征设计了多个分布式计算任务基于带宽资源预留的两级调度机制(任务级资源分配、流量级资源分配)，以优化整体任务用时以及单任务用时，既提升集群网络的利用率，又能引导资源分配算法实现满足更多任务需求的目标。同时，本专利技术将允许高优先级的任务进行抢占式资源调用，基于资源池使用情况、各任务特征及执行状态进行资源调整，并设计了一种资源变化通告机制和通告协议以保障任务流量的丢包率。
本文档来自技高网...【技术保护点】
1.一种基于端口带宽预留模式的多任务协同流量调度方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于端口带宽预留模式的多任务协同流量调度方法，其特征在于，所述协同流量调度仿真任务参数包括：分布式计算任务唯一标识job_id、分布式计算任务中各计算阶段的统计特征、分布式计算任务中各传输阶段的统计特征、分布式计算任务中用于表征各计算阶段和各传输阶段的依赖关系；
3.根据权利要求2所述的基于端口带宽预留模式的多任务协同流量调度方法，其特征在于，当协同流量调度仿真任务启动时，根据仿真任务参数进行任务带宽资源申请，得到协同流量调度仿真任务的网络带宽资源池，完成任务级资源分配包括：
4.根据权利要求2所述的基于端口带宽预留模式的多任务协同流量调度方法，其特征在于，当协同流量调度仿真任务启动时或任一协同流量传输子任务传输完成时，根据仿真任务中各计算阶段和传输阶段的依赖关系、以及传输阶段对应的特征，申请任务各传输子任务占任务总资源的百分比，完成流量级资源分配包括：
5.根据权利要求1所述的基于端口带宽预留模式的多任务协同流量调度方法，其特
6.一种基于端口带宽预留模式的多任务协同流量调度系统，其特征在于，所述系统包括：
7.根据权利要求6所述的一种基于端口带宽预留模式的多任务协同流量调度系统，其特征在于，分布式计算任务发包组件用于获取协同流量调度仿真任务参数和仿真任务服务质量要求，并发出任务级资源分配申请、流量级资源分配申请；网络调度组件响应于分布式计算任务发包组件发出的任务级资源分配申请以分配网络带宽资源，制定任务级资源分配策略；网络调度组件响应于分布式计算任务发包组件发出的流量级资源分配申请以生成各传输阶段资源占比，制定流量级资源分配策略包括：
8.根据权利要求6所述的一种基于端口带宽预留模式的多任务协同流量调度系统，其特征在于，当任务网络带宽资源发生变化时，发送任务网络带宽资源变化通告报文至分布式计算任务收包组件；分布式计算任务收包组件响应于任务网络带宽资源变化通告报文，构造并发送资源变化通告确认报文至分布式计算任务收包组件的监听端口包括：
9.一种电子设备，其特征在于，包括一个或多个处理器，用于实现权利要求1-5中任一项所述的基于端口带宽预留模式的多任务协同流量调度方法。
10.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时，用于实现权利要求1-5中任一项所述的基于端口带宽预留模式的多任务协同流量调度方法。
...【技术特征摘要】
1.一种基于端口带宽预留模式的多任务协同流量调度方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于端口带宽预留模式的多任务协同流量调度方法，其特征在于，所述协同流量调度仿真任务参数包括：分布式计算任务唯一标识job_id、分布式计算任务中各计算阶段的统计特征、分布式计算任务中各传输阶段的统计特征、分布式计算任务中用于表征各计算阶段和各传输阶段的依赖关系；
3.根据权利要求2所述的基于端口带宽预留模式的多任务协同流量调度方法，其特征在于，当协同流量调度仿真任务启动时，根据仿真任务参数进行任务带宽资源申请，得到协同流量调度仿真任务的网络带宽资源池，完成任务级资源分配包括：
4.根据权利要求2所述的基于端口带宽预留模式的多任务协同流量调度方法，其特征在于，当协同流量调度仿真任务启动时或任一协同流量传输子任务传输完成时，根据仿真任务中各计算阶段和传输阶段的依赖关系、以及传输阶段对应的特征，申请任务各传输子任务占任务总资源的百分比，完成流量级资源分配包括：
5.根据权利要求1所述的基于端口带宽预留模式的多任务协同流量调度方法，其特征在于，所述方法还包括：
6.一种基于端口带宽预留模式的多任务协同流量调度系统，其特征在于，所述...
【专利技术属性】
技术研发人员：梁元，程小峰，衣晓玉，肖戈杨，何源浩，姚少峰，
申请(专利权)人：之江实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。