一种基于超算的虚拟化作业调度系统技术方案

本发明专利技术涉及数据处理装置领域，具体涉及一种基于超算的虚拟化作业调度系统，包括用户作业获取模块、用户作业排序模块、分配模块和计算模块，用户作业获取模块、用户作业排序模块、分配模块和计算模块依次连接；用户作业获取模块，用于获取用户提交的作业数据；用户作业排序模块，用于对作业数据按照优先级进行排序，得到优先级序列；分配模块，用于基于优先级序列将作业数据分配到计算节点模块，并返回处理状态，其中处理状态包括空闲、处理中以及剩余处理时间等；计算节点模块，用于对作业数据进行计算。使得更加方便地对处理进度进行把控，然后通过计算节点模块进行数据计算，使得可以更加充分地利用计算资源，提高资源利用率。提高资源利用率。提高资源利用率。

【技术实现步骤摘要】
一种基于超算的虚拟化作业调度系统


[0001]本专利技术涉及数据处理装置领域，尤其涉及一种基于超算的虚拟化作业调度系统。

技术介绍

[0002]超算是指是指能够执行一般个人电脑无法处理的大量资料与高速运算的电脑。
[0003]虚拟化技术是一种资源管理技术，是将计算机的各种实体资源，如服务器、网络、内存及存储等，予以抽象、转换后呈现出来，打破实体结构间的不可切割的障碍，使用户可以比原本的组态更好的方式来应用这些资源。这些资源的新虚拟部份是不受现有资源的架设方式，地域或物理组态所限制，一般所指的虚拟化资源包括计算和存储两种。
[0004]作业调度系统是一种分布式资源管理和调度系统，其原理是根据作业控制块中的信息，审查系统能否满足用户作业的资源需求，以及按照一定的算法，从外存的后备队列中选取某些作业调入内存，并为它们创建进程、分配必要的资源。然后再将新创建的进程插入就绪队列，准备执行。常用的作业调度算法有先来先服务、短作业优先、响应比高优先、优先级调度算法和均衡调度算法。
[0005]现有的计算方式工作效率不高，无法满足现实需要。

技术实现思路

[0006]本专利技术的目的在于提供一种基于超算的虚拟化作业调度系统，旨在可以更好地进行调度作业分配。
[0007]为实现上述目的，本专利技术提供一种基于超算的虚拟化作业调度系统，包括用户作业获取模块、用户作业排序模块、分配模块和计算模块，所述用户作业获取模块、所述用户作业排序模块、所述分配模块和所述计算模块依次连接；
[0008]所述用户作业获取模块，用于获取用户提交的作业数据；
[0009]所述用户作业排序模块，用于对所述作业数据按照优先级进行排序，得到优先级序列；
[0010]所述分配模块，用于基于所述优先级序列将作业数据分配到计算节点模块，并返回处理状态；
[0011]所述计算节点模块，用于对作业数据进行计算。
[0012]其中，所述用户作业获取模块包括分类单元、标记单元和存储单元，所述分类单元、所述标记单元和所述存储单元依次连接；
[0013]所述分类单元，用于对用户的作业数据类型进行判断，分为串行数据和并行数据；
[0014]所述标记单元，用于基于作业数据类型对各个作业数据进行标记；
[0015]所述存储单元，用于将作业数据进行存储。
[0016]其中，所述用户作业排序模块包括策略单元和排序单元，所述策略单元和所述排序单元依次连接；
[0017]所述策略单元，用于获取作业数据中的排序策略；
[0018]所述排序单元，用于基于排序策略对所述作业数据进行排序，得到优先级序列。
[0019]其中，所述排序策略包括时间顺序和加急顺序。
[0020]其中，所述分配模块包括分配单元、状态监控单元和时间预测单元，所述分配单元、所述状态监控单元和所述时间预测单元依次连接；
[0021]所述分配单元用于将作业数据分配到计算节点模块；
[0022]所述状态监控单元，用于对作业数据的运行状态进行监控；
[0023]所述时间预测单元，用于预测作业数据的完成时间。
[0024]其中，所述基于超算的虚拟化作业调度系统还包括环境配置模块，所述环境配置模块用于于配制作业数据的运行环境。
[0025]其中，所述计算节点模块包括虚拟化单元、计算单元、监控单元和节能单元，所述虚拟化单元、所述计算单元、所述监控单元和所述节能单元依次连接；
[0026]所述虚拟化单元用于将所有服务器的资料虚拟化，形成虚拟计算资源；
[0027]所述计算单元，用于将作业数据输入到虚拟计算资源中进行计算；
[0028]所述监控单元，用于监控虚拟计算资源的运行状态
[0029]所述节能单元，用于将待机状态的服务器进入节能状态。
[0030]其中，所述计算节点模块还包括中断单元，所述中断单元，用于资源不足时中断运行中的作业释放虚拟计算资源。
[0031]本专利技术的一种基于超算的虚拟化作业调度系统，通过所述用户作业获取模块获取用户提交的作业数据，可以从数据库中加载所有提交作业的信息到内存列表中，同时排除尚未进入运行状态但仍在分配资源的作业列表，所述用户作业排序模块，用于对所述作业数据按照优先级进行排序，得到优先级序列，在目前的分析服务上，利用java的相关API重新封装功能，在配置相关的服务器信息和数据库信息之后就可以根据不同的环境配置相应的调度作业，主要是shell脚本和存储过程作业，获取配置好的一个或多个调度作业，设置获取的一个或多个调度作业的执行顺序，如此，将获取的调度作业进行了封装，配置成为工作流，在配置工作流过程可以是系统自动进行设置调度作业的执行顺序，避免了业务人员手动设置，节省了人力；当然，也可以是手动设置调度作业的执行顺序，此时方便对执行顺序进行调整。然后按照设置的执行顺序对调度作业调度执行，另外也可以设置其他的优先顺序进行作业调度的执行，然后采用所述分配模块，用于基于所述优先级序列将作业数据分配到计算节点模块，并返回处理状态，其中处理状态包括空闲、处理中以及剩余处理时间等，使得更加方便地对处理进度进行把控，然后通过所述计算节点模块进行数据计算，使得可以更加充分地利用计算资源，提高资源利用率。
附图说明
[0032]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1是本专利技术的第一实施例的一种基于超算的虚拟化作业调度系统结构图。
[0034]图2是本专利技术的第二实施例的用户作业获取模块的结构图。
[0035]图3是本专利技术的第二实施例的用户作业排序模块的结构图。
[0036]图4是本专利技术的第二实施例的分配模块的结构图。
[0037]图5是本专利技术的第三实施例的计算模块的结构图。
[0038]图6是本专利技术的第三实施例的虚拟化单元的结构图。
[0039]图7是本专利技术的第三实施例的节能单元的结构图。
[0040]图8是本专利技术的第三实施例的节能子单元的结构图。
[0041]101
‑
用户作业获取模块、102
‑
用户作业排序模块、103
‑
分配模块、104
‑
计算模块、201
‑
分类单元、202
‑
标记单元、203
‑
存储单元、204
‑
策略单元、205
‑
排序单元、206
‑
分配单元、207
‑
状态监控单元、208
‑
时间预测单元、301
‑
虚拟化单元、302
‑
计算单元、303
‑<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于超算的虚拟化作业调度系统，其特征在于，包括用户作业获取模块、用户作业排序模块、分配模块和计算模块，所述用户作业获取模块、所述用户作业排序模块、所述分配模块和所述计算模块依次连接；所述用户作业获取模块，用于获取用户提交的作业数据；所述用户作业排序模块，用于对所述作业数据按照优先级进行排序，得到优先级序列；所述分配模块，用于基于所述优先级序列将作业数据分配到计算节点模块，并返回处理状态；所述计算节点模块，用于对作业数据进行计算。2.如权利要求1所述的一种基于超算的虚拟化作业调度系统，其特征在于，所述用户作业获取模块包括分类单元、标记单元和存储单元，所述分类单元、所述标记单元和所述存储单元依次连接；所述分类单元，用于对用户的作业数据类型进行判断，分为串行数据和并行数据；所述标记单元，用于基于作业数据类型对各个作业数据进行标记；所述存储单元，用于将作业数据进行存储。3.如权利要求2所述的一种基于超算的虚拟化作业调度系统，其特征在于，所述用户作业排序模块包括策略单元和排序单元，所述策略单元和所述排序单元依次连接；所述策略单元，用于获取作业数据中的排序策略；所述排序单元，用于基于排序策略对所述作业数据进行排序，得到优先级序列。4.如权利要求3所述的一种基于超算的虚拟化作业调度系统，其特征在于，所述排序...

【专利技术属性】
技术研发人员：郑亮，柴华，宋跃，徐冬阳，李永辉，张智鹏，李玥莹，胡健，安融通，
申请(专利权)人：成都超算中心运营管理有限公司，
类型：发明
国别省市：