一种基于Web的作业计算系统技术方案

本发明专利技术公开了一种基于Web的作业计算系统，包括：接收模块，用于通过网络接收作业和计算作业所需的工作流；脚本生成模块，用于根据作业和工作流生成作业脚本；执行模块，用于通过资源管理器执行脚本，获取作业的计算结果文件；记录模块，用于记录计算结果文件；本发明专利技术通过脚本生成模块根据作业和工作流生成作业脚本，可以消除用户编写脚本和开发工具的障碍，使用户可以更加方便的通过资源管理器管理的计算机集群对作业进行高性能计算；通过记录模块记录计算结果文件，使用户可以通过网络便捷的下载计算结果文件；并且通过本系统可以对多个资源管理器管理的计算机集群进行整合，提高了对于作业的高性能计算的效果，提升了用户体验。

【技术实现步骤摘要】
一种基于Web的作业计算系统
本专利技术涉及高性能计算领域，特别涉及一种基于Web的作业计算系统。
技术介绍
随着现代社会科技的发展，对于大量数据构成的作业的高性能计算越来越受到人们的重视。在当今许多科学领域中计算管道或工作流已成为分析大量数据的重要工具。这些工作流的计算复杂度有着显着不同，但通常需要数天的计算时间和大量的计算能力。为了加快这些作业的执行，并行算法和高性能计算集群的应用已经变得越来越普遍。计算机集群通过聚合来自多个单个计算机的资源来提供高性能。资源管理器是管理在这些集群上的作业的提交和调度以及对单个作业的资源(如存储器和处理核)分配所需的软件系统。随着计算建模和大数据分析在各领域中的普及，越来越多的研究人员需要使用高性能计算资源。现有技术中，研究人员对作业的高性能计算，需要通过自身将作业和计算作业所需的工作流编写成资源管理器可以执行的脚本，使得研究人员对于编写脚本和开发工具的存在一定的障碍。并且由于不存在专门对作业进行高性能计算的系统，并无法对资源管理器的计算机集群进行整合，使得计算机集群对于作业的计算的能力不足。因此，如何提供一种对作业进行高性能计算的系统，使专业领域用户更容易使用高性能计算，是现今急需解决的问题。
技术实现思路
本专利技术的目的是提供一种基于Web的作业计算系统，以消除用户编写脚本和开发工具的障碍，使用户更容易对作业进行高性能计算，提升用户体验。为解决上述技术问题，本专利技术提供一种基于Web的作业计算系统，包括：接收模块，用于通过网络接收作业和计算所述作业所需的工作流；其中，所述工作流由文件组成；脚本生成模块，用于根据所述作业和所述工作流生成作业脚本；执行模块，用于通过资源管理器执行所述脚本，获取所述作业的计算结果文件；记录模块，用于记录所述计算结果文件。可选的，所述接收模块，包括：接收单元，用于通过网络接收预先设置的Web界面发送的所述作业和所述工作流。可选的，所述脚本生成模块，包括：第一生成单元，用于根据所述作业、所述工作流和预设的请求资源，生成作业脚本；第二生成单元，用于根据所述作业、所述工作流和所述Web界面发送的请求资源，生成作业脚本；其中，所述请求资源包括计算所述作业所需的内存、内核数以及分配给所述作业的挂起时间。可选的，该系统还包括：访问模块，用于按预设时间间隔访问所述资源管理器，获取所述脚本执行状态对应的数据；解析模块，用于解析所述数据，获取所述数据对应的所述作业的状态信息，并将所述状态信息保存到所述记录模块。可选的，所述记录模块，包括：展示单元，用于根据所述Web界面发送的展示请求，将所述展示请求对应的所述数据的所述状态信息发送到所述Web界面，以通过所述Web界面向用户展示所述状态信息。可选的，所述执行模块，还包括：管理单元，用于根据所述Web界面发送的管理请求，对所述作业执行对应的操作；其中，所述管理请求包括删除请求、取消请求、暂停请求和更改请求中至少一项。可选的，所述管理单元，包括：删除子单元，用于根据所述删除请求，删除所述资源管理器并未执行的所述脚本；取消子单元，用于根据所述取消请求，取消所述资源管理器正在执行的所述脚本；暂停子单元，用于根据所述暂停请求，暂停所述资源管理器并未执行或正在执行的所述脚本；更改子单元，用于根据所述更改请求，对暂停的所述脚本进行对应的更改。可选的，该系统还包括：验证模块，用于根据所述接收模块通过网络接收的用户登录信息，判断所述用户登录信息是否为预设用户的登录信息；若是，则通过所述接收模块接收所述用户登录信息对应的用户的所述作业和所述工作流。可选的，该系统还包括：显示模块，用于获取所述资源管理器对应的集群的当前状态的总结信息；其中，所述总结信息包括所述集群中在线节点数量、离线节点数量、正在运行的处理器的比例、正在运行的作业数量、等待运行的作业数量和可用的磁盘空间量中至少一项。可选的，该系统还包括：共享模块，用于保存所述工作流和/或所述工作流中的预定的文件。本专利技术所提供的一种基于Web的作业计算系统，包括：接收模块，用于通过网络接收作业和计算所述作业所需的工作流；其中，所述工作流由文件组成；脚本生成模块，用于根据所述作业和所述工作流生成作业脚本；执行模块，用于通过资源管理器执行所述脚本，获取所述作业的计算结果文件；记录模块，用于记录所述计算结果文件；可见，本专利技术通过脚本生成模块根据作业和工作流生成作业脚本，可以消除用户编写脚本和开发工具的障碍，使用户可以更加方便的通过资源管理器管理的计算机集群对作业进行高性能计算；通过记录模块记录计算结果文件，使用户可以通过网络在任意地点便捷的下载计算结果文件；并且通过本系统可以对多个资源管理器管理的计算机集群进行整合，提高了对于作业的高性能计算的效果，提升了用户体验。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例所提供的一种基于Web的作业计算系统的结构图；图2为本专利技术实施例所提供的另一种基于Web的作业计算系统的结构图；图3为本专利技术实施例所提供的另一种基于Web的作业计算系统的软件架构的示意图；图4为本专利技术实施例所提供的另一种基于Web的作业计算系统的系统架构的示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参考图1，图1为本专利技术实施例所提供的一种基于Web的作业计算系统的结构图。该系统可以包括：接收模块100，用于通过网络接收作业和计算作业所需的工作流；其中，工作流由文件组成。脚本生成模块200，用于根据作业和工作流生成作业脚本。执行模块300，用于通过资源管理器执行脚本，获取作业的计算结果文件。记录模块400，用于记录计算结果文件。其中，对于接收模块100通过网络作业和工作流的方式，也就是用户上传或设置作业和工作流的位置，可以为本系统所处的Web服务器通过Web接口获取用户在Web中上传或设置作业和工作流；也可以为Web服务器通过其他接口获取用户在对应的其他位置中上传或设置作业和工作流，如Web服务器通过网络接收用户在的应用程序中上传或设置作业和工作流。本实施例对此不受任何限制。可以理解的是，脚本生成模块200根据作业和工作流生成作业脚本的过程中，需要对如计算作业所需的内存、内核数以及分配给作业的挂起时间的请求资源进行设置。对于请求资源的设置方式，可以为直接使用预设的请求资源，也就是系统默认的请求资源或对作业进行分析后得到的请求资源；也可以为通过接收模块100接收的用户设置的请求资源，如用户在Web界面中上直接传或设置了作业、工作流和请求资源。本实施例对此不做任何限制。需要说明的是，本实施例所提供的系统中的执行模块300，可以通过资源管理器执行脚本生成模块200生成的脚本，本文档来自技高网...

【技术保护点】
一种基于Web的作业计算系统，其特征在于，包括：接收模块，用于通过网络接收作业和计算所述作业所需的工作流；其中，所述工作流由文件组成；脚本生成模块，用于根据所述作业和所述工作流生成作业脚本；执行模块，用于通过资源管理器执行所述脚本，获取所述作业的计算结果文件；记录模块，用于记录所述计算结果文件。

【技术特征摘要】
1.一种基于Web的作业计算系统，其特征在于，包括：接收模块，用于通过网络接收作业和计算所述作业所需的工作流；其中，所述工作流由文件组成；脚本生成模块，用于根据所述作业和所述工作流生成作业脚本；执行模块，用于通过资源管理器执行所述脚本，获取所述作业的计算结果文件；记录模块，用于记录所述计算结果文件。2.根据权利要求1所述的基于Web的作业计算系统，其特征在于，所述接收模块，包括：接收单元，用于通过网络接收预先设置的Web界面发送的所述作业和所述工作流。3.根据权利要求2所述的基于Web的作业计算系统，其特征在于，所述脚本生成模块，包括：第一生成单元，用于根据所述作业、所述工作流和预设的请求资源，生成作业脚本；第二生成单元，用于根据所述作业、所述工作流和所述Web界面发送的请求资源，生成作业脚本；其中，所述请求资源包括计算所述作业所需的内存、内核数以及分配给所述作业的挂起时间。4.根据权利要求3所述的基于Web的作业计算系统，其特征在于，还包括：访问模块，用于按预设时间间隔访问所述资源管理器，获取所述脚本执行状态对应的数据；解析模块，用于解析所述数据，获取所述数据对应的所述作业的状态信息，并将所述状态信息保存到所述记录模块。5.根据权利要求4所述的基于Web的作业计算系统，其特征在于，所述记录模块，包括：展示单元，用于根据所述Web界面发送的展示请求，将所述展示请求对应的所述数据的所述状态信息发送到所述Web界面，以通过所述Web界面向用户展示所述状态信息。6....

【专利技术属性】
技术研发人员：郭晓新，魏晓辉，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林,22