当前位置: 首页 > 专利查询>祝峰专利>正文

一种云计算平台下数据与计算密集型处理系统技术方案

技术编号:11312655 阅读:169 留言:0更新日期:2015-04-16 14:49
本发明专利技术提出了一种云计算平台下数据与计算密集型处理系统。该系统包括计算作业文件生成模块1、并行计算控制模块2、文件管理模块3和出错处理模块4。计算作业文件生成模块1将数据的处理按照作业的方式进行执行;并行计算控制模块2用于分配系统计算资源并控制作业执行,使得系统达到最小的耦合性;文件管理模块3用于维护作业的输入输出文件及运行时产生的临时文件;出错处理模块4用于保证作业长时间运行时能够无缝的运行,防止程序运行时突然终止。本系统能够满足数据与计算密集型处理,同时保证了系统具有较好的鲁棒性和安全性,具有较强的工程应用价值。

【技术实现步骤摘要】
【专利摘要】本专利技术提出了一种云计算平台下数据与计算密集型处理系统。该系统包括计算作业文件生成模块1、并行计算控制模块2、文件管理模块3和出错处理模块4。计算作业文件生成模块1将数据的处理按照作业的方式进行执行;并行计算控制模块2用于分配系统计算资源并控制作业执行,使得系统达到最小的耦合性;文件管理模块3用于维护作业的输入输出文件及运行时产生的临时文件;出错处理模块4用于保证作业长时间运行时能够无缝的运行,防止程序运行时突然终止。本系统能够满足数据与计算密集型处理,同时保证了系统具有较好的鲁棒性和安全性,具有较强的工程应用价值。【专利说明】一种云计算平台下数据与计算密集型处理系统
本专利技术涉及一种数据与计算处理系统,属于云计算
,特别的涉及一种云计算平台下数据与计算密集型处理系统。
技术介绍
如何使用尽可能低的成本完成数据与计算双重密集型任务的计算是许多行业面临的问题之一,如石油勘探中的地震资料处理通常具有数据量大、计算复杂度高、计算效率要求高等特点。超级计算机无疑能为该类计算提供有效的解决方案,但成本过高,而普通的单台计算机的计算能力又不足以完成此类任务。将大型计算任务分配给网络中的多台计算机共同完成,是完成数据与计算双重密集型任务的有效途径之一。 近年来出现的云计算技术能够为数据与计算双重密集型任务的完成处理提供系统的解决方案。云计算是一种基于网络互连的计算系统,这个系统具有很强的伸缩性和可定制性,向上层的用户提供计算服务。云计算系统大量廉价的服务器集群为系统提供硬件基础设施,采用应用程序与底层服务协作开发,最大限度地利用资源,通过多个廉价的服务器之间的冗余,使软件获得高可用性,达到分布式计算的两个重要目标,即可扩展性和高可用性。 目前云计算数据与计算处理系统中存在一些缺陷,对于公有云而言,各个大公司已经致力于深层次开发,而对于私有云系统而言,目前市场中还比较少,目前大多数云计算系统都是面向公有云的,但现有的许多数据和计算双重密集型任务往往仅使用公司或组织内部的硬件与系统资源,这些资源通常是一般互联网用户访问不到的。 针对以上缺点,有必要设计出一种云计算平台系统,满足数据与计算密集型处理的同时,保证系统具有较好的鲁棒性和安全性,并成为了一种新的技术需求。
技术实现思路
(一 )要解决的技术问题 为了解决现有技术存在的上述问题,本专利技术提出了一种云计算平台下数据与计算密集型处理系统。该系统包括计算作业文件生成模块1、并行计算控制模块2、文件管理模块3和出错处理模块4。计算作业文件生成模块I将数据的处理按照作业的方式进行执行,用户通过系统提供的配置接口来配置作业中各个模块的信息,并生成作业配置文件,系统根据作业配置文件进行计算作业文件生成。并行计算控制模块2用于分配系统计算资源并控制作业执行,作业与作业之间的运行不会使用相同的计算节点,使得系统达到最小的耦合性,在数据量很大的计算任务中,使得各个任务彼此独立,增强了系统的稳定性。文件管理模块3用于维护作业的输入输出文件及运行时产生的临时文件。文件管理模块3负责将这个文件发送至所要达到的目的模块,并等待作业结束。出错处理模块4用于保证作业长时间运行时能够无缝的运行,防止程序运行时突然终止。在处理模块运行期间,控制进程将周期性地向各个模块发送检测报文,保证当某一个计算节点发生异常的时候,控制进程将重新分配一个计算节点,并将同这个计算节点相关的输入输出接口模块信息重新配置。 ( 二)技术方案 根据本专利技术的一个方面,提供了一种云计算平台下数据与计算密集型处理系统。本专利技术包括计算作业文件生成模块1、并行计算控制模块2、文件管理模块3和出错处理模块4。 优选的,所述计算作业文件生成模块I将数据的处理按照作业的方式进行执行。 进一步的,所述计算作业是用户通过系统提供的配置接口来配置作业中各个模块的信息,并生成作业配置文件,系统根据作业配置文件进行计算作业文件生成。 进一步的,所述作业由很多的功能模块组成,每一个功能模块都是用户编写的处理模块,由一个独立的进程运行,代表作业的一个处理步骤。 可选的,如果两个模块的入口是相同的文件,则这两个模块是并行处理、相互独立。 优选的,所述并行计算控制模块2用于分配系统计算资源并控制作业执行。 进一步的,所述分配系统计算资源是在计算节点分配完模块之后,阻止在其上分配其他计算模块的请求,在作业运行期间,一个作业所占有的计算资源将完全由这个作业独享。 进一步的,所述作业运行期间,作业与作业之间的运行不会使用相同的计算节点,系统具有最小的耦合性。 进一步的,每个计算作业的计算步骤在作业运行之后将不会产生变动,每个步骤之间都没有细分和聚合关系。 优选的,所述并行计算控制模块2中计算作业并行处理方法包括如下步骤: SlOl:获取作业处理文件; S102:获取集群系统可用计算节点数量; S103:选择空闲节点运行控制进程; S104:分配各个模块至计算节点; S105:设置各个模块输入输出信息; S106:屏蔽已分配模块的节点接受分配新消息; S107:在已分配模块的计算节点上启动相应进程; S108:控制进程向第一个计算节点发送开始消息; S109:控制进程开始等待消息; S110:判断节点出错信息,当出现错误时,执行S111,否则执行S201 ; Slll:重新寻找空闲计算节点; S112:分配模块启动作业运行; S201:判断是否表示作业进度文件,若判断正确,则执行S202,否则执行S301 ; S202:获取作业的进度标示; S203:获取各个计算模块状态信息; S204:保存各个计算模块结果文件; S301:判断是否作业结束; S302:获取作业输出结果。 优选的,所述文件管理模块3用于维护作业的输入输出文件及运行时产生的临时文件。 进一步的,所述的临时文件是一个模块计算产生的输出模块,同时也是后续模块的输入文件。 进一步的,文件管理模块3将所述文件发送至所要达到的目的模块,并等待作业结束。 优选的,所述出错处理模块4用于保证作业长时间运行时能够无缝的运行,防止程序运行时突然终止。 优选的,在处理模块运行期间,控制进程将周期性地向各个模块发送检测报文,采用ping实现。 进一步的,当某一个计算节点发生异常的时候,控制进程将重新分配一个计算节点,并将同这个计算节点相关的输入输出接口模块信息重新配置。 (三)有益效果 从上述技术方案可以看出,本专利技术提出的云计算平台下数据与计算密集型处理系统能够产生积极的有益效果,该系统能够满足数据与计算密集型处理,同时保证了系统具有较好的鲁棒性和安全性,具有较强的工程应用价值。 【专利附图】【附图说明】 图1显示了现有技术中云计算平台原理示意图; 图2显示了本专利技术数据与计算密集型处理系统原理示意图; 图3显示了本专利技术数据与计算密集型处理系统模块关系示意图; 图4显示了本专利技术优选实施例的计算作业并行处理方法流程图。 【具体实施方式】 为使本专利技术的目的、技术方案和优点更加清楚明了,下面结合【具体实施方式】并参照附图,对本专利技术进一步详细说明。应该理解,这些描述只是示本文档来自技高网
...

【技术保护点】
一种云计算平台下数据与计算密集型处理系统,包括:计算作业文件生成模块(1)、并行计算控制模块(2)、文件管理模块(3)和出错处理模块(4),其特征在于:所述计算作业文件生成模块(1)将数据的处理按照作业的方式进行执行;所述并行计算控制模块(2)用于分配系统计算资源并控制作业执行;所述文件管理模块(3)用于维护作业的输入输出文件及运行时产生的临时文件;所述出错处理模块(4)用于保证作业长时间运行时能够无缝的运行,防止程序运行时突然终止。

【技术特征摘要】

【专利技术属性】
技术研发人员:祝峰
申请(专利权)人:祝峰
类型:发明
国别省市:福建;35

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1