一种大数据计算管理方法及系统技术方案

本发明专利技术实施例提供了一种大数据计算管理方法及系统，应用于计算机技术领域，其中，所述方法包括：接收第一大数据任务消息，其中，第一大数据任务消息为预设规范格式的任务消息，第一大数据任务消息包括：待处理的任务、第一任务参数、以及用户选择的第一大数据计算框架；将第一任务参数转换为第一大数据计算框架对应格式的第二任务参数；将任务和第二任务参数，发送至第一大数据计算框架，以使第一大数据计算框架根据第二任务参数，运行计算任务。通过本本发明专利技术实施例提供的大数据计算管理方法及系统，提高大数据处理开发和管理的效率，降低开发和管理的复杂度。

Large data computing management method and system

The embodiment of the invention provides a data management system and method, applied to the technical field of computer, wherein, the method comprises: receiving the first task data message, the first big data for the default task message task message format specification, the first big data task message includes: pending tasks, the first the task parameters and the user to select the first big data computing framework; the second task parameter transformation parameters for the first task of the first large data frame format corresponding computing tasks and task parameters; second, send to the first big data computing framework, in order to make the first big data computing framework based on second computing task parameters. The invention provides a large data computing management method and system provided by an embodiment of the invention, improves the efficiency of the development and management of large data processing, and reduces the complexity of development and management.

【技术实现步骤摘要】
一种大数据计算管理方法及系统
本专利技术涉及计算机
，特别是涉及一种大数据计算管理方法及系统。
技术介绍
近年来，随着信息化的不断发展，在各个领域，数据都呈现出爆炸性增长的趋势，进而随着大数据、云计算技术的发展，面向大数据处理的大数据计算框架也层出不穷。比如MapReduce、Storm、Spark和Flink等等。不同的大数据计算框架有着其自身不同的擅长领域，例如，MapReduce专攻离线处理，Storm专攻流计算处理，以及Spark和Flink集离线计算与流计算于一身等。所以在多种应用程序和任务共存的情况下，不同的业务场景需要使用不同的大数据计算框架，大数据处理过程中多种不同的大数据计算框架并存。图1所示为现有的大数据分析的系统架构图，如图1所示，该系统包括：大数据计算框架和资源管理框架，目前，当用户需要使用上述系统分析大数据时，首先需要分析具体的大数据作业任务应该使用具体的哪个大数据计算框架，然后用户将大数据作业任务请求的参数，以不同的大数据计算框架所要求的不同方式，提交至对应的大数据计算框架，再者，大数据计算框架对该大数据任务解析，最后将解析后的任务脚本提交至资源管理框架，对任务脚本进行处理。如此，现有应用多种大数据计算框架进行大数据处理时需要用户将大数据作业任务与不同的大数据计算框架进行匹配，并且管理多种不同的大数据计算框架需要有不同的管理手段，使得大数据处理开发和管理复杂度高、效率低。
技术实现思路
本专利技术实施例的目的在于提供一种大数据计算管理方法及系统，以提高大数据处理开发和管理的效率，降低开发和管理的复杂度。具体技术方案如下：本专利技术实施例公开了一种大数据计算管理方法，包括：接收第一大数据任务消息，其中，所述第一大数据任务消息为预设规范格式的任务消息，所述第一大数据任务消息包括：待处理的任务、第一任务参数、以及用户选择的第一大数据计算框架；将所述第一任务参数转换为所述第一大数据计算框架对应格式的第二任务参数；将所述任务和所述第二任务参数，发送至所述第一大数据计算框架，以使所述第一大数据计算框架根据所述第二任务参数，运行计算所述任务。优选的，在所述将所述第一任务参数转换为所述第一大数据计算框架对应格式的第二任务参数，之后，所述大数据计算管理方法还包括：将所述第二任务参数发送至资源管理框架，请求所述任务所需的资源；分配通过所述资源管理框架针对所述请求得到的所述资源，至所述第一大数据计算框架。优选的，在所述将所述任务和所述第二任务参数，发送至所述第一大数据计算框架，之后，所述大数据计算管理方法还包括：接收第二大数据任务消息，所述第二大数据任务消息包括：待处理的任务、第二任务参数、以及用户选择的第二大数据计算框架；将所述第二任务参数，转换为所述第二大数据计算框架能够处理的第三任务参数；将所述第三任务参数发送至所述第二大数据计算框架，以使所述第二大数据计算框架运行计算所述任务。优选的，在所述接收第二大数据任务消息之前，所述大数据计算管理方法还包括：接收任务停止消息；将所述任务停止消息，发送至所述第一大数据计算框架，以使所述第一大数据计算框架，停止运行计算所述大数据任务。优选的，所述大数据计算管理方法，还包括：接收第三大数据任务消息，其中，所述第三大数据任务消息包括：待处理的任务、第四任务参数以及第三大数据计算框架；将所述任务和所述第四任务参数，发送至所述第三大数据计算框架，以使所述第三大数据计算框架根据所述第四任务参数，运行计算所述任务，其中，所述任务仅能根据所述第四任务参数，通过所述第三大数据计算进行处理。本专利技术实施例还公开了一种大数据计算管理系统，包括：第一接收模块，用于接收第一大数据任务消息，其中，所述第一大数据任务消息为预设规范格式的任务消息，所述第一大数据任务消息包括：待处理的任务、第一任务参数、以及用户选择的第一大数据计算框架；第一转换模块，用于将所述第一任务参数转换为所述第一大数据计算框架对应格式的第二任务参数；第一计算模块，用于将所述任务和所述第二任务参数，发送至所述第一大数据计算框架，以使所述第一大数据计算框架根据所述第二任务参数，运行计算所述任务。优选的，所述大数据计算管理系统，还包括：请求资源模块，用于将所述第二任务参数发送至资源管理框架，请求所述任务所需的资源；分配资源模块，用于分配通过所述资源管理框架针对所述请求得到的所述资源，至所述第一大数据计算框架。优选的，所述大数据计算管理系统，还包括：第二接收模块，用于接收第二大数据任务消息，所述第二大数据任务消息包括：待处理的任务、第二任务参数、以及用户选择的第二大数据计算框架；第二转换模块，用于将所述第二任务参数，转换为所述第二大数据计算框架能够处理的第三任务参数；第二计算模块，用于将所述第三任务参数发送至所述第二大数据计算框架，以使所述第二大数据计算框架运行计算所述任务。优选的，所述大数据计算管理系统，还包括：接收停止消息模块，用于接收任务停止消息；停止任务模块，用于将所述任务停止消息，发送至所述第一大数据计算框架，以使所述第一大数据计算框架，停止运行计算所述大数据任务。优选的，所述大数据计算管理系统，还包括：第三接收模块，用于接收第三大数据任务消息，其中，所述第三大数据任务消息包括：待处理的任务、第四任务参数以及第三大数据计算框架；第三计算模块，用于将所述任务和所述第四任务参数，发送至所述第三大数据计算框架，以使所述第三大数据计算框架根据所述第四任务参数，运行计算所述任务，其中，所述任务仅能根据所述第四任务参数，通过所述第三大数据计算进行处理。本专利技术实施例提供的大数据计算管理方法及系统，通过统一规范编程方法，统一规范不同大数据计算框架使用统一规范标准的调用程序，提高开发效率；通过提供统一的编程接口，进而使得可以通过平台化管理对多个不同的大数据计算框架进行统一的管理，提高大数据处理管理的效率，降低管理的复杂度。当然，实施本专利技术的任一产品或方法必不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为现有的大数据分析的系统架构图；图2为本专利技术实施例大数据分析的系统架构图；图3为本专利技术实施例大数据计算管理方法的流程图；图4为本专利技术实施例统一规范格式过程的示意图；图5为本专利技术实施例提供的更换大数据计算框架的流程图；图6为本专利技术实施例大数据计算管理系统的结构示意图；图7为本专利技术实施例大数据计算管理系统的另一种结构示意图；图8为本专利技术实施例大数据计算管理系统的再一种结构示意图；图9为本专利技术实施例大数据计算管理系统的又一种结构示意图；图10为本专利技术实施例大数据计算管理系统的又再一种结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。随着大数据、云计本文档来自技高网...

【技术保护点】
一种大数据计算管理方法，其特征在于，包括：接收第一大数据任务消息，其中，所述第一大数据任务消息为预设规范格式的任务消息，所述第一大数据任务消息包括：待处理的任务、第一任务参数、以及用户选择的第一大数据计算框架；将所述第一任务参数转换为所述第一大数据计算框架对应格式的第二任务参数；将所述任务和所述第二任务参数，发送至所述第一大数据计算框架，以使所述第一大数据计算框架根据所述第二任务参数，运行计算所述任务。

【技术特征摘要】
1.一种大数据计算管理方法，其特征在于，包括：接收第一大数据任务消息，其中，所述第一大数据任务消息为预设规范格式的任务消息，所述第一大数据任务消息包括：待处理的任务、第一任务参数、以及用户选择的第一大数据计算框架；将所述第一任务参数转换为所述第一大数据计算框架对应格式的第二任务参数；将所述任务和所述第二任务参数，发送至所述第一大数据计算框架，以使所述第一大数据计算框架根据所述第二任务参数，运行计算所述任务。2.根据权利要求1所述的大数据计算管理方法，其特征在于，在所述将所述第一任务参数转换为所述第一大数据计算框架对应格式的第二任务参数，之后，所述大数据计算管理方法还包括：将所述第二任务参数发送至资源管理框架，请求所述任务所需的资源；分配通过所述资源管理框架针对所述请求得到的所述资源，至所述第一大数据计算框架。3.根据权利要求1或2所述的大数据计算管理方法，其特征在于，在所述将所述任务和所述第二任务参数，发送至所述第一大数据计算框架，之后，所述大数据计算管理方法还包括：接收第二大数据任务消息，所述第二大数据任务消息包括：待处理的任务、第二任务参数、以及用户选择的第二大数据计算框架；将所述第二任务参数，转换为所述第二大数据计算框架能够处理的第三任务参数；将所述第三任务参数发送至所述第二大数据计算框架，以使所述第二大数据计算框架运行计算所述任务。4.根据权利要求3所述的大数据计算管理方法，其特征在于，在所述接收第二大数据任务消息之前，所述大数据计算管理方法还包括：接收任务停止消息；将所述任务停止消息，发送至所述第一大数据计算框架，以使所述第一大数据计算框架，停止运行计算所述大数据任务。5.根据权利要求1或2所述的大数据计算管理方法，其特征在于，所述大数据计算管理方法，还包括：接收第三大数据任务消息，其中，所述第三大数据任务消息包括：待处理的任务、第四任务参数以及第三大数据计算框架；将所述任务和所述第四任务参数，发送至所述第三大数据计算框架，以使所述第三大数据计算框架根据所述第四任务参数，运行计算所述任务，其中，所述任务仅能根据所述第四任务参数，通过...

【专利技术属性】
技术研发人员：陈越晨，孙琦，顾亮亮，蒋戈，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11