PaaS平台的大数据处理方法技术

本发明专利技术公开了一种PaaS平台的大数据处理方法，包括：PaaS平台服务器接收用户输入的集群创建参数；PaaS平台服务器根据所述集群创建参数，通过虚拟化技术生成分布式处理集群；PaaS平台服务器将用于分析数据的脚本传输给所述分布式处理集群，通过所述分布式处理集群对待分析的数据进行处理；PaaS平台服务器将数据处理结果提供给所述用户。本发明专利技术实施例能够解决PaaS平台的海量数据的处理问题，提高数据处理效率。

【技术实现步骤摘要】

本专利技术涉及云计算
,尤其涉及一种PaaS (Platform-as-a-Service,平台即服务)平台的大数据处理方法。
技术介绍
云计算发展正热火朝天，作为云计算产业的重要领域，PaaS已经成为各大企业角逐未来的重要阵营。由于IaaS (Infrastructure as a Service,基础设施即服务)和SaaS(Software-as-a-service,软件即服务)已经实现了商品化，云环境中众多应用软件都实现了标准化，用户都需要充分利用PaaS带来的创新解决方案，而服务提供商则需要该解决方案来体现自己的差异化竞争。PaaS作为一种服务模式，可以推进SaaS的发展，可以提高Web平台上可利用的资源数量。PaaS解决方案为应用程序的部署提供了方便，简化了购买和管理底层软硬件的复杂性，也降低了成本。随着PaaS平台的发展，越来越多、越来越大的应用部署在PaaS平台上，由于数据产生的自动化进步，越来越多的应用要求将这些数量持续增长的数据流持久化保存下来，并进行后续的查询分析和数据挖掘，这对PaaS平台的海量数据的管理提出了严峻的挑战，PaaS平台下的大数据处理问题孕育而生。
技术实现思路
本专利技术实施例提出一种，能够解决PaaS平台的海量数据的处理问题，提高数据处理效率。 本专利技术实施例提供一种，包括 SI，PaaS平台服务器接收用户输入的集群创建参数；所述集群创建参数包括待创建的分布式处理集群的节点的数量、节点的内存大小和节点的存储空间大小； S2，PaaS平台服务器根据所述集群创建参数，通过虚拟化技术生成分布式处理集群；S3，PaaS平台服务器根据所述用户输入的日志文件存储地址或所述用户部署的应用名称，配置待分析的数据源； S4, PaaS平台服务器将用于分析数据的脚本传输给所述分布式处理集群，通过所述分布式处理集群对待分析的数据进行处理； S5，PaaS平台服务器将数据处理结果提供给所述用户。其中，所述节点为分布式处理集群中的虚拟机；所述节点包括控制节点和计算节点，所述控制节点用于管理集群和分配数据处理任务，所述计算节点用于分析处理数据。本专利技术实施例提供的，利用PaaS平台现有资源，由PaaS平台通过底层的IaaS层虚拟化技术生成分布式处理集群中各节点；通过生成的分布式处理集群为PaaS平台提供大数据处理能力，能够解决PaaS平台的海量数据的处理问题，提高数据处理效率。附图说明图1是本专利技术提供的的一个实施例的流程示意图； 图2是本专利技术提供的PaaS平台的大数据处理系统的一个实施例的结构示意图。具体实施例方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参见图1，是本专利技术提供的的一个实施例的流程示意图。本专利技术实施例提供一种，包括步骤S1- S5，具体如下 SI，PaaS平台服务器接收用户输入的集群创建参数。所述集群创建参数包括待创建的分布式处理集群的节点的数量、节点的内存大小和节点的存储空间大小，以及其他参数。所述节点为分布式处理集群中的虚拟机；所述节点包括控制节点和计算节点，所述控制节点用于管理集群和分配数据处理任务，所述计算节点用于分析处理数据。此外，PaaS平台服务器还根据所述集群创建参数，检测系统资源是否满足要求。在满足要求时，执行步骤S2，创建分布式处理集群。S2，PaaS平台服务器根据所述集群创建参数，通过虚拟化技术生成分布式处理集群。步骤S2具体包括步骤S201 S204，如下 S201，根据所述集群创建参数，通过虚拟化技术生成一台虚拟机，并配置所述虚拟机的运行环境。例如，在生成的虚拟机上安装jdk、mysql、hadoop等软件，并设置环境变量。所需软件可以从大数据处理服务组件下的soft文件夹中拷贝。在一个实施方式中，虚拟机采用Centos5. 5 操作系统，jdk 版本为1. 6. 23, mysql 版本为 5. 5, hadoop 版本为1.0. 2。S202，根据所述集群创建参数中的节点的数量，复制步骤S201所生成的虚拟机，生成所需数量的虚拟机。S203,设置虚拟机之间的无密码通信。步骤S203具体包括控制每台虚拟机启动密钥生成程序，生成各自的公钥和私钥。再将每台虚拟机所生成的公钥复制到其他虚拟机上，实现无密码通信。具体实施时，可以在每台虚拟机上运行一次ssh-keygen -t dsa程序，即可生成各自的公钥和私钥。并将公钥文件里面的内容相互拷到其他虚拟机的authorizecLkey文件中，各登陆一次，生成known_hosts文件,实现无密码通信。S204，设置分布式处理集群中的控制节点和计算节点。本实施例默认将第一次生成的虚拟机作为控制节点，其余虚拟机作为计算节点。并且，修改 hadoop 中的 slaves、masters、mapred-site. xml、hdfs-site.xml> hadoop-env.sh、core-site. xml,配置好分布式处理集群参数。S3,PaaS平台服务器根据所述用户输入的日志文件存储地址或所述用户部署的应用名称，配置待分析的数据源。步骤S3具体包括 PaaS平台服务器接收用户输入日志文件存储地址，或者根据所述用户在PaaS平台上部署的应用的名称获得对应的日志文件存储地址； PaaS平台服务器检测所述日志文件存储地址中的文件格式是否为日志文件(即判断日志文件是否存在)；若是，则从所述日志文件存储地址导入待分析的数据，否则待分析的数据源配置失败。所述日志文件存储地址中的日志文件，即为待分析的数据源，在后续的步骤S4中被导入分布式集群中进行数据处理。S4，PaaS平台服务器将用于分析数据的脚本传输给所述分布式处理集群，通过所述分布式处理集群对待分析的数据进行处理。上述步骤S4具体包括 S401，PaaS平台服务器将用于分析 数据的脚本传输给所述分布式处理集群中的控制节点；所述用于分析数据的脚本为MapReduce脚本，用于指示导入待分析的数据的方法和执行MapReduce作业的方法。S402,所述控制节点选择所述分布式处理集群中空闲的计算节点，由所述计算节点并行地执行数据处理任务，对待分析的数据进行处理。分布式处理集群中的控制节点主要对集群中MapReduce作业的执行进行监督和管理，计算节点负责MapReduce作业中Map任务和Reduce任务的具体实现。当MapReduce作业提交给分布式处理集群时，相关的输入数据将首先被划分为多个片断，然后控制节点挑选空闲的计算节点对数据片断并行地执行Map任务。接着这些由Map任务产生的中间记录，会再次被划分为由控制节点挑选空闲的计算节点对它们并行地执行的Reduce任务，从而获得和每个键值相对应的数据集合作为运算结果。这样的过程将反复执行，直到MapReduce作业中所有的Map任务和Reduce任务执行完毕。具体实施时，PaaS平台服务器还根据脚本类型检测用于分析数据的脚本是否符合要求。例如,要求脚本必须为jar类型。在符合本文档来自技高网...

【技术保护点】
一种PaaS平台的大数据处理方法，其特征在于，包括：S1，PaaS平台服务器接收用户输入的集群创建参数；所述集群创建参数包括待创建的分布式处理集群的节点的数量、节点的内存大小和节点的存储空间大小；S2，PaaS平台服务器根据所述集群创建参数，通过虚拟化技术生成分布式处理集群；S3，PaaS平台服务器根据所述用户输入的日志文件存储地址或所述用户部署的应用名称，配置待分析的数据源；S4，PaaS平台服务器将用于分析数据的脚本传输给所述分布式处理集群，通过所述分布式处理集群对待分析的数据进行处理；S5，PaaS平台服务器将数据处理结果提供给所述用户。

【技术特征摘要】
1.一种PaaS平台的大数据处理方法，其特征在于，包括 S1，PaaS平台服务器接收用户输入的集群创建参数；所述集群创建参数包括待创建的分布式处理集群的节点的数量、节点的内存大小和节点的存储空间大小； S2，PaaS平台服务器根据所述集群创建参数，通过虚拟化技术生成分布式处理集群；S3，PaaS平台服务器根据所述用户输入的日志文件存储地址或所述用户部署的应用名称，配置待分析的数据源； S4, PaaS平台服务器将用于分析数据的脚本传输给所述分布式处理集群，通过所述分布式处理集群对待分析的数据进行处理； S5，PaaS平台服务器将数据处理结果提供给所述用户。2.如权利要求1所述的PaaS平台的大数据处理方法，其特征在于，所述节点为分布式处理集群中的虚拟机；所述节点包括控制节点和计算节点，所述控制节点用于管理集群和分配数据处理任务，所述计算节点用于分析处理数据。3.如权利要求2所述的PaaS平台的大数据处理方法，其特征在于，所述步骤S2具体包括 S201，根据所述集群创建参数，通过虚拟化技术生成一台虚拟机，并配置所述虚拟机的运行环境； S202...

【专利技术属性】
技术研发人员：李进，
申请(专利权)人：广州杰赛科技股份有限公司，
类型：发明
国别省市：