一种企业管理数据分析处理系统及其方法技术方案

本发明专利技术涉及企业管理技术领域，特别涉及一种企业管理数据分析处理系统，还特别涉及一种企业管理数据分析处理方法；本发明专利技术包括待调度任务生成模块、待调度任务存储模块、任务调度模块和任务处理模块；在本发明专利技术中，由于在企业管理数据分析处理系统的底层利用Hadoop系统来进行数据分析，而在企业管理数据分析处理系统的上层则以任务调度模块来实现对任务的统筹管理，以及提供更为人性化的、更为方便的交互管理模式，从而既可以利用Hadoop系统进行数据分析而避免了繁杂的对关系型数据库的分表、拆表、合并等操作，简化了数据分析流程，又提供了更为方便地对任务进行调度、管理的系统。

A Data Analysis and Processing System for Enterprise Management and Its Method

The invention relates to the technical field of enterprise management, in particular to an enterprise management data analysis and processing system, and in particular to an enterprise management data analysis and processing method. The invention comprises a task generation module, a task storage module, a task scheduling module and a task processing module. Hadoop system is used for data analysis in the bottom layer of enterprise management data analysis and processing system, while task scheduling module is used in the upper layer of enterprise management data analysis and processing system to achieve the overall management of tasks, and provide a more humane and convenient interactive management mode, so that Hadoo can be used as well. P system can analyze data without complicated operations such as table-splitting, table-splitting and merging of relational database, simplify the data analysis process, and provide a more convenient system for task scheduling and management.

【技术实现步骤摘要】
一种企业管理数据分析处理系统及其方法
本专利技术涉及企业管理
，特别涉及一种企业管理数据分析处理系统，还特别涉及一种企业管理数据分析处理方法。
技术介绍
近几年，由于数据在互联网领域的持续增长，各公司都面临海量数据的处理需求。部门内的数据分析主要为公司各部门运维服务，数据分析主要基于各部门的服务器（Server）产生的日志来进行分析，如apache日志、nginx日志等，目的是基于这些日志对用户访问、数据流量在时间维度、产品线维度、域名维度等有明确的量化数据，从而为公司服务器运维管理、流量分配、预估等提供建议。例如对某产品线的nginx日志进行收集，收集到日志后，需要对日志进行清洗，例如，按照每5分钟进行初步合并，并统计所有未来需要的字段数据，可能包含的有点击量、下载数据字节。同时需要按照多个维度进行统计，如按照产品线、域名，按照产品线、服务器ip等维度进行统计，该阶段涉及的数据量很大。最终用户可以基于这些数据拿到某天详细的数据访问量曲线图，或者是某天、某小时的点击或带宽。也可以得到不同维度的下载速度数据等等。现有技术的基于关系型数据库进行数据分析的过程，通常包括以下环节：日志收集、日志数据获取和初步处理、数据拆分入库、子表数据合并、数据库外聚合、数据展现等环节。具体地，数据分析服务器在接收到从日志中获取的待分析数据后，先使用数据检查脚本程序对数据进行检查及格式化处理，然后做初步处理(如5分钟清洗处理，这个环节会将每行日志合并到每个所在的5分钟中(每小时包含12个5分钟，5分钟一个分析点))，然后在此基础上再使用其他异构脚本程序做其他的中间分析，这中间需要涉及到对关系型数据库的分表、拆表及合并，同时还需要考虑关系型数据库在千万级数据量下的处理速度，从而采用对于数据库集群的均衡方案，并从不同服务器上的数据库中拉取数据再使用其他的完成指定需求的脚本程序进行聚合。经过复杂的多层处理环节，最终统计出数据，并展示数据。然而，随着网站规模及用户量的持续增长，数据量激增，现有技术的数据分析过程中通过复杂的分表、拆表、合并得出具体的分析结果，其技术实现流程复杂，需要专门的维护人员进行维护。而且，如果需要增加新的业务分析需求，则需要增加新的分析脚本，不利于扩展。综上所述，现有技术的数据分析方法，因其需要对关系型数据库进行复杂的分表、拆表、合并等操作，实现流程复杂且不易维护；并且，现有技术的数据分析方法不利于扩展新的业务分析需求。
技术实现思路
为了克服上述所述的不足，本专利技术的目的是提供一种企业管理数据分析处理系统，从而简化数据分析流程，便于维护；还提供一种企业管理数据分析处理方法。本专利技术解决其技术问题的技术方案是：一种企业管理数据分析处理系统，包括：待调度任务生成模块，用于根据预先定义的任务参数将收集的数据生成待调度的任务；待调度任务存储模块，用于存储所述待调度任务生成模块生成的待调度的任务；任务调度模块和任务处理模块，所述任务调度模块从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言HiveSQL语句向基于分布式计算Hadoop的数据仓库服务器发送；在接收到所述服务器返回的数据后完成对所述任务的数据分析。作为本专利技术的一种改进，所述任务调度模块具体包括：主任务调度组件和从任务调度组件；所述主任务调度组件用于从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；所述从任务调度组件用于在所述主任务调度组件退出运行或者无法正常运行后，从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块。作为本专利技术的进一步改进，还包括优先级队列模块，其中：所述任务调度模块还用于加载待调度的任务到调度栈后，将所述调度栈中任务执行时间到达的任务封装到优先级对象中，将所述优先级对象发送到优先级队列模块；所述优先级队列模块用于接收到优先级对象后，将该优先级对象的优先级与所述优先级队列模块中其它优先级对象的优先级进行比较，根据比较结果对该优先级对象进行排序；所述任务调度模块还用于从所述优先级队列模块中获取优先级最高的优先级对象，并根据获取的优先级对象中的任务的任务类型调用相应的任务处理模块进行数据分析。作为本专利技术的更进一步改进，所述优先级队列模块具体包括：主优先级队列单元和从优先级队列单元；以及所述主任务调度组件还用于加载待调度的任务到调度栈后，将所述调度栈中任务执行时间到达的任务封装到优先级对象中，并将所述优先级对象发送到所述主优先级队列单元；所述主优先级队列单元用于接收到优先级对象后，将该优先级对象的优先级与所述主优先级队列单元中其它优先级对象的优先级进行比较，根据比较结果对该优先级对象进行排序；所述主任务调度组件还用于从所述主优先级队列单元中获取优先级最高的优先级对象，并根据获取的优先级对象中的任务的任务类型调用相应的任务处理模块进行数据分析；所述从优先级队列单元用于定时保持其数据与所述主优先级队列单元中的数据的一致。作为本专利技术的更进一步改进，所述从任务调度组件还用于在所述主任务调度组件退出运行或者无法正常运行后，加载待调度的任务到调度栈，将所述调度栈中任务执行时间到达的任务封装到优先级对象中，并将所述优先级对象发送到所述从优先级队列单元；并从所述从优先级队列单元中获取优先级最高的优先级对象，并根据获取的优先级对象中的任务的任务类型调用相应的任务处理模块进行数据分析；所述从优先级队列单元还用于接收到优先级对象后，将该优先级对象的优先级与所述从优先级队列单元中其它优先级对象的优先级进行比较，根据比较结果对该优先级对象进行排序。作为本专利技术的更进一步改进，还包括：任务管理模块，用于接收定义的任务参数，并将所述任务参数发送给所述待调度任务生成模块。一种企业管理数据分析处理方法，包括：待调度任务生成模块根据预先定义的任务参数将收集的数据生成待调度的任务后存储到待调度任务存储模块；任务调度模块从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言HiveSQL语句向基于分布式计算Hadoop的数据仓库服务器发送；在接收到所述服务器返回的数据后完成对所述任务的数据分析。作为本专利技术的一种改进，在所述根据加载的任务的任务类型调用相应的任务处理模块之前，还包括：所述任务处理模块将加载的任务封装到任务处理线程中；以及所述调用相应的任务处理模块具体为：所述任务处理线程在运行过程中根据所述任务的任务类型调用相应的任务处理模块。作为本专利技术的进一步改进，所述任务调度模块从所述待调度任务存储模块加载待调度的任务具体为：所述任务调度模块将待调度的任务加载到调度栈；以及在所述任务调度模块将加载的任务封装到任务处理线程之前，还包括：所述任务调度模块监测所述调度栈中各待调度的任务的任务执行时间；从调度栈中取出任务执行时间到达的任务。作为本专利技术的更进一步改进，在所述从调度栈中取出任务执行时间到达的任务之后，还包括：所述任务调度模块将从所述调度栈中取出的任务转换为任务实例，并将转换的任务实例封装本文档来自技高网...

【技术保护点】
1.一种企业管理数据分析处理系统，其特征在于，包括：待调度任务生成模块，用于根据预先定义的任务参数将收集的数据生成待调度的任务；待调度任务存储模块，用于存储所述待调度任务生成模块生成的待调度的任务；任务调度模块和任务处理模块，所述任务调度模块从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言Hive SQL语句向基于分布式计算Hadoop的数据仓库服务器发送；在接收到所述服务器返回的数据后完成对所述任务的数据分析。

【技术特征摘要】
1.一种企业管理数据分析处理系统，其特征在于，包括：待调度任务生成模块，用于根据预先定义的任务参数将收集的数据生成待调度的任务；待调度任务存储模块，用于存储所述待调度任务生成模块生成的待调度的任务；任务调度模块和任务处理模块，所述任务调度模块从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；所述任务处理模块根据所述任务中的分析需求生成相应的类结构化查询语言HiveSQL语句向基于分布式计算Hadoop的数据仓库服务器发送；在接收到所述服务器返回的数据后完成对所述任务的数据分析。2.根据权利要求1所述的企业管理数据分析处理系统，其特征在于，所述任务调度模块具体包括：主任务调度组件和从任务调度组件；所述主任务调度组件用于从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块；所述从任务调度组件用于在所述主任务调度组件退出运行或者无法正常运行后，从所述待调度任务存储模块加载待调度的任务，并根据加载的任务的任务类型调用相应的任务处理模块。3.根据权利要求2所述的企业管理数据分析处理系统，其特征在于，还包括优先级队列模块，其中：所述任务调度模块还用于加载待调度的任务到调度栈后，将所述调度栈中任务执行时间到达的任务封装到优先级对象中，将所述优先级对象发送到优先级队列模块；所述优先级队列模块用于接收到优先级对象后，将该优先级对象的优先级与所述优先级队列模块中其它优先级对象的优先级进行比较，根据比较结果对该优先级对象进行排序；所述任务调度模块还用于从所述优先级队列模块中获取优先级最高的优先级对象，并根据获取的优先级对象中的任务的任务类型调用相应的任务处理模块进行数据分析。4.根据权利要求3所述的企业管理数据分析处理系统，其特征在于，所述优先级队列模块具体包括：主优先级队列单元和从优先级队列单元；以及所述主任务调度组件还用于加载待调度的任务到调度栈后，将所述调度栈中任务执行时间到达的任务封装到优先级对象中，并将所述优先级对象发送到所述主优先级队列单元；所述主优先级队列单元用于接收到优先级对象后，将该优先级对象的优先级与所述主优先级队列单元中其它优先级对象的优先级进行比较，根据比较结果对该优先级对象进行排序；所述主任务调度组件还用于从所述主优先级队列单元中获取优先级最高的优先级对象，并根据获取的优先级对象中的任务的任务类型调用相应的任务处理模块进行数据分析；所述从优先级队列单元用于定时保持其数据与所述主优先级队列单元中的数据的一致。5.根据权利要求4所述的企业管理数据分析处理系统，其特征在于，所述从任务调度组件还用于在所述主任务调度组件退出运行或者无法正常运行后，加载待调度的任务到调度栈，将所述调度栈中任务执行...

【专利技术属性】
技术研发人员：黄建，黄翔，黄东，
申请(专利权)人：广州市东宏软件科技有限公司，
类型：发明
国别省市：广东,44