数据统计分析系统及方法技术方案

本发明专利技术实施例公开了一种数据统计分析系统及方法，其中该系统包括：ADMA应用算法单元；所述ADMA应用算法单元，包括：表建模模块，用于创建spark表；算法建模模块，用于提供sql算法；第一任务建模模块，用于根据所述sql算法创建spark任务；第二任务建模模块，用于创建ETL任务。如此，将ADMA应用算法标准化，大大的减少了开发工作量，降低了统计分析系统开发维护成本。

【技术实现步骤摘要】
数据统计分析系统及方法
本专利技术实施例涉及但不限于数据统计分析领域，更具体地涉及一种数据统计分析系统及方法。
技术介绍
随着通信网络技术的提升，从3G(3rdgeneration)到4G(4thgeneration)，从4G到5G(5thgeneration)，用户使用的流量日益增多，对更快、更稳定的业务诉求也日益更明显。运营商也着力推出更快更稳定的业务，随着用户量的增加，业务规模的不断扩大，产生的业务数据越来越多，运营商需要越来越多的数据统计分析指标来监测保证业务的稳定运行。为此，出现了一大批数据统计分析项目，比如统计服务器、日志服务器、运维运营服务器等，这些项目虽能够满足各大运营商的需求，但项目之间展现出明显的碎片化，例如：表现在日志服务器通过crontab定时任务调用shell脚本进行数据分析，将结果输出到ES索引中；统计服务器将结果输出到oracle或Gbase数据表中；若想重新执行数据分析任务，日志服务器需要登录linux服务器手工执行shell脚本；统计服务器需要登录数据库手工执行存储过程等等。可以看出，这些统计分析项目涉及模块较多(ES、oracle、Gbase等)，对数据的底层处理机制各自不同。为交付这些项目，往往需要投入过多的人力，也会出现重复开发的现象，导致统计分析系统开发维护成本非常高。
技术实现思路
有鉴于此，本专利技术实施例提供了一种数据统计分析系统，包括：ADMA应用算法单元；所述ADMA应用算法单元，包括：表建模模块，用于创建spark表；算法建模模块，用于提供sql算法；第一任务建模模块，用于根据所述sql算法创建spark任务；第二任务建模模块，用于创建ETL任务。本专利技术实施例还提供了一种数据统计分析方法，包括：ADMA应用算法单元创建spark表、spark任务和ETL任务；其中，所述spark表包括：用户信息spark表、用户信息预处理spark表和用户总数指标spark表；所述spark任务包括：用户信息数据映射任务、用户信息预处理任务、用户总数指标任务；所述ETL任务包括：用户信息ETL任务。本专利技术实施例提供的技术方案，将ADMA应用算法标准化，大大的减少了开发工作量，降低了统计分析系统开发维护成本。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本专利技术的技术方案，并不构成对本专利技术技术方案的限制。图1为本专利技术一实施例提供的一种数据统计分析系统的结构示意图；图2为本专利技术另一实施例提供的一种数据统计分析系统的结构示意图；图3为本专利技术一实施例提供的一种数据统计分析方法的流程示意图；图4为本专利技术另一实施例提供的一种数据统计分析方法的流程示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下文中将结合附图对本专利技术的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。图1为本专利技术一实施例提供的一种数据统计分析系统的结构示意图，如图1所示，该系统包括：ADMA应用算法单元；所述ADMA应用算法单元，包括：表建模模块，用于创建spark表；算法建模模块，用于提供sql算法；第一任务建模模块，用于根据所述sql算法创建spark任务；第二任务建模模块，用于创建ETL任务。其中，所述spark表包括：用户信息spark表、用户信息预处理spark表和用户总数指标spark表；所述spark任务包括：用户信息数据映射任务、用户信息预处理任务、用户总数指标任务；所述ETL任务包括：用户信息ETL任务。其中，所述表建模模块，具体用于根据表的xml文件和汇总表的xml文件创建所述用户信息spark表、用户信息预处理spark表和用户总数指标spark表；所述算法建模模块，具体用于根据配置算法.sql文件、算法.xml文件和算法.conf文件采用sql实例化所述sql算法；所述第一任务建模模块，具体用于根据任务xml文件和虚拟任务xml文件采用实例化的所述sql算法创建用户信息数据映射任务、用户信息预处理任务、用户总数指标任务；所述第二任务建模模块，具体用于根据ELT规则创建用户信息ETL任务。其中，所述表的xml文件和汇总表的xml文件，所述配置算法.sql文件、算法.xml文件和算法.conf文件，所述任务xml文件和虚拟任务xml文件，所述ELT规则都采用标准化版本。其中，该系统还包括：数据采集单元和存储单元；所述数据采集单元，用于引入用户信息原始数据，输出到所述ADMA应用算法单元；所述ADMA应用算法单元，还包括：ETL模块和计算模块；所述ETL模块，用于调用所述用户信息ETL任务对所述用户信息原始数据进行处理后输出到所述计算模块；所述计算模块，用于调用所述用户信息数据映射任务将处理后的数据进行数据映射到用户信息spark表，调用所述用户信息预处理任务将处理后的数据进行数据预处理后写到用户信息预处理spark表，调用用户总数指标任务将处理后的数据进行指标数据聚合后写到用户总数指标spark表；然后将用户信息spark表、用户信息预处理spark表和用户总数指标spark表保存到所述存储单元。其中，所述用户信息数据映射任务、用户信息预处理任务、用户总数指标任务是数据驱动方式，所述用户信息ETL任务是定时执行方式。其中，该系统还包括：管理门户；所述ADMA应用算法单元，还用于将将存储单元保存的用户信息spark表、用户信息预处理spark表和用户总数指标spark表以及用户信息数据映射任务、用户信息预处理任务、用户总数指标任务、用户信息ETL任务同步到所述管理门户；所述管理门户，用于分类展示所述用户信息数据映射任务、用户信息预处理任务、用户总数指标任务、用户信息ETL任务。其中，所述管理门户，还用于对用户信息spark表、用户信息预处理spark表和用户总数指标spark表、用户信息数据映射任务、用户信息预处理任务、用户总数指标任务、用户信息ETL任务进行血缘分析、监控任务执行状态以及重新执行任务。其中，所述管理门户，还用于当用户信息原始数据未及时引入时，支持补采用户信息原始数据。图2为本专利技术另一实施例提供的一种数据统计分析系统的结构示意图，如图本文档来自技高网...

【技术保护点】
1.一种数据统计分析系统，其特征在于，包括：ADMA应用算法单元；/n所述ADMA应用算法单元，包括：/n表建模模块，用于创建spark表；/n算法建模模块，用于提供sql算法；/n第一任务建模模块，用于根据所述sql算法创建spark任务；/n第二任务建模模块，用于创建ETL任务。/n

【技术特征摘要】
1.一种数据统计分析系统，其特征在于，包括：ADMA应用算法单元；
所述ADMA应用算法单元，包括：
表建模模块，用于创建spark表；
算法建模模块，用于提供sql算法；
第一任务建模模块，用于根据所述sql算法创建spark任务；
第二任务建模模块，用于创建ETL任务。


2.根据权利要求1所述的系统，其特征在于，
所述spark表包括：用户信息spark表、用户信息预处理spark表和用户总数指标spark表；
所述spark任务包括：用户信息数据映射任务、用户信息预处理任务、用户总数指标任务；
所述ETL任务包括：用户信息ETL任务。


3.根据权利要求2所述的系统，其特征在于，
所述表建模模块，具体用于根据表的xml文件和汇总表的xml文件创建所述用户信息spark表、用户信息预处理spark表和用户总数指标spark表；
所述算法建模模块，具体用于根据配置算法.sql文件、算法.xml文件和算法.conf文件采用sql实例化所述sql算法；
所述第一任务建模模块，具体用于根据任务xml文件和虚拟任务xml文件采用实例化的所述sql算法创建用户信息数据映射任务、用户信息预处理任务、用户总数指标任务；
所述第二任务建模模块，具体用于根据ELT规则创建用户信息ETL任务。


4.根据权利要3所述的系统，其特征在于，
所述表的xml文件和汇总表的xml文件，所述配置算法.sql文件、算法.xml文件和算法.conf文件，所述任务xml文件和虚拟任务xml文件，所述ELT规则都采用标准化版本。


5.根据权利要求3所述的系统，其特征在于，该系统还包括：
数据采集单元和存储单元；
所述数据采集单元，用于引入用户信息原始数据，输出到所述ADMA应用算法单元；
所述ADMA应用算法单元，还包括：ETL模块和计算模块；
所述ETL模块，用于调用所述用户信息ETL任务对所述用户信息原始数据进行处理后输出到所述计算模块；

【专利技术属性】
技术研发人员：龚文文，叶军，陶海洋，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44