基于移动互联网海量数据的服务层系统及其方法技术方案

本发明专利技术公开了一种基于移动互联网海量数据的服务层系统及其方法，属于大数据领域。本系统包括依次连接的ETL（100）、数据中心（200）、服务层平台（300）和业务系统（400）；所述的数据中心（200）是海量数据存储与处理的核心部件，包括数据存储中心（210）和数据计算中心（220）；所述的服务层平台（300）是数据中心（200）对外提供服务的窗口，包括底层数据访问服务模块（310）、业务接口模块（320）和控制模块（330）；本方法是：①业务系统注册；②业务系统查询。本发明专利技术能够对所有移动互联网的海量数据进行统一查询接口，为各应用系统统一查询服务提供技术支持。

Service layer system and method based on mass data of mobile Internet

The invention discloses a service layer system based on mass data of mobile Internet and a method thereof, belonging to the field of large data. This system includes the ETL (100), data center (200), service platform (300) and business systems (400); the data center (200) is the core component of storing and processing massive data, including data storage center (210) and (220) data center service; the platform layer (300) is a data center (200) to provide services outside the window, including the underlying data access service module (310) and the service interface module (320) and a control module (330); the method is: the business registration system; the inquiry service system. The invention can uniformly query the mass data of all the mobile Internet, and provide technical support for the unified inquiry service of each application system.

【技术实现步骤摘要】
基于移动互联网海量数据的服务层系统及其方法
本专利技术属于大数据领域，尤其涉及一种基于移动互联网海量数据的服务层系统及其方法。
技术介绍
近年来，随着移动互联网上网速度的不断提升和资费价格的不断下降，移动互联网数据成爆炸性的生长，如何存储这些数据，如何在这些数据中快速提取到用户所需要的信息已成为一个热门课题。移动互联网拥有的数据源丰富多样，包括各种手机客户端产生的业务数据、网页、音频数据、视频文件和图片等结构化和非结构化的一些数据。针对不同种类数据的存储也出现了各类SQL以及NoSQL数据库。在互联网行业，业务营销人员如果需要在海量数据中要查找到有用的信息，需要奔走于各个业务部门，查询各套系统，大大影响了工作效率。
技术实现思路
本专利技术的目的在于克服现有技术中存在的缺点和不足，提供一种基于移动互联网海量数据的服务层系统及其方法，实现以下功能：①统一各种异构数据库（SQL/NoSQL）的访问方式；②数据表的自定义（用户自定义表视图）。实现本专利技术目的的技术方案是：一、基于移动互联网海量数据的服务系统（简称系统）本系统包括依次连接的ETL、数据中心、服务层平台和业务系统。二、基于移动互联网海量数据的服务方法（简称方法）本方法包括下列步骤：①业务系统注册业务系统访问服务层平台300，需要先在服务层平台300中注册，生成系统的唯一号。②业务系统查询。本专利技术具有下列优点和积极效果：①提供了通用的服务层访问平台，按照标准的httppost和get方法调用接口方法，提供标准的json格式数据返回；②处理速度快，且具有容错性；③通过整合Hadoop分布式文件系统、Solr全文检索系统、ibatis等数据库接口和服务层平台融合等技术，为其它大数据技术之间的模块化整合以及统一操作接口提供了参考。总之，本专利技术能够对所有移动互联网的海量数据进行统一查询接口，为各应用系统统一查询服务提供技术支持。附图说明图1是本系统的结构方框图；图2是数据中心的结构方框图；图3是服务中心的结构方框图；图4是系统注册流程图；图5是系统查询请求流程图。其中：100—ETL；200—数据中心，210—数据存储中心，201—Linux（本地文件系统），202—HBase（海量数据库），203—Solr（全文数据库），204—MySQL（业务数据库），205—Hadoop；220—数据计算中心，211—SQL（查询模块），212—Hive（统计分析模块），213—Mahout（数据挖掘模块），214—Spark（数据处理模块）；300—服务层平台，310—底层数据访问服务模块，320—业务接口模块，321—通用业务接口，322—原始业务接口，323—基础业务接口；330—控制模块，331—日志，332—授权；400—业务系统，410—第1业务系统,420—第2业务系统，……4N0—第N业务系统，其中N≤100。英译汉1、Storm：是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求；2、Kafka：是一种高吞吐量的分布式发布订阅消息系统；3、HDFS：Hadoop的分布式文件系统；4、Flume：是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。5、Linux：一种操作系统；6、Hadoop：一种能够对大量数据进行分布式处理的软件框架；7、MySQL：MySQL是一个关系型数据库管理系统；8、HBase：一种分布式的，面向列的Hadoop数据库；9、Solr：一种基于Lucene的搜索服务器；10、Hive：是基于Hadoop的一种数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行；11、Spark：一种快速的大数据分布式处理引擎；12、Mahout：ASF旗下的一种开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序；13、Zookeeper：是一种分布式的，开放源码的分布式应用程序协调服务，它是一个为分布式应用提供一致性服务的软件。具体实施方式以下结合附图和实施例详细说明：一、系统1、总体如图1，本系统包括依次连接的ETL100、数据中心200、服务层平台300和业务系统400。2、功能部件1）ETL100ETL100是指各类移动互联网数据源提取和清洗后转换技术的总称。2）数据中心200如图2，数据中心200是海量数据存储与处理的核心部件，包括数据存储中心210和数据计算中心220；数据存储中心210包括Linux-211、HBase-212、Solr-213、MySQL-214和Hadoop-215；数据计算中心220包括SQL-221、Hive-222、Mahout-223和Spark-224。3）服务层平台300服务层平台300是数据中心200对外提供服务的窗口，包括底层数据访问服务模块310、业务接口模块320和控制模块330；底层数据访问服务模块310根据数据中心200通用API获取各类数据；业务接口模块320包括通用业务接口321、原始业务接口322和基础业务接口323；通用业务接口321和原始业务接口322分别与基础业务接口323交互。提供原始业务接口322、基础业务接口323以及通用业务接口321供上层应用系统400调用访问。控制模块330用于接入控制，只有经过授权332的业务系统才能提供访问接口的服务，并对操作的动作记录日志331；否则不能提供服务。4）业务系统400如图1，业务系统400包括第1业务系统410、第2业务系统420、……第N业务系统4N0，N是自然数，N≤100。2、工作机理本系统接收到移动互联网的原始数据文件之后，ETL100按照指定的标准对数据进行提取、清洗、存入到数据中心200中；数据中心200提供各种数据算法模型和数据挖掘模型，对数据进行深度挖掘以及统计分析；服务层平台300为上层业务系统400提供基础服务，上层应用系统400按需通过HTTPGET/POST调用服务层平台300的通用业务接口321、原始业务接口322、基础业务接口323获取数据中心200各类数据。二、方法*步骤①：业务系统注册如图4，业务系统注册流程如下：A、接收业务系统注册请求-10；B、判断业务系统传入的应用名是否存在-11，是则请求失败-13后跳转到步骤D，否则进入步骤C；C、分配系统唯一号给业务系统-12D、结束-14。*步骤②：业务系统查询如图5，业务系统查询的工作流程如下：a、收到业务系统请求-20；b、判断业务系统是否注册-21，是则进入步骤c，否则即请求失败-29后跳转到步骤j；c、判断业务系统参数是否合法-22，是则进入步骤d，否则即请求失败-29后后跳转到步骤j；d、判断AppKey、会话、方法版本号和请求方式是否合法-23，是则进入步骤e，否则即请求失败-29后跳转到步骤j；e、判断业务参数校验流程是否合法-24，是则进入步骤f，否则本文档来自技高网...

【技术保护点】
一种基于移动互联网海量数据的服务层系统，其特征在于：包括依次连接的ETL（100）、数据中心（200）、服务层平台（300）和业务系统（400）；所述的ETL（100）是指各类移动互联网数据源提取和清洗后转换技术的总称；所述的数据中心（200）是海量数据存储与处理的核心部件，包括数据存储中心（210）和数据计算中心（220）；数据存储中心（210）包括Linux（211）、HBase（212）、Solr（213）、MySQL（214）和Hadoop（215）；数据计算中心（220）包括SQL（221）、Hive（222）、Mahout（223）和Spark（224）；所述的服务层平台（300）是数据中心（200）对外提供服务的窗口，包括底层数据访问服务模块（310）、业务接口模块（320）和控制模块（330）；底层数据访问服务模块（310）根据数据中心（200）通用API获取各类数据；业务接口模块（320）包括通用业务接口（321）、原始业务接口（322）和基础业务接口（323）；通用业务接口（321）和原始业务接口（322）分别与基础业务接口（323）交互；提供原始业务接口（322）、基础业务接口（323）以及通用业务接口（321）供上层应用系统（400）调用访问；控制模块（330）用于接入控制，只有经过授权（332）的业务系统才能提供访问接口的服务，并对操作的动作记录日志（331）；否则不能提供服务；所述的业务系统（400）包括第1业务系统（410）、第2业务系统（420）、……第N业务系统（4N0），N是自然数，N≤100。...

【技术特征摘要】
1.一种基于移动互联网海量数据的服务层系统，其特征在于：包括依次连接的ETL（100）、数据中心（200）、服务层平台（300）和业务系统（400）；所述的ETL（100）是指各类移动互联网数据源提取和清洗后转换技术的总称；所述的数据中心（200）是海量数据存储与处理的核心部件，包括数据存储中心（210）和数据计算中心（220）；数据存储中心（210）包括Linux（211）、HBase（212）、Solr（213）、MySQL（214）和Hadoop（215）；数据计算中心（220）包括SQL（221）、Hive（222）、Mahout（223）和Spark（224）；所述的服务层平台（300）是数据中心（200）对外提供服务的窗口，包括底层数据访问服务模块（310）、业务接口模块（320）和控制模块（330）；底层数据访问服务模块（310）根据数据中心（200）通用API获取各类数据；业务接口模块（320）包括通用业务接口（321）、原始业务接口（322）和基础业务接口（323）；通用业务接口（321）和原始业务接口（322）分别与基础业务接口（323）交互；提供原始业务接口（322）、基础业务接口（323）以及通用业务接口（321）供上层应用系统（400）调用访问；控制模块（330）用于接入控制，只有经过授权（332）的业务系统才能提供访问接口的服务，并对操作的动作记录日志（331）；否则不能提供...

【专利技术属性】
技术研发人员：严雄伟，龚德光，
申请(专利权)人：武汉虹旭信息技术有限责任公司，
类型：发明
国别省市：湖北,42