一种多功能大数据智能分析服务系统及方法技术方案

本发明专利技术公开了一种多功能大数据智能分析服务系统与方法，系统包括大数据中台，大数据中台包括：数据标准管理模块，数据源建模管理模块，数据更新管理模块，数据资产管理模块，数据血缘分析模块，资产地图模块，从数据使用角度监控管理数据的质量。本发明专利技术提供公共数据服务的航母，打破传统的应用系统各自为政提供数据服务的模式，将平台既有的公共能力优势与应用的敏捷业务优势相结合，为用户业务及时提供高质量数据。高质量数据。

A multifunctional big data intelligent analysis service system and method

【技术实现步骤摘要】
一种多功能大数据智能分析服务系统及方法


[0001]本专利技术涉及数据分析系统
，尤其涉及一种多功能大数据智能分析服务系统。

技术介绍

[0002]数据作为越来越重要的生产要素，将成为比土地、石油、煤矿等更为核心的生产资源，如何加工利用数据，释放数据价值，实现企业的数字化转型，是企业面临的重要课题。
[0003]当前企业在数据资产管理中面临诸多问题，这些问题阻碍了数据的互联互通和高效利用，成为了数据价值难以有效释放的瓶颈，主要包括以下几点：
[0004]1、数据难以整合利用：企业的核心数据资源散落在不同的部门和业务系统中，数据源结构各异，缺少高效的核心数据归集、整合与分类管理手段，阻碍了数据治理和开发利用；
[0005]2、数据质量有待提升：核心数据不一致、不唯一、不规范、不完整，导致数据统计分析不准确、业务难协同、领导难决策；
[0006]3、数据共享服务有待加强。目前企业内外部的数据孤岛普遍存在，造成数据孤岛的原因既包括技术上的，也包括标准和管理制度上的，这阻碍了跨部门、跨系统的数据共享，降低了资源利用率和数据的可得性；
[0007]4、缺少数据资产管理手段。单位核心数据资产的总量、类别、分布、使用等情况不清楚，缺少动态可视化监测管理手段；
[0008]5、缺少数据资产管理手段。数据在共享时容易造成数据泄露与数据滥用等安全风险，主要原因是缺少完善的安全管理理念和技术手段。随着企业数据的快速累积和共享需求增加，一旦发生数据安全事件，其对企业经营和用户利益的危害性将越来越大，束缚数据价值的释放。

技术实现思路

[0009]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种多功能大数据智能分析服务系统，从而解决现有技术中存在的问题。
[0010]为了实现上述目的，本专利技术采用了如下技术方案：
[0011]一种多功能大数据智能分析服务系统，包括大数据中台，大数据中台包括：
[0012]数据标准管理模块，用于建立单位数据标准，保障数据使用和交换的准确性和一致性；
[0013]数据源建模管理模块，建立库表数据集、文件数据集、自助数据集、SQL数据集，帮助用户轻松建立满足业务需求的数据模型；
[0014]数据更新管理模块，设置数据更新策略，实时查看更新状态，实现高效、稳定、自动化的数据采集交换，大幅度降低耗费的时间和人力成本；
[0015]数据资产管理模块，通过数据资产一站式动态追踪盘点，快速实时了解核心数据
资产的总量、类别、内容、分布、使用等情况，并能对数据进行快速查询检索；
[0016]数据血缘分析模块，用于对数据生命周期管理，记录了数据从哪里来，到哪里去，帮助用户高效定位缺陷数据来源、清理无用数据、评估数据变化影响范围和数据价值；
[0017]资产地图模块，从数据使用角度监控管理数据的质量，用户设置质量规则和校验任务后，系统可自动根据规则对数据进行检验，定期输出数据质量分析报告，准确定位问题数据，并通过血缘关系追朔问题源头，帮助用户从源头上解决数据问题，提升数据质量。
[0018]优选地，还包括元数据管理模块，用于对元数据进行采集，对元数据进行设置，关联映射标准，对质量规则进行管理，还能够对元数据进行展示，对源数据提供搜索。
[0019]优选地，还包括主数据管理模块，用于对主数据进行维护，对主数据进行定位，对主数据进行查询检测。
[0020]优选地，还包括数据质量管理模块，用于对质量规则进行设置与校验，对校验任务进行管理，对质量进行监控分析，对质量进行报警，生成质量报告，对数据进行比对，对问题数据进行修正。
[0021]优选地，还包括无缝连接大数据分析工具模块，使用大数智能分析工具一键访问大数据库，基于数据模型，业务人员通过简单的拖拽就可以自助进行数据查询、复杂报表制作、多维分析，并通过对关键业务指标进行监测预警和分析预测，为单位领导提供决策支持服务。
[0022]优选地，还包括数据共享服务模块，用于对数据服务进行发布，生成数据服务目录，提供服务订阅申请，还能够对服务进行审批与管理，还可以对数据进行查询与推送，同时对数据服务进行监控，对数据服务安全进行管理。
[0023]优选地，还包括数据分类管理模块，用于数据资产目录。
[0024]优选地，还包括关系建模模块，根据数据标准、已有数据集创建逻辑模型，包括模型分类、描述、字段、关联关系和物理化设置。
[0025]优选地，还包括任务调度管理模块，用于提供对任务调度分类管理功能。
[0026]本专利技术还公开了一种多功能大数据智能分析服务方法，采用上述的系统对大数据进行智能分析服务与管理剂。
[0027]本专利技术的优点在于：
[0028]1、提供公共数据服务的航母，打破传统的应用系统各自为政提供数据服务的模式，将平台既有的公共能力优势与应用的敏捷业务优势相结合，为用户业务及时提供高质量数据；
[0029]2、实现数据调度、加工、稽核与服务的7
×
24小时无人作业，并提供独特的运营看板，帮助用户实时掌握数据运营的最新态势；
[0030]3、改变了过去传统的业务部门提需求、技术部门处理数据的模式，各部门无需编程便可进行数据的自助加工、质量管控和共享交换，让数据门槛更低、业务响应更快的同时，为用户带来前所未有的便捷体验；
[0031]4、打通了异构数据生产、加工、消费环节和储存利用载体，彻底从技术上、流程上实现了从业务数据到基础数据、指标数据的共享互通。
具体实施方式
[0032]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0033]实施例1
[0034]本专利技术提供的一种多功能大数据智能分析服务系统，其特征在于，包括大数据中台，大数据中台包括：
[0035]数据连接管理，与数据库连接，可以连接Oracle、DB2、MySQL、SQLServer、金仓KingbaseES、达梦等主流关系数据库；Hadoop Hive、SPARK等大数据平台；MongoDB、Redis等NO SQL数据库；Greenplum、TeraData等MPP数据库；Intersystems Cache等多维数据库，还能够与文件数据源连接，能批量导入EXCEL、TXT、CSV等文件数据源，还能够与服务数据源连接，能连接Webservice、JSON等服务数据源，能与大数据库配置，将Oracel、MySLQ、Greenplum配置为数据加载和存储的物理仓库。
[0036]数据标准管理模块，用于建立单位数据标准，保障数据使用和交换的准确性和一致性，能够对标准分类管理，提供对数据标准分类管理功能，支持直接在标准分类树上进行标准分类的新增、修改、移动、删除，能够进行数据标准创建，提供数据标准创建功能，包括设置标准名称、所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多功能大数据智能分析服务系统，其特征在于，包括大数据中台，大数据中台包括：数据标准管理模块，用于建立单位数据标准，保障数据使用和交换的准确性和一致性；数据源建模管理模块，建立库表数据集、文件数据集、自助数据集、SQL数据集，帮助用户轻松建立满足业务需求的数据模型；数据更新管理模块，设置数据更新策略，实时查看更新状态，实现高效、稳定、自动化的数据采集交换；数据资产管理模块，通过数据资产一站式动态追踪盘点；数据血缘分析模块，用于对数据生命周期管理；资产地图模块，从数据使用角度监控管理数据的质量。2.根据权利要求1所述的一种多功能大数据智能分析服务系统，其特征在于：还包括元数据管理模块，用于对元数据进行采集，对元数据进行设置，关联映射标准，对质量规则进行管理，还能够对元数据进行展示，对源数据提供搜索。3.根据权利要求1所述的一种多功能大数据智能分析服务系统，其特征在于：还包括主数据管理模块，用于对主数据进行维护，对主数据进行定位，对主数据进行查询检测。4.根据权利要求1所述的一种多功能大数据智能分析服务系统，其特征在于：还包括数据质量管理模块，用于对质量规则进行设置与校验，对校验任务进行管理，对...

【专利技术属性】
技术研发人员：许可，李嘉荣，李伟健，
申请(专利权)人：广州光点信息科技股份有限公司，
类型：发明
国别省市：