本申请提出交通行业一种基于大数据技术的数据治理系统及方法，该系统包括数据安全模块、数据集成模块、数据治理模块、数据开发模块、数据服务模块、分析建模模块、运维监控模块和数据应用模块，各个模块根据不同用户需求可独立或者任意组合使用；该系统考虑了交通行业多运营商、有数据隔离安全需求的情况，在数据安全、数据集成、数据治理、数据开发、数据服务、分析建模、运维监控和数据应用方面给出对交通行业的针对性数据治理方案，能够对交通行业数据进行有效治理，提高数据处理效率、保障数据安全和质量，降低治理成本。降低治理成本。降低治理成本。
【技术实现步骤摘要】
交通行业一种基于大数据技术的数据治理系统及方法
[0001]本申请涉及数据处理
，尤其涉及交通行业一种基于大数据技术的数据治理系统及方法。
技术介绍
[0002]数据是重要的资产，合理地使用数据能为企业带来巨大的价值。
[0003]目前，数据治理方面主要存在以下缺陷：
[0004](1)由于数据治理的侧重点和视角不同，国内外相关行业对数据治理项目的整体架构方式也不尽相同，目前并没有交通行业数据的个性化数据治理解决方案；
[0005](2)当数据质量出现问题，不能及时地警报通知，只能先发现后治理再进行任务返工，影响数据产出和决策；
[0006](3)数据的泄露会对企业造成很大的风险，在数据安全方面的考虑欠缺，导致系统无法满足数据安全需求。
技术实现思路
[0007]本申请实施例的主要目的在于提出交通行业一种基于大数据技术的数据治理系统及方法，考虑到交通行业多运营商、有数据隔离安全需求的情况，在数据安全、数据集成、数据治理、数据开发、数据服务、分析建模、运维监控和数据应用方面给出对交通行业的针对性数据治理方案，能够对交通行业数据进行有效治理，提高数据处理效率、保障数据安全和质量，降低治理成本。
[0008]为实现上述目的，本申请实施例的第一方面提出了一种交通行业数据治理系统，所述系统包括：
[0009]数据安全模块、数据集成模块、数据治理模块、数据开发模块、数据服务模块、分析建模模块、运维监控模块和数据应用模块，各个模块根据不同用户需求可独立或者任意组合使用；
[0010]所述数据安全模块用于根据用户需求进行模块部署管理、用户层级管理、各个层级权限管理及项目管理，所述项目管理包括对项目基本信息、项目配置人员、项目角色和项目数据权限进行管理；
[0011]所述数据集成模块用于通过数据接入、数据同步和调度配置将交通行业数据源集成到一起，以支持数据安全访问；
[0012]所述数据治理模块用于对交通行业数据进行元数据管理、数据资产管理、数据指标管理和数据质量管理；
[0013]所述数据开发模块用于通过离线开发和实时计算开发的方式根据项目需求进行交通行业数据开发；
[0014]所述数据服务模块用于配置不同项目下的接口集和所述接口集下的接口及对所述接口进行应用授权管理；
[0015]所述分析建模模块用于对所述交通行业数据进行模型开发、模型部署和模型评价；
[0016]所述运维监控模块用于监控当前系统任务的运行情况和实例运行概况；
[0017]所述数据应用模块用于对所述交通行业数据进行商业智能分析和算法应用。
[0018]在一些实施例，所述用户层级管理包括：
[0019]构建用户层级，所述用户层级包括超级管理员、系统管理员、项目管理员和普通用户；
[0020]设置并管理各个用户层级对应的权限。
[0021]在一些实施例，元数据包括业务元数据和技术元数据，所述元数据管理包括：
[0022]对所述业务元数据和技术元数据的基本信息、字段信息、血缘关系、DDL变更进行管理，所述基本信息包括数据表信息、业务信息和存储信息，所述字段信息包括字段名称、字段类型、字段大小、是否为空、精确位数、字段注释、计算方式、是否索引和分区字段，所述血缘关系包括系统接入数据节点之间的上下游生成关系，其中，数据节点包含上游节点、中间节点和下游节点，所述DDL变更包括对数据表的操作信息。
[0023]在一些实施例，所述数据资产管理包括：
[0024]通过搜索系统应用程序接口或者接入协同的数据表或者实时数据Topic的方式查询交通行业中的各类离线数据和实时数据。
[0025]在一些实施例，数据指标包括行业运营指标、能耗指标和商业运营指标，所述数据指标管理包括：
[0026]对所述行业运营指标、能耗指标和商业运营指标进行原子指标、派生指标、时间周期和修饰词管理，其中，所述派生指标通过所述原子指标、时间周期和修饰词的方式自动单个或者批量生成。
[0027]在一些实施例，所述数据质量管理包括质量规则管理和质量监控管理；
[0028]所述质量规则管理用于对所述交通行业数据进行质量规则设置，所述质量规则包括唯一性校验、字段长度校验、正则表达式、枚举值校验、表行数校验、空值校验、多表准确性校验、自定义SQL、及时性校验和两表值对比；
[0029]所述质量监控管理用于当所述交通行业数据中的待校验数据触发预设的阈值条件时，发出质量告警。
[0030]在一些实施例，所述数据服务模块包括接口管理和应用管理；
[0031]所述接口管理用于配置不同项目下的接口集和所述接口集下的接口，包括：
[0032]创建系统应用程序的接口集；
[0033]在选定所述接口集下，创建选定的所述接口集中的接口，并配置基础信息，所述基础信息包括接口名称、接口所属集合、接口路径、版本号和接口描述；
[0034]确定数据来源信息，所述数据来源信息包括接口数据生成方式、数据源类型、数据源名称、数据库名称和表名称；
[0035]配置接口参数，所述接口参数包括入参定义、返回参数、请求参数和排序参数；
[0036]当所述接口参数配置完成之后，发布所述接口，以使得所述接口被授权应用；
[0037]所述应用管理用于对发布各个所述接口进行应用授权管理，包括：
[0038]新增接口授权应用和编辑应用信息，所述应用信息包括应用名称，应用归属项目
和应用描述；
[0039]查询各个应用关联的所有接口，和所有接口对应的授权信息。
[0040]在一些实施例，所述接口管理还用于执行以下操作：
[0041]当需要新增的接口归属的目标接口集已存在，选中所述目标接口集，在所述目标接口集下新增接口；
[0042]当需要新增的接口归属的目标接口集不存在，新建所述目标接口集，并在新建后的所述目标接口集下新增接口。
[0043]在一些实施例，所述系统还包括：
[0044]数据存储模块，用于将所述交通行业数据按照需要存储于相应的数据库。
[0045]为实现上述目的，本申请实施例的第二方面提出了一种交通行业数据治理方法，包括：
[0046]采集得到交通行业数据源；
[0047]通过数据集成模块基于数据接入、数据同步和调度配置将所述交通行业数据源集成到一起，以支持数据安全访问；
[0048]通过数据安全模块根据用户需求进行模块部署管理、用户层级管理、各个层级权限管理及项目管理，所述项目管理包括对项目基本信息、项目配置人员、项目角色和项目数据权限进行管理；
[0049]通过数据治理模块对交通行业数据进行元数据管理、数据资产管理、数据指标管理和数据质量管理；
[0050]通过数据开发模块基于离线开发和实时计算开发的方式根据项目需求进行交通行业数据开发；
[0051]通过分析建模模块对所述交通行本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种交通行业数据治理系统，其特征在于，所述系统包括：数据安全模块、数据集成模块、数据治理模块、数据开发模块、分析建模模块、数据服务模块、运维监控模块和数据应用模块，各个模块根据不同用户需求可独立或者任意组合使用；所述数据安全模块用于根据用户需求进行模块部署管理、用户层级管理、各个层级权限管理及项目管理，所述项目管理包括对项目基本信息、项目配置人员、项目角色和项目数据权限进行管理；所述数据集成模块用于通过数据接入、数据同步和调度配置将交通行业数据源集成到一起，以支持数据安全访问；所述数据治理模块用于对交通行业数据进行元数据管理、数据资产管理、数据指标管理和数据质量管理；所述数据开发模块用于通过离线开发和实时计算开发的方式根据项目需求进行交通行业数据开发；所述数据服务模块用于配置不同项目下的接口集和所述接口集下的接口及对所述接口进行应用授权管理；所述分析建模模块用于对所述交通行业数据进行模型开发、模型部署和模型评价；所述运维监控模块用于监控当前系统任务的运行情况和实例运行概况；所述数据应用模块用于对所述交通行业数据进行商业智能分析和算法应用。2.根据权利要求1所述的系统，其特征在于，所述用户层级管理包括：构建用户层级，所述用户层级包括超级管理员、系统管理员、项目管理员和普通用户；设置并管理各个用户层级对应的权限。3.根据权利要求1所述的系统，其特征在于，元数据包括业务元数据和技术元数据，所述元数据管理包括：对所述业务元数据和技术元数据的基本信息、字段信息、血缘关系、DDL变更进行管理，所述基本信息包括数据表信息、业务信息和存储信息，所述字段信息包括字段名称、字段类型、字段大小、是否为空、精确位数、字段注释、计算方式、是否索引和分区字段，所述血缘关系包括系统接入数据节点之间的上下游生成关系，其中，数据节点包含上游节点、中间节点和下游节点，所述DDL变更包括对数据表的操作信息。4.根据权利要求1所述的系统，其特征在于，所述数据资产管理包括：通过搜索系统应用程序接口或者接入协同的数据表或者实时数据Topic的方式查询交通行业中的各类离线数据和实时数据。5.根据权利要求1所述的系统，其特征在于，数据指标包括行业运营指标、能耗指标和商业运营指标，所述数据指标管理包括：对所述行业运营指标、能耗指标和商业运营指标进行原子指标、派生指标、时间周期和修饰词管理，其中，所述派生指标通过所述原子指标、时间周期和修饰词的方式自动单个或者批量生成。6.根据权利要求1所述的系统，其特征在于，所述数据质量管理包括质量规则管理和质量监控管理；所述质量规则管理用于对所述交通行业数据进行质...
【专利技术属性】
技术研发人员：杨宏旭，雷永峰，沈奕辰，周韦玮，方超，
申请(专利权)人：八维通科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。