基于大数据标准化模型的软件开发平台及方法技术

本发明专利技术属于软件开发技术领域，尤其涉及基于大数据标准化模型的软件开发平台及方，包括业务端

【技术实现步骤摘要】
基于大数据标准化模型的软件开发平台及方法


[0001]本专利技术属于软件开发
，尤其涉及基于大数据标准化模型的软件开发平台及方法
。

技术介绍

[0002]随着燃气行业业务增长速度加快，燃气的软件平台系统所产生的数据量迅速增加，取数需求激增，同时数据应用场景对数据质量
、
响应速度
、
数据时效性与稳定要求越来越高，因此对于整个系统的上游业务端
、
数据仓以及下游应用端的性能和处理能力，都有很大的考验
。
[0003]在目前的数据仓内部存在以下问题：
[0004]1、
流程规范缺失：没有流程与规范指引，数据开发者根据流程对数据进行规范化建设，导致数据分层分类不清晰，数据混乱；命名不规范，同义不同名，同名不同义；数据重复建设，冗余数据多；
[0005]2、
没有体系化技术设计：无论是离线或实时数据采集
、
处理与分发都缺少体系化设计与搭建，更多是在前期建设上面修修补补；
[0006]3、
影响无互相隔离：数仓数据存储与计算，没有与数据应用服务存储与技术隔离，存在互相之间资源抢占与问题被放大情况；同时也存在数仓底层模型设计很难兼容数据应用层模型设计需求；
[0007]4、
数仓模型“烟囱式”建设：数据模型无法复用，数据开发是烟囱式的，每次遇到新的需求，都从原始数据重新计算
。

技术实现思路

[0008]本专利技术所解决的技术问题在于提供一种基于大数据标准化模型的软件开发平台及方法，以解决现有的数据仓存在的问题
。
[0009]本专利技术提供的基础方案：基于大数据标准化模型的软件开发平台，包括业务端
、
数据仓和应用端，所述业务端用于获取数据源，并根据数据源类型直接接入数据仓的源头，所述数据仓用于接收业务端传输的数据源，构建多类型数据表，并通过数据仓内数据层中的大数据标准化模型分别处理多类型数据表，生成对应的应用数据结果；
[0010]所述应用端用于接收生成的对应的应用数据结果，根据预设的稽核校验任务对数据结果进行扫描计算，判断是否符合规则预期，并在不符合规则预期时执行修复任务
。
[0011]进一步，所述业务端包括数据获取模块
、
数据接入模块以及模型同步模块，所述数据获取模块用于获取用户上传的数据源，所述数据接入模块用于与数据仓的源头进行对接，并将获取的数据源传输至数据仓，所述模型同步模块用于判断获取的数据源是否存在新的数据模型，若存在则在业务端中更新记录新的数据模型
。
[0012]进一步，所述数据仓包括
ODS
层
、DWD
层
、DWM
层
、DWS
层以及
ADS
层，所述
ODS
层用于对接业务端数据接入模块，并获取业务端传输的数据源；
[0013]所述
DWD
层用于根据
ODS
层获取的数据源进行预处理，并在预处理后对数据源进行分类，按照数据源的属性划分为事实表和维度表；
[0014]所述
DWM
层用于对
DWD
层生成的事实表和维度表进行数据聚合处理，生成多类维度的指标的数据中间表；
[0015]所述
DWS
层用于构建多维数据模型，根据数据中间表中的数据进行识别分析，将相同粒度数据关联形成宽表；
[0016]所述
ADS
层用于根据用户需求从宽表中获取需求数据，生成应用数据结果，并传输至应用端
。
[0017]进一步，所述数据仓还包括
DIM
层，所述
DIM
层用于将公共库数据抽取构成公共的维度表，并供
DWD
层
、DWM
层和
DWS
层使用
。
[0018]进一步，所述应用端包括数据扫描判断模块和数据修复推送模块，所述数据扫描判断模块用于接收应用数据结果并进行扫描计算，判断是否符合完整性规则
、
一致性规则和准确性规则；
[0019]所述数据修复推送模块用于基于数据血缘关系，建立全链路数据质量监控，并对链路中每个应用数据结果通过稽核校验规则进行校验，在发现链路节点异常时推送修复任务
。
[0020]基于大数据标准化模型的软件开发方法，包括：
[0021]S1
：通过业务端数据获取数据源，并根据数据源类型直接接入数据仓的源头层；
[0022]S2
：数据仓接收业务端传输的数据源，构建多类型数据表，并通过数据仓内数据层中的大数据标准化模型分别处理多类型数据表，生成对应的应用数据结果；
[0023]S3
：应用端接收应用数据结果，根据预设的稽核校验任务对数据结果进行扫描计算，判断是否符合规则预期，并在不符合规则预期时执行修复任务
。
[0024]本专利技术的原理及优点在于：
1、
用空间换时间，通过大量的预处理来提升应用系统的用户体验，因此数据仓库会存在大量冗余的数据；不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大；
[0025]2、
通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理逻辑都相对简单和容易理解，这样我们比较容易保证每一个步骤的正确性，当数据发生错误的时候，往往我们只需要局部调整某个步骤即可；
[0026]3、
数据集成性高：通过对分散
、
独立
、
异构的数据库数据进行抽取
、
清理
、
转换和汇总便得到了数据仓库的数据，保证了数据仓库内的数据关于整个企业的一致性；
[0027]4、
数据非易失性：本次技术方案建设的数据仓库反映的是一段相当长的时间内历史数据的内容，是不同时点的数据库快照的集合，以及基于这些快照进行统计
、
综合和重组的导出数据；
[0028]数据非易失性主要是针对应用而言
。
数据仓库的用户对数据的操作大多是数据查询或比较复杂的挖掘，一旦数据进入数据仓库以后，一般情况下被较长时间保留
。
数据仓库中一般有大量的查询操作，但修改和删除操作很少
。
因此，数据经加工和集成进入数据仓库后是极少更新的，通常只需要定期的加载和更新；
[0029]5、
数据时变性：数据仓库包含各种粒度的历史数据
。
数据仓库中的数据可能与某
个特定日期
、
星期
、
月份
、
季度或者年份有关
。...

【技术保护点】

【技术特征摘要】
1.
基于大数据标准化模型的软件开发平台，其特征在于：包括业务端
、
数据仓和应用端，所述业务端用于获取数据源，并根据数据源类型直接接入数据仓的源头，所述数据仓用于接收业务端传输的数据源，构建多类型数据表，并通过数据仓内数据层中的大数据标准化模型分别处理多类型数据表，生成对应的应用数据结果；所述应用端用于接收生成的对应的应用数据结果，根据预设的稽核校验任务对数据结果进行扫描计算，判断是否符合规则预期，并在不符合规则预期时执行修复任务
。2.
根据权利要求1所述的基于大数据标准化模型的软件开发平台，其特征在于：所述业务端包括数据获取模块
、
数据接入模块以及模型同步模块，所述数据获取模块用于获取用户上传的数据源，所述数据接入模块用于与数据仓的源头进行对接，并将获取的数据源传输至数据仓，所述模型同步模块用于判断获取的数据源是否存在新的数据模型，若存在则在业务端中更新记录新的数据模型
。3.
根据权利要求2所述的基于大数据标准化模型的软件开发平台，其特征在于：所述数据仓包括
ODS
层
、DWD
层
、DWM
层
、DWS
层以及
ADS
层，所述
ODS
层用于对接业务端数据接入模块，并获取业务端传输的数据源；所述
DWD
层用于根据
ODS
层获取的数据源进行预处理，并在预处理后对数据源进行分类，按照数据源的属性划分为事实表和维度表；所述
DWM
层用于对
DWD
层生成的事实表和维度表进行数据聚合处理，生成多类维度的指标的数据中间表；所述
...

【专利技术属性】
技术研发人员：贺喜，齐研科，杨颖，赵家骏，蔡雨耕，彭国栋，
申请(专利权)人：重庆合众慧燃科技股份有限公司，
类型：发明
国别省市：