本发明专利技术提供一种数据管理方法、装置及存储介质，包括：将接收到的预设时间段内ODS变化数据与原始的ODS全量数据比对，得到ODS数据增量分区表和/或ODS数据减量分区表；基于ODS数据增量分区表和/或ODS数据减量分区表对ODS全量数据更新处理生成新的ODS全量数据；对ODS数据增量分区表和/或ODS数据减量分区表进行第一预设处理得到DWD数据增量分区表和/或DWD数据减量分区表；基于DWD数据增量分区表和/或DWD数据减量分区表对原始的DWD全量数据更新处理生成新的DWD全量数据；对所述DWD数据增量分区表和/或DWD数据减量分区表进行第二预设处理得到ADS数据增量聚合分区表和/或ADS数据减量聚合分区表；将DWD数据增量分区表和/或ADS数据增量聚合分区表对应的数据发送。据增量聚合分区表对应的数据发送。据增量聚合分区表对应的数据发送。
【技术实现步骤摘要】
数据管理方法、装置及存储介质
[0001]本专利技术涉及数据处理
，尤其涉及一种数据管理方法、装置及存储介质。
技术介绍
[0002]在通常的应用中，数据源把数据推送到ods层进行数据合并和去重，之后对 ods层的数据进行规范化处理生成dw层，按需求生成asd层或者直接推送数据到 ES，为前端应用服务器提供数据。通过以上的方式，可以进行数据处理、传输，但是现有的方案中，并无法对增量数据和减量数据进行有效管理。
技术实现思路
[0003]本专利技术实施例提供一种数据管理方法、装置及存储介质，能够根据一段时间的数据处理量生成相应的增量分区表和减量分区表，可以通过增量分区表和减量分区表不同层的增量数据和失效数据进行管理，方便问题溯源排查。
[0004]本专利技术实施例的第一方面，提供一种数据管理方法，包括：
[0005]将接收到的预设时间段内ODS变化数据与原始的ODS全量数据比对，得到ODS 数据增量分区表和/或ODS数据减量分区表；
[0006]基于所述ODS数据增量分区表和/或ODS数据减量分区表对所述ODS全量数据更新处理生成新的ODS全量数据；
[0007]对所述ODS数据增量分区表和/或ODS数据减量分区表进行第一预设处理得到DWD数据增量分区表和/或DWD数据减量分区表；
[0008]基于DWD数据增量分区表和/或DWD数据减量分区表对原始的DWD全量数据更新处理生成新的DWD全量数据；
[0009]对所述DWD数据增量分区表和/或DWD数据减量分区表进行第二预设处理得到ADS数据增量聚合分区表和/或ADS数据减量聚合分区表；
[0010]响应于发送请求，将所述DWD数据增量分区表和/或ADS数据增量聚合分区表对应的数据发送。
[0011]可选地，在第一方面的一种可能实现方式中，响应于发送请求，将所述DWD 数据增量分区表和/或ADS数据增量聚合分区表对应的数据发送包括：
[0012]接收发送请求，预设脚本基于DWD数据增量分区表和/或ADS数据增量聚合分区表与DWD全量数据和/或ADS全量数据比对将新增数据发送至目标位置；
[0013]预设脚本基于DWD数据减量分区表和/或ADS数据减量聚合分区表与DWD全量数据和/或ADS全量数据比对将相应的减量数据删除。
[0014]可选地，在第一方面的一种可能实现方式中，将接收到的预设时间段内ODS 变化数据与原始的ODS全量数据比对，得到ODS数据增量分区表和/或ODS数据减量分区表包括：
[0015]将ODS变化数据与ODS全量数据比对，确定ODS变化数据中相对于ODS全量数据新增的子数据，基于新增的子数据生成ODS数据增量分区表；
[0016]将ODS变化数据与ODS全量数据比对，确定ODS变化数据中相对于ODS全量数据减少的子数据，基于减少的子数据生成ODS数据减量分区表。
[0017]可选地，在第一方面的一种可能实现方式中，将ODS变化数据与ODS全量数据比对，确定ODS变化数据中相对于ODS全量数据新增的子数据，基于新增的子数据生成ODS数据增量分区表包括：
[0018]确定全量数据新增的子数据，将新增的子数据中的预设字段以第一预设形式命名，对具有第一预设形式命名的子数据统计得到ODS数据增量分区表。
[0019]可选地，在第一方面的一种可能实现方式中，将ODS变化数据与ODS全量数据比对，确定ODS变化数据中相对于ODS全量数据减少的子数据，基于减少的子数据生成ODS数据减量分区表包括：
[0020]确定全量数据减少的子数据，将减少的子数据中的预设字段以第二预设形式命名，对具有第二预设形式命名的子数据统计得到ODS数据减量分区表。
[0021]可选地，在第一方面的一种可能实现方式中，对所述ODS数据增量分区表和 /或ODS数据减量分区表进行第一预设处理得到DWD数据增量分区表和/或DWD数据减量分区表包括：
[0022]基于所述ODS数据增量分区表获取相应的ODS增量数据；
[0023]基于所述ODS数据减量分区表获取相应的ODS减量数据；
[0024]对所述ODS增量数据和/或ODS减量数据进行数据规范化、字段合并、系统字段删除、多表合并中的任意一项或多项操作生成DWD数据增量分区表和/或DWD 数据减量分区表。
[0025]可选地，在第一方面的一种可能实现方式中，对所述DWD数据增量分区表和/或DWD数据减量分区表进行第二预设处理得到ADS数据增量聚合分区表和/或 ADS数据减量聚合分区表包括：
[0026]基于所述DWD数据增量分区表获取相应的DWD增量数据；
[0027]基于所述DWD数据减量分区表获取相应的DWD减量数据；
[0028]对所述DWD增量数据和/或DWD减量数据进行数据聚合、企业标签、企业画像中的任意一项或多项操作生成ADS数据增量聚合分区表和/或ADS数据减量聚合分区表。
[0029]可选地，在第一方面的一种可能实现方式中，所述预设时间段包括一日、一周、一月、一季度以及一年中的任意一个。
[0030]本专利技术实施例的第二方面，提供一种数据管理装置，包括：
[0031]ODS模块，用于将接收到的预设时间段内ODS变化数据与原始的ODS全量数据比对，得到ODS数据增量分区表和/或ODS数据减量分区表；
[0032]ODS更新模块，用于基于所述ODS数据增量分区表和/或ODS数据减量分区表对所述ODS全量数据更新处理生成新的ODS全量数据；
[0033]DWD处理模块，用于对所述ODS数据增量分区表和/或ODS数据减量分区表进行第一预设处理得到DWD数据增量分区表和/或DWD数据减量分区表；
[0034]DWD更新模块，基于DWD数据增量分区表和/或DWD数据减量分区表对原始的 DWD全量数据更新处理生成新的DWD全量数据；
[0035]ADS处理模块，用于对所述DWD数据增量分区表和/或DWD数据减量分区表进行第二
预设处理得到ADS数据增量聚合分区表和/或ADS数据减量聚合分区表；
[0036]发送模块，用于响应于发送请求，将所述DWD数据增量分区表和/或ADS 数据增量聚合分区表对应的数据发送。
[0037]本专利技术实施例的第三方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本专利技术第一方面及第一方面各种可能设计的所述方法。
[0038]本专利技术提供的一种数据管理方法、装置及存储介质，通过本数据治理流程可以实现数据的更新，提高数据质量，并将数据推送到ES，为前端应用服务器提供更准确的数据，提高前端用户页面的访问速度，极大的提升用户体验。
[0039]本专利技术的技术方案，能够根据数据变化，生成相应的数据增量分区表和数据减量分区表的数据，使得在不同的数据管理、存储层对数据管理时更加的易于管理。
附图说明
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据管理方法，其特征在于，包括：将接收到的预设时间段内ODS变化数据与原始的ODS全量数据比对，得到ODS数据增量分区表和/或ODS数据减量分区表；基于所述ODS数据增量分区表和/或ODS数据减量分区表对所述ODS全量数据更新处理生成新的ODS全量数据；对所述ODS数据增量分区表和/或ODS数据减量分区表进行第一预设处理得到DWD数据增量分区表和/或DWD数据减量分区表；基于DWD数据增量分区表和/或DWD数据减量分区表对原始的DWD全量数据更新处理生成新的DWD全量数据；对所述DWD数据增量分区表和/或DWD数据减量分区表进行第二预设处理得到ADS数据增量聚合分区表和/或ADS数据减量聚合分区表；响应于发送请求，将所述DWD数据增量分区表和/或ADS数据增量聚合分区表对应的数据发送。2.根据权利要求1所述的数据管理方法，其特征在于，响应于发送请求，将所述DWD数据增量分区表和/或ADS数据增量聚合分区表对应的数据发送包括：接收发送请求，预设脚本基于DWD数据增量分区表和/或ADS数据增量聚合分区表与DWD全量数据和/或ADS全量数据比对将新增数据发送至目标位置；预设脚本基于DWD数据减量分区表和/或ADS数据减量聚合分区表与DWD全量数据和/或ADS全量数据比对将相应的减量数据删除。3.根据权利要求1所述的数据管理方法，其特征在于，将接收到的预设时间段内ODS变化数据与原始的ODS全量数据比对，得到ODS数据增量分区表和/或ODS数据减量分区表包括：将ODS变化数据与ODS全量数据比对，确定ODS变化数据中相对于ODS全量数据新增的子数据，基于新增的子数据生成ODS数据增量分区表；将ODS变化数据与ODS全量数据比对，确定ODS变化数据中相对于ODS全量数据减少的子数据，基于减少的子数据生成ODS数据减量分区表。4.根据权利要求3所述的数据管理方法，其特征在于，将ODS变化数据与ODS全量数据比对，确定ODS变化数据中相对于ODS全量数据新增的子数据，基于新增的子数据生成ODS数据增量分区表包括：确定全量数据新增的子数据，将新增的子数据中的预设字段以第一预设形式命名，对具有第一预设形式命名的子数据统计得到ODS数据增量分区表。5.根据权利要求3所述的数据管理方法，其特征在于，将ODS变化数据与ODS全量数据比对，确定ODS变化数据中相对于ODS全量数据减少的子数据，基于减少的子数据生成ODS数据减量分区表包括：确定全量数据减少的子数据，将...
【专利技术属性】
技术研发人员：王锦胤，马绍桐，
申请(专利权)人：紫金诚征信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。