本申请涉及一种增量数据的获取方法、装置、计算机设备、存储介质和计算机程序产品，涉及数据处理技术领域。可用于金融科技领域或其他相关领域。方法包括：创建数据表，数据表包括增量数据表和增量更新数据表；在检测到数据生成设备中存在新数据更新的情况下，将新数据存储至数据表中；获取包括时间戳信息的数据获取请求；根据时间戳信息，确定目标数据表；从目标数据表中获取相应的数据，并发送至数据获取设备。采用本方法能够实现了无需通过元数据获取增量数据，并且通过数据获取请求中的时间戳信息，选定目标数据表，获取增量数据，实现了获取用户想要的增量数据。用户想要的增量数据。用户想要的增量数据。
【技术实现步骤摘要】
增量数据的获取方法、装置、设备、存储介质和程序产品
[0001]本申请涉及数据处理
，特别是涉及一种增量数据的获取方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
[0002]传统技术中，基于hudi存储大量的元数据，以通过数据对应的元数据信息，进行快速获取增量数据。
[0003]然而，通过元数据进行快速获取对应的增量数据的方式，是必须存在增量数据对应的元数据才能实现，由于元数据存储量比较多，会导致元数据归档压力巨大，为了缓解元数据的归档压力，在一般情况下，只会保存最近一段时间内的元数据信息。但这种方式只能获取最近一段时间的增量数据，无法读取之前的增量数据，从而导致无法获取用户想要的增量数据。
技术实现思路
[0004]基于此，有必要针对上述技术问题，提供一种能够实现获取想要的增量数据的增量数据的获取方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种增量数据的获取方法。所述方法应用于数据存储设备；所述方法包括：
[0006]创建数据表，所述数据表包括增量数据表和增量更新数据表；其中，所述数据存储设备与数据获取设备通信，所述数据存储设备与数据生成设备通信，所述增量数据表用于按照每个预设第一时间段存储增量数据；所述增量更新数据表用于按照每个预设第二时间段存储累计合并后的增量数据；
[0007]在检测到所述数据生成设备中存在新数据更新的情况下，将新数据存储至数据表中；
[0008]获取所述数据获取设备发送的数据获取请求，所述数据获取请求包括时间戳信息；
[0009]根据所述时间戳信息，确定目标数据表；
[0010]从所述目标数据表中获取相应的数据，并发送至所述数据获取设备。
[0011]在其中一个实施例中，所述创建数据表，包括：
[0012]在进行数据存储操作之前，创建增量数据表；
[0013]获取所述数据获取设备设定的业务需求；
[0014]根据所述数据获取设备设定的业务需求，确定是否需要创建增量更新数据表；
[0015]在需要创建所述增量更新数据表的情况下，创建所述增量更新数据表。
[0016]在其中一个实施例中，所述在检测到所述数据生成设备中存在新数据更新的情况下，将新数据存储至数据表，包括：
[0017]在检测到所述数据生成设备中存在新数据更新的情况下，获取新数据的时间戳信
息；
[0018]根据新数据的时间戳信息，将所述新数据存储至对应的预设第一时间段的增量数据表中；
[0019]在所述增量数据表累计存储时间达到预设第三时间段对应的时长，且在预设周期更新时间点到达的情况下，触发获取所述增量数据表中预设第三时间段的增量数据；
[0020]将预设第三时间段的增量数据存储至所述增量更新数据表中。
[0021]在其中一个实施例中，所述时间戳信息包括第一时间戳信息和第二时间戳信息，所述根据所述时间戳信息，确定目标数据表，包括：
[0022]判断所述第一时间戳信息和所述第二时间戳信息是否属于同一预设第一时间段；
[0023]在所述第一时间戳信息和所述第二时间戳信息属于同一预设第一时间段的情况下，则确定目标数据表为所述增量数据表。
[0024]在其中一个实施例中，所述方法还包括：
[0025]在所述第一时间戳信息和所述第二时间戳信息不属于同一预设第一时间段的情况下，确定目标数据表为所述增量更新数据表。
[0026]在其中一个实施例中，所述增量数据包括标志信息，所述将预设第三时间段的增量数据存储至所述增量更新数据表中，包括：
[0027]根据所述增量数据的标志信息，对预设第三时间段的增量数据进行合并去重操作，并存储至所述增量更新数据表中。
[0028]第二方面，本申请还提供了一种增量数据的获取装置。所述装置应用于数据存储设备；所述装置包括：
[0029]数据表创建模块，用于创建数据表，所述数据表包括增量数据表和增量更新数据表；其中，所述数据存储设备与数据获取设备通信，所述数据存储设备与数据生成设备通信，所述增量数据表用于按照每个预设第一时间段存储增量数据；所述增量更新数据表用于按照每个预设第二时间段存储累计合并后的增量数据；
[0030]数据存储模块，用于在检测到所述数据生成设备中存在新数据更新的情况下，将新数据存储至数据表中；
[0031]请求获取模块，用于获取所述数据获取设备发送的数据获取请求；所述数据获取请求包括时间戳信息；
[0032]目标数据表确定模块，用于根据所述时间戳信息，确定目标数据表；
[0033]数据获取模块，用于从所述目标数据表中获取相应的数据，并发送至所述数据获取设备。
[0034]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0035]创建数据表，所述数据表包括增量数据表和增量更新数据表；其中，所述数据存储设备与数据获取设备通信，所述数据存储设备与数据生成设备通信，所述增量数据表用于按照每个预设第一时间段存储增量数据；所述增量更新数据表用于按照每个预设第二时间段存储累计合并后的增量数据；
[0036]在检测到所述数据生成设备中存在新数据更新的情况下，将新数据存储至数据表中；
[0037]获取所述数据获取设备发送的数据获取请求，所述数据获取请求包括时间戳信息；
[0038]根据所述时间戳信息，确定目标数据表；
[0039]从所述目标数据表中获取相应的数据，并发送至所述数据获取设备。
[0040]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0041]创建数据表，所述数据表包括增量数据表和增量更新数据表；其中，所述数据存储设备与数据获取设备通信，所述数据存储设备与数据生成设备通信，所述增量数据表用于按照每个预设第一时间段存储增量数据；所述增量更新数据表用于按照每个预设第二时间段存储累计合并后的增量数据；
[0042]在检测到所述数据生成设备中存在新数据更新的情况下，将新数据存储至数据表中；
[0043]获取所述数据获取设备发送的数据获取请求，所述数据获取请求包括时间戳信息；
[0044]根据所述时间戳信息，确定目标数据表；
[0045]从所述目标数据表中获取相应的数据，并发送至所述数据获取设备。
[0046]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0047]创建数据表，所述数据表包括增量数据表和增量更新数据表；其中，所述数据存储设备与数据获取设备通信，所述数据存储设备与数据生成设备通信，所述增量数据表用于按照每个预设第一时间段本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种增量数据的获取方法，其特征在于，所述方法应用于数据存储设备；包括：创建数据表，所述数据表包括增量数据表和增量更新数据表；其中，所述数据存储设备与数据获取设备通信，所述数据存储设备与数据生成设备通信，所述增量数据表用于按照每个预设第一时间段存储增量数据；所述增量更新数据表用于按照每个预设第二时间段存储累计合并后的增量数据；在检测到所述数据生成设备中存在新数据更新的情况下，将新数据存储至数据表中；获取所述数据获取设备发送的数据获取请求，所述数据获取请求包括时间戳信息；根据所述时间戳信息，确定目标数据表；从所述目标数据表中获取相应的数据，并发送至所述数据获取设备。2.根据权利要求1所述的方法，其特征在于，所述创建数据表，包括：在进行数据存储操作之前，创建增量数据表；获取所述数据获取设备设定的业务需求；根据所述数据获取设备设定的业务需求，确定是否需要创建增量更新数据表；在需要创建所述增量更新数据表的情况下，创建所述增量更新数据表。3.根据权利要求1所述的方法，其特征在于，所述在检测到所述数据生成设备中存在新数据更新的情况下，将新数据存储至数据表，包括：在检测到所述数据生成设备中存在新数据更新的情况下，获取新数据的时间戳信息；根据新数据的时间戳信息，将所述新数据存储至对应的预设第一时间段的增量数据表中；在所述增量数据表累计存储时间达到预设第三时间段对应的时长，且在预设周期更新时间点到达的情况下，触发获取所述增量数据表中预设第三时间段的增量数据；将预设第三时间段的增量数据存储至所述增量更新数据表中。4.根据权利要求1所述的方法，其特征在于，所述时间戳信息包括第一时间戳信息和第二时间戳信息，所述根据所述时间戳信息，确定目标数据表，包括：判断所述第一时间戳信息和所述第二时间戳信息是否属于同一预设第一时间段；在所述第一时间戳信息和所述第二时间戳信息属于同一预设第一时间段的情况下，...
【专利技术属性】
技术研发人员：杨小可，孟少川，黄子豪，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。