用于时间行进重建的先行数据分级制造技术

本文公开用于利用先行数据分析(LAS)来保证回滚和重建包，同时最小化锁定持续时间并使多个包能够在数据管线中同时处理的能力的系统、方法和计算机程序产品实施例。一个实施例通过从源系统接收包以通过数据管线进行处理来操作。该实施例将包与相应包状态一起存储在永久性存储装置中。该实施例响应于所述存储将包发送到数据管线。该实施例响应于发送从目标系统接收针对包的提交通知。之后，该实施例响应于接收到包的提交通知而从永久性存储装置中移除包。中移除包。中移除包。

【技术实现步骤摘要】
用于时间行进重建的先行数据分级


[0001]本文提供用于利用先行数据分级(LAS)来保证回滚和重建包、同时最小化锁定持续时间并使能够在数据管线中同时处理多个包的系统、装置、设备、方法和/或计算机程序产品实施例，和/或其组合和子组合。

技术介绍

[0002]包(也称为事务)通常用于将数据从源系统发送到目标系统。包可以表示全部应用于目标系统中或根本不应用的一组更改。当源系统与目标系统之间的任何位置处出现问题时，源系统可以回滚未提交的包并且尝试在目标系统中重建该包。
[0003]但是，当源系统尝试在目标系统中异步提交包时，回滚和重建未提交的包通常是不可能的。这是因为源系统在尝试提交包后可能会不断更新，因此源系统永久性存储装置中的数据可能在此期间发生了变化。一些系统通过在包的处理过程中确保源系统的永久性存储装置区域和目标系统的永久性存储装置区域被锁定来保证回滚和重建包的能力。但是，锁定的持续时间可能很长，这会妨碍其他用户使用源系统和目标系统的永久性存储装置。这通常发生在使用具有许多中间处理阶段或跨越许多不同系统边界的数据管线来处理包时。此外，这种锁定可以防止数据管线在给定的时间点处理多个包，这会降低数据管线的吞吐量。

技术实现思路

[0004]根据本公开的实施例提供了一种用于使能通过数据管线处理的包的重建的计算机实施方法，方法包括：通过至少一个处理器从源系统接收包以通过数据管线进行处理，其中包中包括要提交到目标系统的一组更改；通过至少一个处理器将包与相应的包状态一起存储在永久性存储装置中；响应于存储，通过至少一个处理器将包发送到数据管线；响应于发送，通过至少一个处理器从目标系统接收针对包的提交通知；以及响应于接收到包的提交通知，通过至少一个处理器从永久性存储装置中删除包。
[0005]根据本公开的另一实施例提供了一种系统，包括：存储器；以及至少一个处理器，至少一个处理器耦合到存储器，并且被配置成：从源系统接收包以通过数据管线进行处理，其中包中包括要提交到目标系统的一组更改；将包与相应的包状态一起存储在永久性存储装置中；响应于存储，将包发送到数据管线；响应于发送，从目标系统接收针对包的提交通知；并且响应于接收到包的提交通知，从永久性存储装置中删除包。
[0006]根据本公开的另一实施例提供了一种具有存储在其上的指令的非暂态计算机可读介质，指令在被至少一个计算设备执行时，使至少一个计算设备执行包括以下项的操作：从源系统接收包以通过数据管线进行处理，其中包中包括要提交到目标系统的一组更改；将包与相应的包状态一起存储在永久性存储装置中；响应于存储，将包发送到数据管线；响应于发送，从目标系统接收针对包的提交通知；以及响应于接收到包的提交通知，从永久性存储装置中删除包。
附图说明
[0007]附图并入本文并形成说明书的一部分。
[0008]图1是根据一些实施例的系统的方框图，该系统利用先行数据分级(LAS)来保证回滚和重建包、同时最小化锁定持续时间并使多个包能够在数据管线中同时处理的能力。
[0009]图2是根据一些实施例的由LAS模块维护的包的有序列表的示例。
[0010]图3是示出根据一些实施例的利用LAS来保证包重建、同时最小化锁定持续时间并使多个包能够在数据管线中同时处理的过程的流程图。
[0011]图4是用于实施多个实施例的示例性计算机系统。
[0012]在附图中，相同的附图标记通常表示相同或相似的元件。此外，通常，附图标记最左边的(多个)数字标识第一次出现该附图标记的附图。
具体实施方式
[0013]本文提供用于利用先行数据分级(LAS)来保证回滚和重建包、同时最小化锁定持续时间并使能够在数据管线中同时处理多个包的系统、装置、设备、方法和/或计算机程序产品实施例，和/或其组合和子组合。
[0014]一个实施例通过从源系统接收包以通过数据管线进行处理来操作。该实施例将包与相应包状态一起存储在永久性存储装置中。该实施例响应于存储将包发送到数据管线。该实施例响应于发送从目标系统接收针对包的提交通知。之后，该实施例响应于接收到包的提交通知而从永久性存储装置中移除包。
[0015]该实施例可以解决通过源系统与目标系统之间的数据管线处理包时的至少两个技术问题。首先，该实施例可以最小化源系统与目标系统的永久性存储装置的锁定持续时间，同时保持响应于源系统与目标系统之间任何位置发生的问题而回滚和重建未提交包的能力。其次，该实施例使得数据管线的每个处理步骤能够同时作用于不同的包，进而可以增加数据管线的吞吐量。
[0016]图1是根据一些实施例的系统100的方框图，该系统100利用LAS来保证回滚和重建包，同时最小化锁定持续时间并使多个包能够在数据管线中同时被处理的能力。系统100可以包括源系统102、LAS 104、数据管线106和目标系统108。如所属领域中的普通技术人员所理解，系统100可以包括多个目标系统108。
[0017]源系统102可以是桌上型计算机、服务器、虚拟机、容器、膝上型计算机、平板、智能电话或所属领域中的普通技术人员所理解的其他设备。源系统102也可以是用于云计算的软件平台。
[0018]源系统102可以包括从永久性存储装置110中读取包(也称为事务)的生产者软件。包可以表示完全应用于目标系统108中(也称为已提交)或根本不应用的一组改变。当在目标系统108中应用包出现问题时，源系统102可以回滚未提交的包并尝试在目标系统108中重建该包。
[0019]永久性存储装置110可以表示在存储设备的电源被关闭之后保留数据的任何存储设备。例如，永久性存储装置110可以是硬盘驱动器、固态驱动器、数据库、文件系统、对象存储器或所属领域中的普通技术人员所理解的各种其他类型的存储设备。永久性存储装置器110可以通信地耦合到源系统102。
[0020]源系统102可以将包发送到LAS 104，并且LAS 104可以通过数据管线106将包发送到目标系统108。在一些实施例中，源系统102可以将包发送到LAS 104，并且LAS 104可以通过数据管线106将包发送到多个目标系统108。换言之，LAS 104可以在包处理链中引入中断。LAS 104可以是以通信方式耦合到源系统102的软件模块。LAS 104还可以是以通信方式耦合到源系统102的硬件模块、设备或系统。
[0021]LAS 104可以将包写入永久性存储装置112。永久性存储装置112可以表示在设备电源被关闭之后保留数据的任何存储设备。永久性存储装置112可以以通信方式耦合到LAS 104。
[0022]目标系统108可以是桌上型计算机、服务器、虚拟机、容器、膝上型计算机、平板、智能电话或所属领域中的普通技术人员所理解的其他设备。目标系统108也可以是用于云计算的软件平台。
[0023]目标系统108可以包括从数据管线106接收包并将其写入永久性存储装置114的消费者软件。当包被提交给目标系统108时(例如，当包被成功地写入永本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于使能通过数据管线处理的包的重建的计算机实施方法，所述方法包括：通过至少一个处理器从源系统接收包以通过所述数据管线进行处理，其中所述包中包括要提交到目标系统的一组更改；通过所述至少一个处理器将所述包与相应的包状态一起存储在永久性存储装置中；响应于所述存储，通过所述至少一个处理器将所述包发送到所述数据管线；响应于所述发送，通过所述至少一个处理器从所述目标系统接收针对所述包的提交通知；以及响应于接收到所述包的所述提交通知，通过所述至少一个处理器从所述永久性存储装置中删除所述包。2.根据权利要求1所述的方法，其中所述接收进一步包括：通过所述至少一个处理器，经由来自所述源系统上的生产者软件的同步调用来接收所述包。3.根据权利要求1所述的方法，其中所述接收进一步包括：通过所述至少一个处理器，经由应用程序编程接口(API)来接收所述包。4.根据权利要求1所述的方法，进一步包括：通过所述至少一个处理器，响应于所述发送来更新所述永久性存储装置中的所述包的所述包状态。5.根据权利要求1所述的方法，其中所述包是第一包，并且所述方法进一步包括：通过所述至少一个处理器接收第二包的回滚通知；通过所述至少一个处理器标识与所述第二包相关联的所述永久性存储装置中的一组后续包，其中所述一组后续包中的每个包具有相应的进行中包状态；通过所述至少一个处理器基于所标识的一组后续包在所述永久性存储装置中生成一组包；以及通过所述至少一个处理器，将所生成的一组包中的每个包发送到所述数据管线。6.根据权利要求1所述的方法，其中所述存储进一步包括：通过所述至少一个处理器，基于所述永久性存储装置中包含低于数据阈值级别的数据，将所述包存储在所述永久性存储装置中。7.根据权利要求6所述的方法，其中所述数据阈值级别与订阅标识符相关联，并且其中所述订阅标识符标识与所述包逻辑相关的一组包。8.一种系统，包括：存储器；以及至少一个处理器，所述至少一个处理器耦合到所述存储器，并且被配置成：从源系统接收包以通过数据管线进行处理，其中所述包中包括要提交到目标系统的一组更改；将所述包与相应的包状态一起存储在永久性存储装置中；响应于所述存储，将所述包发送到所述数据管线；响应于所述发送，从所述目标系统接收针对所述包的提交通知；并且响应于接收到所述包的所述提交通知，从所述永久性存储装置中删除所述包。9.根据权利要求8所述的系统，其中为了接收，所述一个处理器进一步被配置成：
经由来自所述源系统上的生产者软件的同步调用来接收所述包。10.根据权利要求8所述的系统，其中为了接收，所述...

【专利技术属性】
技术研发人员：D博斯，D刘，T卡普斯坦，
申请(专利权)人：SAP欧洲公司，
类型：发明
国别省市：