本公开提供了一种数据处理系统，涉及数据处理、云服务等技术领域。具体实现方案为：控制服务器基于预设的调度策略从第一拉取器中获取第二拉取器，从第一任务执行管理器获取第二任务执行管理器；控制第二拉取器和第二任务执行管理器执行操作；第二拉取器获取消息队列的待处理消息的数据；对待处理消息的数据进行序列化处理，得到待存储数据；将待存储数据存储到数据库中，得到已存储的第一数据；在数据库中增加第一数据的数据状态；第二任务执行管理器从数据库中获取第二数据，第二数据对应的数据状态为待处理状态，第一数据包括第二数据，执行第二数据对应的任务；并基于第二数据的任务执行结果，更新数据状态。该实施方式提高了数据处理的效率。数据处理的效率。数据处理的效率。
【技术实现步骤摘要】
数据处理方法和装置、系统、电子设备、计算机可读介质
[0001]本公开涉及计算机
，具体涉及数据处理、云服务等
，尤其涉及一种数据处理方法和装置、系统、电子设备、计算机可读介质以及计算机程序产品。
技术介绍
[0002]在对消息队列的数据进行处理时，需要拉取消息队列中消息数据进行处理，在拉取消息处理逻辑上，拉取和处理为一体化，即消息拉取和消息执行合并为一步，无法根据拉取或处理时所需的资源来进行独立的扩容，并且不同的消息间的处理逻辑融合在一起，代码冗杂，不利于管理。
技术实现思路
[0003]提供了一种数据处理方法和装置、系统、电子设备、计算机可读介质以及计算机程序产品。
[0004]根据第一方面，提供了一种数据处理系统，该系统包括：控制服务器、第一拉取器、第一任务执行管理器；控制服务器基于预设的调度策略从第一拉取器中获取第二拉取器，基于预设的调度策略从第一任务执行管理器获取第二任务执行管理器；控制第二拉取器和第二任务执行管理器执行操作；第二拉取器获取消息队列的待处理消息的数据；对待处理消息的数据进行序列化处理，得到待存储数据；将待存储数据存储到数据库中，得到已存储的第一数据；在数据库中增加第一数据的数据状态；第二任务执行管理器从数据库中获取第二数据，第二数据对应的数据状态为待处理状态，第一数据包括第二数据，执行第二数据对应的任务；并基于第二数据的任务执行结果，更新数据状态；其中，第二数据对应的数据状态为待处理状态，第一数据包括第二数据。
[0005]根据第二方面，又提供了一种数据处理方法，该方法包括：从数据库中获取第二数据，第二数据对应的数据状态为待处理状态；执行第二数据对应的任务；基于第二数据的任务执行结果，更新数据状态。
[0006]根据第三方面，又提供了一种数据处理方法，该方法包括：获取消息队列的待处理消息的数据；响应于待处理消息的数据为非关系型数据，获取待处理消息的数据的类型；对待处理消息的数据进行序列化处理，得到待存储数据；基于类型，在待存储数据中添加键值；将添加后的待存储数据存储到数据库中，得到已存储的第一数据；在数据库中增加第一数据的数据状态。
[0007]根据第四方面，提供了一种数据处理装置，该装置包括：状态获取单元，被配置成从数据库中获取第二数据，第二数据对应的数据状态为待处理状态；数据拉取单元，被配置成执行第二数据对应的任务；状态更改单元，被配置成基于第二数据的任务执行结果，更新数据状态。
[0008]根据第五方面，又提供了一种数据处理装置，该装置包括：数据获取单元，被配置成获取消息队列的待处理消息的数据；类型获取单元，被配置成响应于待处理消息的数据
为非关系型数据，获取待处理消息的数据的类型；序列化单元，被配置成对待处理消息的数据进行序列化处理，得到待存储数据；键值增加单元，被配置成基于类型，在待存储数据中添加键值；得到单元，被配置成将添加后的待存储数据存储到数据库中，得到已存储的第一数据；状态增加单元，被配置成在数据库中增加第一数据的数据状态。
[0009]根据第六方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第二方面或第三方面任一实现方式描述的方法。
[0010]根据第七方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第二方面或第三方面任一实现方式描述的方法。
[0011]根据第八方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第二方面或第三方面任一实现方式描述的方法。
[0012]本公开的实施例提供的数据处理系统，系统包括：控制服务器、第一拉取器、第一任务执行管理器；控制服务器基于预设的调度策略从第一拉取器中获取第二拉取器，基于预设的调度策略从第一任务执行管理器获取第二任务执行管理器；控制第二拉取器和第二任务执行管理器执行操作；第二拉取器获取消息队列的待处理消息的数据；对待处理消息的数据进行序列化处理，得到待存储数据；将待存储数据存储到数据库中，得到已存储的第一数据；在数据库中增加第一数据的数据状态；第二任务执行管理器从数据库中获取第二数据，第二数据对应的数据状态为待处理状态，第一数据包括第二数据，执行第二数据对应的任务；并基于第二数据的任务执行结果，更新数据状态；其中，第二数据对应的数据状态为待处理状态，第一数据包括第二数据。由此，通过对数据库中的第一数据标记数据状态，为执行管理器提供了数据状态记录，可以使执行管理器基于已存储数据数据状态执行任务，并更新数据状态，为消息队列的数据提取和处理提供了分离条件，采用执行管理器独立执行任务，为数据拉取或数据处理分别进行单独扩容提供了条件，保证了数据拉取和数据处理的可分离性，提高了消息队列的数据处理效率。
[0013]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0014]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0015]图1是根据本公开数据处理系统的一个实施例的结构示意图；
[0016]图2是根据本公开数据处理方法的一个实施例的流程图；
[0017]图3是根据本公开数据处理方法的另一个实施例的流程图；
[0018]图4是根据本公开数据处理装置的一个实施例的结构示意图；
[0019]图5是根据本公开数据处理装置的另一个实施例的结构示意图；
[0020]图6是用来实现本公开实施例的数据处理方法的电子设备的框图。
具体实施方式
[0021]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种
细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0022]图1示出了根据本公开数据处理系统的一个实施例的结构示意图100，上述数据处理系统包括：控制服务器101第一拉取器102、第一任务执行管理器103。
[0023]本实施例中，控制服务器101分别与第一拉取器102、第一任务执行管理器103通信，基于预设的调度策略从第一拉取器102中获取第二拉取器1021，基于预设的调度策略从第一任务执行管理器103获取第二任务执行管理器1031；控制第二拉取器1021和第二任务执行管理器1031执行操作。
[0024]本实施例中，第一拉取器102包括多个拉取器，第二拉取器1021为第一拉取器中的一个拉取器，控制器服务器101基于预设的调度策略获取第二拉取器。第一任务执行管理器103包括多个任务执行管理器，每个任务执行管理器可以与至少一个执行器连本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理系统，所述系统包括：控制服务器、第一拉取器、第一任务执行管理器；所述控制服务器基于预设的调度策略从第一拉取器中获取第二拉取器，基于预设的调度策略从第一任务执行管理器获取第二任务执行管理器；控制所述第二拉取器和所述第二任务执行管理器执行操作；所述第二拉取器获取消息队列的待处理消息的数据；对所述待处理消息的数据进行序列化处理，得到待存储数据；将所述待存储数据存储到数据库中，得到已存储的第一数据；在所述数据库中增加所述第一数据的数据状态；所述第二任务执行管理器从所述数据库中获取第二数据，所述第二数据对应的数据状态为待处理状态，所述第一数据包括所述第二数据，执行所述第二数据对应的任务；并基于所述第二数据的任务执行结果，更新所述数据状态；其中，所述第二数据对应的数据状态为待处理状态，所述第一数据包括所述第二数据。2.根据权利要求1所述的系统，其中，所述第二任务执行管理器反序列化所述第二数据；向与所述任务执行管理器连接的执行器发送反序列完成的数据，并接收所述执行器反馈的任务执行结果。3.根据权利要求2所述的系统，其中，在所述待处理消息的数据为非关系型数据时，所述第二拉取器获取所述待处理消息的数据的类型；基于所述类型，在所述待存储数据中添加键值；所述第二任务执行管理器在反序列化所述第二数据之前，获取所述键值，并基于所述键值，获取所述待存储数据的类型，在反序列所述第二数据之后，向与所述第二任务执行管理器连接的执行器发送携带所述类型的反序列完成的数据。4.根据权利要求1所述的系统，其中，所述预设的调度策略包括：随机、轮询、分片广播中的任一项。5.一种数据处理方法，所述方法包括：从所述数据库中获取第二数据，所述第二数据对应的数据状态为待处理状态；执行所述第二数据对应的任务；基于所述第二数据的任务执行结果，更新所述数据状态。6.根据权利要求5所述的方法，其中，所述执行所述第二数据对应的任务，包括：反序列化所述第二数据；向执行器发送反序列完成的数据，并接收所述执行器反馈的任务执行结果。7.根据权利要求6所述的方法，所述方法还包括：获取所述第二数据中的键值；基于所述键值，获取待存储数据的类型；在反序列所述第二数据之后，向所述执行器发送携带所述类型的反序列完成的数据。8.一种数据处理方法，所述方法包括：获取消息队列的待处理消息的数据；响应于所述待处理消息的数据为非关系型数据，获...
【专利技术属性】
技术研发人员：高鹏，郭少卿，杨振生，郭威，邢鹏举，刘曾超前，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。