【技术实现步骤摘要】
本说明书实施例通常涉及计算机，尤其涉及数据处理方法、装置和分布式数据处理系统。
技术介绍
1、随着数据规模越来越大以及对计算的要求越来越高，分布式数据处理技术得到飞速的发展。基于分布式计算框架ray的数据处理系统可以通过调度来将不同的任务(task)分配到相应的任务处理装置(worker)来处理。
技术实现思路
1、鉴于上述，本说明书实施例提供了一种数据处理方法、装置和分布式数据处理系统。利用该方法、装置和系统，可以实现对数据的高效处理。
2、根据本说明书的实施例的一个方面，提供一种数据处理方法，应用于基于ray的分布式数据处理系统的有状态数据处理装置，所述数据处理方法包括：响应于接收到有状态数据处理任务，执行所述有状态数据处理任务中的数据处理操作，所述有状态数据处理任务通过对程序源代码进行解析得到；确定所述数据处理操作的处理结果所对应的对象标识；以及根据所确定的对象标识，将所述数据处理操作的处理结果以对象标识-数据对象的形式存储到本地存储空间中。
3、根据本说明书的实施例的又一个方面，提供一种有状态数据处理装置，包括：执行单元，被配置为响应于接收到有状态数据处理任务，执行所述有状态数据处理任务中的数据处理操作，所述有状态数据处理任务通过对程序源代码进行解析得到以及存储单元，被配置为确定所述数据处理操作的处理结果所对应的对象标识；以及根据所确定的对象标识，将所述数据处理操作的处理结果以对象标识-数据对象的形式存储到本地存储空间中。
4、根据本说明
5、根据本说明书的实施例的另一方面，提供一种数据处理装置，包括：至少一个处理器，以及与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的数据处理方法。
6、根据本说明书的实施例的另一方面，提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据处理方法。
7、根据本说明书的实施例的另一方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行来实现如上所述的数据处理方法。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，应用于基于Ray的分布式数据处理系统的有状态数据处理装置，所述数据处理方法包括：
2.如权利要求1所述的数据处理方法，其中，在所述本地存储空间中维护对象标识-数据对象对应表，
3.如权利要求1所述的数据处理方法，其中，在所述本地存储空间中维护对象标识-数据对象对应表，所述数据处理方法还包括：
4.如权利要求2所述的数据处理方法，还包括：
5.如权利要求1所述的数据处理方法，其中，所述数据处理操作具有根据所述数据处理操作的操作上下文而确定的原地操作性指示信息，
6.如权利要求1所述的数据处理方法，其中，在所述本地存储空间中维护对象标识-数据对象对应表，
7.如权利要求2所述的数据处理方法，其中，所述对象标识包括全局对象标识，所述从所述对象标识-数据对象对应表中获取所述数据处理操作所涉及的数据对象所对应的对象标识包括：
8.如权利要求7所述的数据处理方法，其中，所述根据所述对象标识从本地存储空间和/或异地存储空间的存储区域获取所述数据处理操作所针对的数据对象的对象值包括：
...【技术特征摘要】
1.一种数据处理方法，应用于基于ray的分布式数据处理系统的有状态数据处理装置，所述数据处理方法包括：
2.如权利要求1所述的数据处理方法，其中，在所述本地存储空间中维护对象标识-数据对象对应表，
3.如权利要求1所述的数据处理方法，其中，在所述本地存储空间中维护对象标识-数据对象对应表，所述数据处理方法还包括：
4.如权利要求2所述的数据处理方法，还包括：
5.如权利要求1所述的数据处理方法，其中，所述数据处理操作具有根据所述数据处理操作的操作上下文而确定的原地操作性指示信息，
6.如权利要求1所述的数据处理方法，其中，在所述本地存储空间中维护对象标识-数据对象对应表，
7.如权利要求2所述的数据处理方法，其中，所述对象标识包括全局对象标识，所述从所述对象标识-数据对象对应表中获取所述数据处理操作所涉及的数据对象所对应的对象标识包括：
8.如权利要求7所述的数据处理方法，其中，所述根据所述对象标识从本地存储空间和/或异地存储空间的存储区域获取所述数据处理操作所...
【专利技术属性】
技术研发人员：冯皓楠，胡东文，张兴盟，胡晓龙，赵彩贝，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。