【技术实现步骤摘要】
本申请涉及通信领域，并且更具体地，涉及一种数据处理的方法、服务器和系统。
技术介绍
1、大数据系统是在海量分析处理过程中的基础设施，通过在服务器集群上部署分布式存储和分布式计算，对海量数据实现运算。大数据系统被广泛应用到科学、管理、以及商业等领域，目前典型的大数据系统实现包括火花(spark)系统、大象(hadoop)系统等。以大数据系统为基础，一个典型的计算任务分三个阶段：映射(map)阶段、洗牌(shuffle)阶段和归约(reduce)阶段。在map阶段，映射者(mapper)处理各自的数据分片，产生中间结果，中间结果以键值对的方式暂存；在shuffle阶段，mapper中的中间数据按照键所在的子空间，一一分散给子空间对应的归约者(reducer)；在reduce阶段，每个reducer对自己收到的报文进行归约操作(reduction)，每个reducer负责键空间中的一个子空间。
2、该大数据系统中一个计算任务的整个过程，需要通过无线网络将mapper的数据不加处理地在服务器之间传输，在数据量很大的情况下，网络传输的时间较长，导致大数据系统的数据处理效率较低。
技术实现思路
1、本申请提供了一种数据处理的方法、服务器和系统，能够提高数据处理的效率。
2、第一方面，提供一种数据处理的方法，应用于数据处理系统，该方法可以由第一服务器执行。该方法包括：发送端模块向第一数据处理单元dpu模块发送第一报文，第一服务器包括所述发送端模块和所述第一dpu模块；所述
3、基于上述技术方案，第一服务器中的第一dpu模块对来自映射者的报文进行归约处理后，第二服务器中的接收端模块或第二dpu模块再从第一dpu模块获取归约处理后的报文序列；相比于第一服务器中的映射者直接将未归约处理的报文通过无线网络发送给第二服务器中的归约者的方案，本申请实施例可以提升不同服务器间报文的发送效率，从而提升数据处理的效率。
4、结合第一方面，在第一方面的某些实现方式中，所述方法还包括：所述第一dpu模块向所述发送端模块发送第一确认消息，所述第一确认消息用于指示所述第一dpu模块对所述第一报文进行了归约处理。
5、结合第一方面，在第一方面的某些实现方式中，所述方法还包括：若所述发送端模块在预设时间内没有接收到所述第一确认消息，则所述发送端模块再次向所述第一dpu模块发送所述第一报文；能够提高数据传输的可靠性。
6、结合第一方面，在第一方面的某些实现方式中，所述发送端模块包括第一接口，所述第一接口用于从映射者接收所述第一报文序列，所述第一服务器还包括所述映射者。第一服务器中的所有映射者可以调用该第一接口，并通过该第一接口向发送端模块发送第一报文序列。
7、结合第一方面，在第一方面的某些实现方式中，所述方法还包括：若所述第一dpu模块没有对所述第一报文进行归约处理，则所述第一dpu模块通过无线网络向所述接收端模块发送所述第一报文；所述发送端模块接收第二确认消息，所述第二确认消息用于指示所述接收端模块接收到所述第一报文。
8、结合第一方面，在第一方面的某些实现方式中，所述方法还包括：若所述发送端模块在预设时间内没有接收到所述第二确认消息，则所述发送端模块再次向所述第一dpu模块发送所述第一报文；能够提高数据传输的可靠性。
9、第二方面，提供一种数据处理的方法，应用于数据处理系统，该方法可以由第二服务器执行。该方法包括：接收端模块从第一dpu模块获取归约处理后的第一报文序列，第一服务器包括所述第一dpu模块，第二服务器包括所述接收端模块；或者，第二dpu模块从所述第一dpu模块获取所述归约处理后的第一报文序列，所述第二服务器还包括所述第二dpu模块。
10、基于上述技术方案，第二服务器中的接收端模块或第二dpu模块从第一dpu模块获取归约处理后的报文序列；相比于第一服务器中的映射者直接将未归约处理的报文通过无线网络发送给第二服务器中的归约者的方案，本申请实施例可以提升不同服务器间报文的发送效率，从而提升数据处理的效率。
11、结合第二方面，在第二方面的某些实现方式中，所述方法还包括：所述接收端模块接收来自所述第一dpu模块的第一报文；所述接收端模块向发送端模块发送第二确认消息，所述第二确认消息用于指示所述接收端模块接收到所述第一报文，所述第一服务器还包括所述发送端模块。
12、结合第二方面，在第二方面的某些实现方式中，所述接收端模块包括第二接口，所述第二接口用于归约者从所述接收端模块获取所述归约处理后的第一报文序列，所述第二服务器还包括所述归约者。第二服务器中的所有归约者可以调用该第二接口，并通过该第二接口从接收端模块获取属于自己负责的子空间的报文。
13、第三方面，提供一种第一服务器，应用于数据处理系统，该第一服务器包括：发送端模块，用于向第一dpu模块发送第一报文；所述第一dpu模块，用于对所述第一报文进行归约处理，以使得接收端模块或第二dpu模块从所述第一dpu模块获取归约处理后的第一报文序列，所述第一报文序列中包括所述第一报文，第二服务器包括所述接收端模块和所述第二dpu模块。
14、结合第三方面，在第三方面的某些实现方式中，所述第一dpu模块还用于，向所述发送端模块发送第一确认消息，所述第一确认消息用于指示所述第一dpu模块对所述第一报文进行了归约处理。
15、结合第三方面，在第三方面的某些实现方式中，所述发送端模块还用于，若在预设时间内没有接收到所述第一确认消息，则再次向所述第一dpu模块发送所述第一报文。
16、结合第三方面，在第三方面的某些实现方式中，所述第一服务器还包括映射模块；所述发送端模块包括第一接口，所述第一接口用于从所述映射模块接收所述第一报文序列。
17、结合第三方面，在第三方面的某些实现方式中，所述第一dpu模块还用于，若没有对所述第一报文进行归约处理，则通过无线网络向所述接收端模块发送所述第一报文；所述发送端模块还用于，接收第二确认消息，所述第二确认消息用于指示所述接收端模块接收到所述第一报文。
18、结合第三方面，在第三方面的某些实现方式中，所述发送端模块还用于，若在预设时间内没有接收到所述第二确认消息，则再次向所述第一dpu模块发送所述第一报文。
19、第四方面，提供一种第二服务器，应用于数据处理系统，该第二服务器包括：接收端模块和第二dpu模块；所述接收端模块，用于从第一dpu模块获取归约处理后的第一报文序列，第一服务器包括所述第一dpu模块；或者，所述第二dpu模块，用于从所述第一dpu模块获取所述归约处理后的第一报文序列。
20、结合第四方面，在第四方面的某些实现方式中，本文档来自技高网...
【技术保护点】
1.一种数据处理的方法，其特征在于，应用于数据处理系统，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1至3中任一项所述的方法，其特征在于，
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.一种数据处理的方法，其特征在于，应用于数据处理系统，包括：
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
9.根据权利要求7或8所述的方法，其特征在于，
10.一种第一服务器，其特征在于，应用于数据处理系统，包括：
11.根据权利要求10所述的第一服务器，其特征在于，
12.根据权利要求11所述的第一服务器，其特征在于，
13.根据权利要求10至12中任一项所述的第一服务器，其特征在于，所述第一服务器还包括映射模块；
14.根据权利要求10所述的第一服务器
15.根据权利要求14所述的第一服务器，其特征在于，
16.一种第二服务器，其特征在于，应用于数据处理系统，包括：接收端模块和第二DPU模块；
17.根据权利要求16所述的第二服务器，其特征在于，所述接收端模块还用于：
18.根据权利要求16或17所述的第二服务器，其特征在于，所述第二服务器还包括归约模块；
19.一种数据处理系统，其特征在于，包括：
20.一种数据处理装置，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述数据处理设备执行如权利要求1至6中任一项所述的方法。
21.一种数据处理装置，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述数据处理设备执行如权利要求7至9中任一项所述的方法。
22.一种计算机可读存储介质，其特征在于，包括
23.一种计算机程序产品，其特征在于，包括计算机程序，当所述计算机程序被计算机执行时，使得如权利要求1至9任一项所述的方法被实现。
...【技术特征摘要】
1.一种数据处理的方法，其特征在于，应用于数据处理系统，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求1至3中任一项所述的方法，其特征在于，
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.一种数据处理的方法，其特征在于，应用于数据处理系统，包括：
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
9.根据权利要求7或8所述的方法，其特征在于，
10.一种第一服务器，其特征在于，应用于数据处理系统，包括：
11.根据权利要求10所述的第一服务器，其特征在于，
12.根据权利要求11所述的第一服务器，其特征在于，
13.根据权利要求10至12中任一项所述的第一服务器，其特征在于，所述第一服务器还包括映射模块；
14.根据权利要求10所述的第一服务器，其特征在于，
15...
【专利技术属性】
技术研发人员：吴文斐，姚信，陈仁海，张弓，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。