【技术实现步骤摘要】
本专利技术涉及计算机网络技术，具体涉及一种面向异构资源的网内聚合方法及系统。
技术介绍
1、近些年，在可编程网络设备的驱动下，网内聚合（in-network aggregation，后文中简称ina）作为一种新的通信和计算模式逐渐兴起。
2、ina作为一种新的传输和计算模式，需要专有的协议来确保聚合过程的正确性和鲁棒性。其中，switchml是一种针对分布式机器学习应用而设计的ina协议，其被用于利用单个交换机执行ina操作。atp将ina拓展到多租户的机器学习，并且使用集群中的tor交换机执行聚合，实现了“两层”的ina加速。gisa进一步释放了这种约束，使得ina能够在通用的多层级拓扑结构中被灵活地部署，并且将应用和ina的设计解耦合，使得ina能够在同一个集群中动态地为不同应用提供加速。
3、ina的部署通常需要考虑两种不同的网络资源，一种是ina路径上的链路带宽，其大小会限制报文在路径上的传输速率（为便于描述，称其为传输吞吐量）。由于报文的大小往往远小于需要发送的数据的大小，传输过程是以一种流水线的方式进行，因此整个路径上最小的链路带宽决定了传输吞吐量的上限。超过这一限制会导致拥塞和丢包，而无法带来更多的传输吞吐量提升。另一种资源是交换机上的聚合器（aggregator）数量，其大小会限制交换机的聚合吞吐量。当ina路径涉及多个聚合交换机时，其中聚合器资源最少的交换机会成为限制聚合吞吐量的瓶颈。为便于描述，交换机上可用聚合器所支持的最大吞吐量被称为交换机的聚合能力。
4、现有的ina协
5、然而，这些确定性的ina协议设计会造成两种资源相互施加约束，从而导致“木桶效应”。图1中的示例阐述了这种相互制约的关系。如图1所示，图1（a）为交换机上的聚合器资源充足的情形，这意味着交换机的所能实现的最大聚合吞吐量高于传输吞吐量。为此，到达交换机的报文无法充分利用交换机上的聚合器资源，导致传输过程中有聚合器处于空闲的状态。另外，如果来自不同子节点的传输吞吐量不同，实际的传输吞吐量会收敛到最小的一方。在图1（a）中，虽然子节点1的吞吐量高于子节点2的吞吐量，但是过多的报文只能在交换机聚合器上缓存以等待来自其余子节点的相关联报文。在这个例子中，即使交换机上的聚合器资源充足，但是实际的ina吞吐量由最小的传输吞吐量所决定。图1（b）为交换机上聚合器资源不足的情况，其中子节点的传输吞吐量高于交换机所支持的最大聚合吞吐量。结果，由于交换机没有足够的聚合器资源缓存这些报文来执行聚合操作，实际的ina吞吐量受限于交换机聚合能力。
6、当网络资源异构时，上述的“木桶效应”会导致ina出现显著的性能退化。以图2为例，其中h1-h4是源节点，h5是目的节点，链路的传输带宽和交换机的聚合能力由各自所标注的分母来表示。图2（a）展示了现有方法（gisa和atp）所能实现的ina吞吐量，其受限于交换机s1的聚合能力。为此，即使链路的可用带宽和其余交换机上的聚合器资源是充足的，由于“木桶效应”的存在，这些资源并不能用来提升ina的性能，而是只能退化到4gbps的瓶颈吞吐量。图2（b）展示了grid方法所能实现的吞吐量，其在atp基础上实现改进，利用多余的链路带宽将数据传输到目的节点进行聚合。虽然该方式能够在一定程度上弥补“木桶效应”的不足，但是利用目的节点进行多余数据的聚合会导致这部分流量遭受与传统方法相同的多对一incast传输，进而耗费大量的链路带宽资源。结果，受限于目的节点h5的入射链路的可用带宽影响，该方法只能实现5gbps的吞吐量。
7、此外，在这些ina协议中，聚合操作是确定性的，而不是渐进式的。具体来说，在现有的协议中，每个ina报文必须精确地知道其被聚合的每一个交换机，而源节点则需要根据ina路径上这些交换机的资源瓶颈来限制网络中正在传输的报文的数量（即那些已经被发送但是还没被确认收到的报文）。否则，交换机聚合器（aggregator）上的哈希冲突会导致不相关的报文被聚合在一起，或导致本该被聚合的报文散落在不同的交换机上。结果，交换机要么会输出错误的聚合结果，要么无法将相关的报文聚合在一起。对于后一个问题，位于不同交换机上的报文可能会一直互相等待对方到达各自的交换机来完成聚合操作，进而导致死锁和聚合过程的中断。该问题称为相互等待锁（mutual waiting lock,mwl）。
技术实现思路
1、本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种面向异构资源的网内聚合方法及系统，能够用ina路径上的链路带宽和交换机上的聚合器数量中“长板”资源补偿“短板”资源的不足，通过这两种资源之间的互补机制来提高ina性能，并避免mwl的发生。
2、为了解决上述技术问题，本专利技术采用的技术方案为：
3、一种面向异构资源的网内聚合方法，应用于包含源节点、目的节点与交换机的分布式系统，所述方法包括以下步骤：
4、源节点收到网内聚合任务之后通过网内聚合路径向目的节点发送报文，若在指定时间内收到所发送的报文对应的确认报文，源节点使用滑动窗口通过网内聚合路径向目的节点发送下一批报文；若超出指定时间未收到所发送的报文对应的确认报文，源节点通过网内聚合路径向目的节点重传所发送的报文；
5、交换机实时获取报文并对报文进行聚合，包括以下步骤：
6、交换机实时获取网内聚合路径上的前端节点的报文；
7、若当前报文为重传的报文，交换机将当前报文转发至网内聚合路径上的后端节点，若当前报文不为重传的报文，交换机比较当前报文的计数器的值与所述交换机的叶子节点数量；
8、若当前报文的计数器的值与所述交换机的叶子节点数量一致，交换机将当前报文转发至网内聚合路径上的后端节点；
9、若当前报文的计数器的值小于所述交换机的叶子节点数量，交换机根据当前报文的taskid和序列号sn的值计算对应聚合器的位置，然后将当前报文发送至对应的聚合器进行聚合，若发生哈希冲突，交换机将当前报文转发至网内聚合路径上的后端节点，若未发生哈希冲突，交换机更新聚合后的报文的计数器的值；
【技术保护点】
1.一种面向异构资源的网内聚合方法，其特征在于，应用于包含源节点、目的节点与交换机的分布式系统，所述方法包括以下步骤：
2.根据权利要求1所述的面向异构资源的网内聚合方法，其特征在于，若当前报文为重传的报文，交换机将当前报文转发至网内聚合路径上的后端节点时，包括以下步骤：
3.根据权利要求1所述的面向异构资源的网内聚合方法，其特征在于，交换机根据当前报文的TaskID和序列号SN的值计算对应聚合器的位置时，包括：
4.根据权利要求1所述的面向异构资源的网内聚合方法，其特征在于，将当前报文发送至对应的聚合器进行聚合时，包括：
5.根据权利要求1所述的面向异构资源的网内聚合方法，其特征在于，所述目的节点设置有报文缓冲区，所述报文缓冲区由缓存单元Bucket组成，目的节点实时获取网内聚合路径上的前端节点的报文之后还包括针对未完全聚合的数据报文进行处理的步骤，包括：
6.根据权利要求5所述的面向异构资源的网内聚合方法，其特征在于，目的节点实时获取网内聚合路径上的前端节点的报文之后还包括针对重传报文进行处理的步骤，包括：
<...【技术特征摘要】
1.一种面向异构资源的网内聚合方法，其特征在于，应用于包含源节点、目的节点与交换机的分布式系统，所述方法包括以下步骤：
2.根据权利要求1所述的面向异构资源的网内聚合方法，其特征在于，若当前报文为重传的报文，交换机将当前报文转发至网内聚合路径上的后端节点时，包括以下步骤：
3.根据权利要求1所述的面向异构资源的网内聚合方法，其特征在于，交换机根据当前报文的taskid和序列号sn的值计算对应聚合器的位置时，包括：
4.根据权利要求1所述的面向异构资源的网内聚合方法，其特征在于，将当前报文发送至对应的聚合器进行聚合时，包括：
5.根据权利要求1所述的面向异构资源的网内聚合方法，其特征在于，所述目的节点设置有报文缓冲区，所述报文缓冲区由缓存单元bucket组成，目的节点实时获取网内聚合路径上的前端节点的报文之后还包括针对未完全聚合的数据报文进行处理的步骤，包括：
6.根据权利要求5所述的面向异构资源的网内聚合方法，其特征在于，目的节点实时获取网内聚合路径上的前端节点的报文之后还...
【专利技术属性】
技术研发人员：程葛瑶，夏俊旭，郭得科，王振义，米海波，刘凤增，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。