一种海量网络数据处理方法及系统技术方案

本发明专利技术公开了一种海量网络数据处理方法及系统，涉及网络数据处理技术领域，其包括接收第一个数据包，发送到对应的发送控制节点组成的发送数据节点；接收包含目的地地址的上述第一数据包，并决定目的地控制节点的发送控制节点；以及接收第一数据包，生成第二数据包和匹配策略规则的目的地控制节点。本发明专利技术的网络数据处理方法系统中节点间的协作操作性能得到了显著提高，网络设备中多节点处理的过剩执行大大减少，从而提高了海量网络数据及服务处理的效率。理的效率。

【技术实现步骤摘要】
一种海量网络数据处理方法及系统


[0001]本专利技术涉及数据处理
，具体涉及一种海量网络数据处理方法及系统。

技术介绍

[0002]随着互联网时代的高速发展，人们的生活发生了巨大的变化，现代社会已经进入高科技时代，所有的办公环境及沟通交流都是通过电子产品，数据的产生速度及共享速度也成指数增长，从而导致数据量的剧增。但由于数据的来源及类型变得复杂多样性，数据量非常庞大，与传统的数据有很大的区别。在传统数据中，数据存储、处理及分析的数据量相对较少，可以采用关系型数据库和并行仓库处理，难以保证扩展性。在海量数据存在的大数据时代，由于大数据处理大量的非结构化数据，因此，其存储及处理与传统数据有很大的区别，同时也带来了极大的挑战。

技术实现思路

[0003]针对现有技术中的问题，本专利技术提供了一种海量网络数据处理方法及系统。
[0004]为了达到上述目的，本专利技术通过以下技术方案来实现的：
[0005]一种海量网络数据处理方法及系统，包括接收第一数据包，第一数据包包括有目的地地址；将第一数据包发送到与第一数据包对应的发送地控制节点的发送地数据节点中，且随后由发送地数据节点发送，并且根据所述第一数据包的目的地地址决定目的地控制节点组成的发送地控制节点；根据所述第一数据包和匹配策略规则生成第二数据包的目的地控制节点；匹配策略规则包括子图信息与动作参数或策略参数之间的匹配/对应关系，或应用层信息与动作参数或策略参数之间的匹配；
[0006]其中，发送地数据节点为：用于接收包含发送地IP地址的第一数据包，并根据所述第一数据包的发送地IP地址，或者根据数据节点与控制节点之间的映射，发送到对应第一数据包的发送地控制节点；发送地控制节点为：由发送地数据节点发送，接收包含目的地地址的所述第一数据包，并根据所述第一数据包的目的地地址决定所述目的地数据节点；如果所述发送地控制节点不管理目的地数据节点，则由发送地数据节点和管理目的地数据节点的一控制节点作为目的地控制节点来决定；目的地控制节点为：接收所述第一数据包，并根据第一数据包的子图信息或第应用层信息，在策略规则中搜索其动作参数或策略参数。
[0007]进一步的，上述网络数据处理方法及系统还包括多个服务节点；依据搜索到的动作参数或策略参数，在一个以上的服务节点中，由具有动作参数或策略参数执行性能的一服务节点发送性能要求信息；所述服务节点由响应性能要求信息发送到目的地控制节点；所述目的地控制节点是根据性能响应信息生成第二数据包而额外组成的。
[0008]目的地控制节点由目的地地址的第二数据包追加组成，并将其发送到发送地数据节点；所述发送地数据节点在目的地控制节点的管理下，为对应所述第二数据包目的地地址的数据节点增加了第二数据包的发送。
[0009]进一步的，上述网络数据处理方法及系统还包括一个或多个的中继数据节点，所
述目的地控制节点由管理每一个中继数据节点组成；中继数据节点用于存储数据包处理规则的流表。
[0010]目的地控制节点生成路由分散规则，并将所述路由分散规则添加到中继数据节点及发送地数据节点，所述路由分散规则用于分配第二数据包的路径；中继数据节点由所述目的地控制节点接收并发送路由目的地规则，并根据路由分散规则追加组成，以更新中继数据节点的流表；所述发送地数据节点根据更新的流表，由对应第二数据包目的地地址的中继数据节点追加组成；所述中继数据节点根据更新的流程表，由对应第二数据包目的地地址的目的地数据节点发送第二数据包组成。
[0011]进一步的，上述网络数据处理方法及系统还额外组成一发送地数据节点用于存储服务流数据包的子调度器信息以及对应于子调度器信息的处理规则的流表；所述目的地控制节点由额外的控制节点编号字段和服务参数字段组成，控制节点编号字段用于表示对应发送地数据节点的目的地控制节点的索引，所述服务参数字段用于表示对应服务流数据包子调度器信息处理结果的索引。
[0012]进一步的，上述网络数据处理方法及系统还额外组成一发送地数据节点接收第三个数据包，第三数据包和第一数据包均属于服务流数据包，对应第三数据包子图信息的处理规则与对应第一数据包子图信息的处理规则相同。
[0013]进一步的，发送地数据节点根据流程表，从与第三数据包的子调度器信息相匹配的处理规则记录中添加了对应于子调度器信息的服务参数，所述服务参数用于表示对第三数据包执行的动作参数或策略参数的索引；所述发送地数据节点在第三数据包中添加了服务参数，以将所述第三数据包发送到目的地控制节点；所述目的地控制节点根据第三数据包的服务参数及应用层信息，决定对第三数据包执行的动作参数或策略参数，以生成第四数据包。
[0014]进一步的，目的地控制节点由上述发送地数据节点的流表、对应上述第一数据包的服务参数字段和控制节点编号字段组成，控制节点编号字段用于表示对应上述发射机数据节点的目的地控制节点的索引，对应上述第一数据包的服务参数字段用于表示对应上述第一数据包子调度器信息的匹配策略规则的索引，对应上述第三数据包的服务参数是对应上述第一数据包子调度器信息的匹配策略规则的索引；
[0015]进一步的，发送地数据节点在第三数据包中添加了对应第一数据包子调度器信息的匹配策略规则的索引，以将第三数据包发送到目的地控制节点，所述目的地控制节点根据第一数据包的子图信息上第三数据包的应用层信息和对应匹配策略规则索引的匹配策略规则。
[0016]与现有技术相比，本专利技术具有如下的有益效果：
[0017]本专利技术的网络数据处理方法系统中节点间的协作操作性能得到了显著提高，网络设备中多节点处理的过剩执行大大减少，从而提高了海量网络数据及服务处理的效率。
具体实施方式
[0018]下面结合实施例对本专利技术的具体实施方式作进一步描述，以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
[0019]实施例1
[0020]一种海量网络数据处理方法及系统，包括接收第一数据包，第一数据包包括有目的地地址；将第一数据包发送到与第一数据包对应的发送地控制节点的发送地数据节点中，且随后由发送地数据节点发送，并且根据第一数据包的目的地地址决定目的地控制节点组成的发送地控制节点；根据第一数据包和匹配策略规则生成第二数据包的目的地控制节点；匹配策略规则包括子图信息与动作参数或策略参数之间的匹配/对应关系，或应用层信息与动作参数或策略参数之间的匹配；
[0021]其中，发送地数据节点为：用于接收包含发送地IP地址的第一数据包，并根据第一数据包的发送地IP地址，或者根据数据节点与控制节点之间的映射，发送到对应第一数据包的发送地控制节点；发送地控制节点为：由发送地数据节点发送，接收包含目的地地址的第一数据包，并根据第一数据包的目的地地址决定目的地数据节点；如果发送地控制节点不管理目的地数据节点，则由发送地数据节点和管理目的地数据节点的一控制节点作为目的地控制节点来决定；目的地控制节点为：接收第一数据包，并根据第一数据包的子图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海量网络数据处理方法及系统，其特征在于，包括接收第一数据包，第一数据包包括有目的地地址；将第一数据包发送到与第一数据包对应的发送地控制节点的发送地数据节点中，且随后由发送地数据节点发送，并且根据所述第一数据包的目的地地址决定目的地控制节点组成的发送地控制节点；根据所述第一数据包和匹配策略规则生成第二数据包的目的地控制节点；所述匹配策略规则包括子图信息与动作参数或策略参数之间的匹配/对应关系，或应用层信息与动作参数或策略参数之间的匹配；其中，所述发送地数据节点为：用于接收包含发送地IP地址的第一数据包，并根据所述第一数据包的发送地IP地址，或者根据数据节点与控制节点之间的映射，发送到对应第一数据包的发送地控制节点；所述发送地控制节点为：由发送地数据节点发送，接收包含目的地地址的所述第一数据包，并根据所述第一数据包的目的地地址决定所述目的地数据节点；如果所述发送地控制节点不管理目的地数据节点，则由发送地数据节点和管理目的地数据节点的一控制节点作为目的地控制节点来决定；所述目的地控制节点为：接收所述第一数据包，并根据第一数据包的子图信息或第应用层信息，在策略规则中搜索其动作参数或策略参数。2.根据权利要求1所述的海量网络数据处理方法及系统，其特征在于，还包括多个服务节点；依据搜索到的动作参数或策略参数，在一个以上的服务节点中，由具有动作参数或策略参数执行性能的一服务节点发送性能要求信息；所述服务节点由响应性能要求信息发送到目的地控制节点；所述目的地控制节点是根据性能响应信息生成第二数据包而额外组成的。3.根据权利要求2所述的海量网络数据处理方法及系统，其特征在于，所述目的地控制节点由目的地地址的第二数据包追加组成，并将其发送到发送地数据节点；所述发送地数据节点在目的地控制节点的管理下，为对应所述第二数据包目的地地址的数据节点增加了第二数据包的发送。4.根据权利要求3所述的海量网络数据处理方法及系统，其特征在于，还包括一个或多个的中继数据节点，所述目的地控制节点由管理每一个中继数据节点组成；中继数据节点用于存储数据包处理规则的流表。5.根据权利要求4所述的海量网络数据处理方法及系统，其特征在于，所述目的地控制节点生成路由分散规则，并将所述路由分散规则添加到中继数据节点及发送地数据节点，所述路由分散规则用于分配第二数据包的路径；中继数据节点由所述目的地控制节点接收并发送路...

【专利技术属性】
技术研发人员：夏波，李进，黄正峰，叶朱兵，
申请(专利权)人：中徽建技术有限公司，
类型：发明
国别省市：