基于HINOC协议的Top-k流的统计方法及其系统技术方案

本发明专利技术公开了一种基于HINOC协议的Top

【技术实现步骤摘要】
基于HINOC协议的Top
‑
k流的统计方法及其系统


[0001]本专利技术属于HINOC系统网络测量
，具体涉及一种基于HINOC协议的Top
‑
k流的统计方法及其系统。

技术介绍

[0002]目前，基于HINOC同轴宽带接入技术的有线同轴网，是国家信息基础设施的重要组成部分。但随着网络的发展，流量规模的不断增大，大规模流量统计变得越来越重要，针对Flow size，Heavy Hitter，Top
‑
k，Heavy Change，Distribution，Entrop，Cardinality，DDoS等网络流的测量需求愈加迫切。
[0003]早期HINOC2.0的网络管理功能，是固化在相应的网络设备中的，基于2个端口对交换机不同流向的流量进行统计，其中只有19类按照流向的统计数据。随着网络规模的扩张与网络可视化的迫切需求，这种简单的统计方式已经不能满足HINOC同轴网在实际商用过程中的网络管理；且HINOC2.0协议峰值速率可达1.14Gbps，仅凭粗略的总数统计，无法了解网络发生异常的原因，也就没有办法针对特定的业务流进行管理。
[0004]因此，亟需提高Top
‑
k流流量统计精度。

技术实现思路

[0005]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于HINOC协议的Top
‑
k流的统计方法及其系统。本专利技术要解决的技术问题通过以下技术方案实现：
[0006]第一方面，本申请提供一种基于HINOC协议的Top
‑
k流的统计方法，包括：
[0007]对以太网数据流进行特征提取，得到五元组信息，依据五元组信息对业务流进行分类，按照流的特征字段进行编码，得到标识流；
[0008]采用多层级数据结构和多数投票算法结合的方式，得到Top
‑
k流的统计结果；
[0009]采用状态机查询和更新Top
‑
k流的统计结果；
[0010]处理器可根据特定的需求查询对应方案的Top
‑
k流的统计结果。
[0011]可选地，标识流为依据五元组信息进行哈希映射得到的取值。
[0012]可选地，Top
‑
k流的统计结果由r行组成，每一行包括w个桶，每个桶内包括元素V
i,j
和元素K
i,j
；其中，V
i,j
为哈希到第i行第j个桶中总的流量，即流量计数器，K
i,j
为当前桶内记录的流特征。
[0013]可选地，采用多数投票算法的过程包括：
[0014]将流量计数器V
i,j
初始化为0，每次收到新选票后，将新选票与候选人的多数选票进行比较；如果相同，即相同的流特征，则将流量计数器V
i,j
加上本次流量值；如果不同，即不同的流特征，则将流量计数器V
i,j
减去本次流量值；如果本次流量值大于当前桶内流量值，则用新选票替换当前候选人的多数选票，并将流量计数器V
i,j
重置为0。
[0015]可选地，多层级数据结构包括λ层，高一层的流量计数器V
i,j
是低一层的流量计数器V
i,j
的数量的一半；第一层的流量计数器为纯计数器，为多比特超前进位的加减法器；除
去第一层的其他层的流量计数器为混合计数器，为多比特超前进位的加减法器与左右标志位的结合。
[0016]可选地，以多数投票算法为统计结果，以多层级数据结构为存储形式，对以太网数据流进行写入、删除和查询；
[0017]其中，写入时，依据标识流写入一条流的流量计数器V
i,j
时，获取d个哈希函数h1(e)，h2(e)，
…
，h
d
(e)，定位第一层L1的纯计数器为L1[h1(e)]，L1[h2(e)]，
…
，L1[h
d
(e)]，定位第二层L2的混合计数器为L2[h1(e)]，L2[h2(e)]，
…
，L2[h
d
(e)]，如果第二层L2中的流量计数器V
i,j
溢出，则将溢出记录在对应的第一层L1中的父流量计数器中；
[0018]删除时，判断第一层L1中某一个纯计数器L1[h
j
(e)]是否为0；如果否，则将第一层L1中的纯计数器的数量减1，如果是，则将纯计数器L1[h
j
(e)]设置为最大值，将第二层L2中的混合计数器的数量减1，同时根据是否降位修改标志信息；
[0019]查询时，根据查询地址，第一层L1的查询地址为原始查询地址，每增加一层，查询地址截去与其相邻的低一层的1比特，且将每次截去的1比特作为左右标志位的指示信号flag；当该位为0，表示低一层的右子计数器进位；当该位为1，表示低一层的左子计数器进位；直至高一层的左标志位为0，得到Top
‑
k流的统计数量。
[0020]可选地，状态机包括QUERY_HASH状态和WRITE_HASH状态；
[0021]其中，QUERY_HASH状态用于查询Top
‑
k流的统计结果；在QUERY_HASH状态下，依据五元组信息的哈希映射值查询5次；
[0022]WRITE_HASH状态用于更新Top
‑
k流的统计结果；在WRITE_HASH状态下，判断本次key值与上次存储的key值是否相等；如果相等，则本次key值保持不变，更新桶内总流量值，即将桶内存储流量值加上本次的流量值；如果不相等，判断桶内存储流量值是否为0；如果是，则更新key值为本次的流量的key值，桶内流量值更新为本次流量值；如果不是，则key值保持不变，判断桶内存储流量值与本次流量值的大小关系；如果桶内存储流量值大于本次流量值，则更新桶内总流量值，即将桶内存储流量值减去本次的流量值，使得更新后的桶内流量值为二者差值；如果桶内存储流量值小于本次流量值，则更新桶内总流量值，使得更新后的桶内流量值为0。
[0023]可选地，更新Top
‑
k流的统计结果包括：
[0024]获取本次更新的流量值、左右标志位的指示信号flag和加减法sub信号；
[0025]当加减法sub信号为0，表示更新本次流量值采用加法；当加减法sub信号为1，表示更新本次流量值采用减法；
[0026]当各层完成加法操作时，各层传递的进位信号可作为混合计数器的标志位；当各层完成减法操作时，判断该层流量计数器是否为0，以及判断高一层是否还有标志位，决定标志位是否保留。
[0027]可选地，五元组信息包括IP地址、TCP端口号、UDP端口号、协议类型和帧长信息。
[0028]第二方面，本申请还提供一种基于HINOC协议的Top
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于HINOC协议的Top
‑
k流的统计方法，其特征在于，包括：对以太网数据流进行特征提取，得到五元组信息，依据所述五元组信息对业务流进行分类，按照流的特征字段进行编码，得到标识流；采用多层级数据结构和多数投票算法结合的方式，得到Top
‑
k流的统计结果；采用状态机查询和更新Top
‑
k流的统计结果；处理器可根据特定的需求查询对应方案的Top
‑
k流的统计结果。2.根据权利要求1所述的基于HINOC协议的Top
‑
k流的统计方法，其特征在于，所述标识流为依据五元组信息进行哈希映射得到的取值。3.根据权利要求1所述的基于HINOC协议的Top
‑
k流的统计方法，其特征在于，所述Top
‑
k流的统计结果由r行组成，每一行包括w个桶，每个桶内包括元素V
i,j
和元素K
i,j
；其中，V
i,j
为哈希到第i行第j个桶中总的流量，即流量计数器，K
i,j
为当前桶内记录的流特征。4.根据权利要求1所述的基于HINOC协议的Top
‑
k流的统计方法，其特征在于，采用所述多数投票算法的过程包括：将流量计数器V
i,j
初始化为0，每次收到新选票后，将新选票与候选人的多数选票进行比较；如果相同，即相同的流特征，则将流量计数器V
i,j
加上本次流量值；如果不同，即不同的流特征，则将流量计数器V
i,j
减去本次流量值；如果本次流量值大于当前桶内流量值，则用新选票替换当前候选人的多数选票，并将流量计数器V
i,j
重置为0。5.根据权利要求1所述的基于HINOC协议的Top
‑
k流的统计方法，其特征在于，所述多层级数据结构包括λ层，高一层的流量计数器V
i,j
是低一层的流量计数器V
i,j
的数量的一半；所述第一层的流量计数器为纯计数器，为多比特超前进位的加减法器；除去第一层的其他层的流量计数器为混合计数器，为多比特超前进位的加减法器与左右标志位的结合。6.根据权利要求1所述的基于HINOC协议的Top
‑
k流的统计方法，其特征在于，以所述多数投票算法为统计结果，以所述多层级数据结构为存储形式，对以太网数据流进行写入、删除和查询；其中，写入时，依据标识流写入一条流的流量计数器V
i,j
时，获取d个哈希函数h1(e)，h2(e)，
…
，h
d
(e)，定位第一层L1的纯计数器为L1[h1(e)]，L1[h2(e)]，
…
，L1[h
d
(e)]，定位第二层L2的混合计数器为L2[h1(e)]，L2[h2(e)]，
…
，L2[h
d
(e)]，如果第二层L2中的流量计数器V
i,j
溢出，则将溢出记录在对应的第一层L1中的父流量计数器中；删除时，判断第一层L1中某一个纯计数器L1[h
j
(e)]是否为0；如果否...

【专利技术属性】
技术研发人员：潘伟涛，吕红霞，邱智亮，李大状，黄一明，杨润钰，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：