一种通信特征抽取、流量产生方法及装置制造方法及图纸

本发明专利技术提出一种通信特征抽取、流量产生方法及装置，涉及计算机通信技术领域，该装置包括：应用特征获取模块，用于通过分析Map/Reduce类应用的通信特征数据，建立通信模型，并将获取到的数据输入到所述通信模型，将生成结果，其中所述通信模型由阶段分割模型与阶段流量模型组成。应用实现模块，用于根据所述结果与所述通信模型，生成Map列表，并根据所述Map列表与数据速率请求信息，获得数据速率计算函数，通过数据速率计算函数获得数据速率；流量产生引擎模块，用于根据所述数据速率，获得产生的流量。本发明专利技术在通信信息统计方面，通过对目标应用的分析，降低特征参数的维度，因此所需计算存储资源成本较低，实现容易、适用于应用场景。

【技术实现步骤摘要】

本专利技术涉及计算机通信
，特别涉及一种通信特征抽取、流量产生方法及装置。
技术介绍
目前，在大数据通信特征分析领域，如何利用有限的计算和存储资源,产生符合大数据分布式系统通信特征的网络流量,已成为分布式系统中通信优化的瓶颈技术，现有的解决方案都是在已经确定部署的网络结构下，统计记录在有限时间段内网络各个节点的数据传输情况，主要分为两种：其一是流量重放，即根据统计记录直接在网络的各个通信发送信息的通信节点上复现通信流量；其二是流量拟合建模，即根据一段时间内的统计记录，进行函数拟合，通过寻找符合实际记录的通信特征的数学模型，指导并使网络中各个发送信息的通信节点产生通信流量，但上述两种方法产生的流量仅刻画了特定网络中的通信特征，难以用于对不同规模或不同拓扑的网络性能评估，具体分析如下。首先，通过记录网络流量并直接进行复现的方法，虽然能够比较准确的产生符合系统通信特性的通信流量，但在面向较大规模网络时不具备可操作性，如百万节点规模的网络，需要长时间记录网络中各个节点的随时间变化的通信流量数值信息，且需要消耗较大的存储资源来存储网络中各个发送信息的通信节点各个时刻的通信流量信息，同时该方法最大的问题是，其所能刻画的通信特征仅限于获取该流量时的系统规模，无法用于更大规模系统的通信特征描述，其次，根据统计记录进行函数拟合的方法，虽然节省了存储资源，但是实际大数据平台应用的通信行为具有一定波动性，忽略了应用实际部署参数变化导致的网络性能变化，该方法并不能体现系统通信特征的一般规律，而且根据拟合方法的误差影响，产生的通信流量也不能准确产生符合实际大数据分布式系统的流量。综上，现有面向大数据分布式系统的通信流量产生方法，处理不能兼顾计算存储资源成本和流量的准确性，除此之外，现有方法在面向不同网络拓扑结构、不同网络节点规模、不同分布式平台种类时，都需要重新进行统计记录工序，即统计记录结果无普适性，增加了方法的可扩展性和实际部署实施上复杂度。具体讲，“通信特征抽取”功能是面向运行Map/Reduce类应用的分布式系统的通信特点进行特征抽取的，面向运行Map/Reduce类应用的分布式系统有如下通信特点：在运行Map/Reduce类应用的分布式系统中，计算任务将拆分成多个子部分，分布到系统的多个不同的运算节点上，当计算进程启动后，将会在多个存储计算数据的网络节点进行数据运算，即“Map”行为；进行计算的节点将面向多个计算进程来进行Map，每个计算进程都有一个Reducer节点，该节点实时对该计算进程的各个进行Map计算的节点进行检测，当检测到任意一个节点的Map行为完成后，Reducer节点将会立即发送计算结果请求指令，当完成Map行为的计算节点接收到结果请求指令后，将作为发送信息的通信节点将该计算进程对应的计算结果发送给Reducer节点，该行为称为Shuffle行为，即网络通信的主要行为，当Reducer节点接收到所有该计算进程的计算结果后，将会对这些中间结果进行统一处理和计算，该过程即为Reduce行为。专利技术专利“一种基于数据包特征的网络流量生成方法”，该专利技术公开了一种基于数据包特征的网络流量生成方法，包含一种基于数据包特征的流量生成方法，将网络数据流量在单位时间窗口内的网络数据包特征属性值引入网络流量生成方法中，该专利技术专注于监测的网络线路上的链路层、网络层、传输层的网络数据包数量、网络数据包尺寸数量分布、网络数据包发送间隔分布等特征属性信息引入网络流量生成方法中，实现网络数据流量生成，与本专利技术提出的提取少量应用通信特征配置参数，根据针对MapReduce类应用的通信特征模拟方式实现流量的产生有本质区别。专利技术专利“基于多分形小波模型的fpga网络流量发生系统及方法”，该专利技术公开了一种基于多分形小波模型的fpga网络流量发生系统及方法，该专利技术要点是基于多分型的小波模型能够反映出互联网流量的长相关性和突发性，该模型能够更好的描绘互联网流量特征，但该专利技术专注于利用多分形小波模型，利用带特定标签的流量对网络流量分类器进行训练的方法，与本专利技术基于利用针对MapReduce类应用的通信行为分析和建模的思想不同，且本专利技术采用的基于数据聚合分组的通信模型也有本质区别，本专利技术与具体网络设备硬件结构不相关。
技术实现思路
针对现有技术的不足，本专利技术提出一种通信特征抽取、流量产生方法及装置。本专利技术提出一种通信特征抽取、流量产生装置，面向Map/Reduce类应用，包括：应用特征获取模块，用于通过分析Map/Reduce类应用的通信特征数据，建立通信模型，并将获取到的数据输入到所述通信模型，将生成结果，其中所述通信模型由阶段分割模型与阶段流量模型组成。应用实现模块，用于根据所述结果与所述通信模型，生成Map列表，并根据所述Map列表与数据速率请求信息，获得数据速率计算函数，通过数据速率计算函数获得数据速率；流量产生引擎模块，用于根据所述数据速率，获得产生的流量。所述阶段分割模型，用于计算并输出Map/Reduce类应用在各输入条件下的任务数量与通信子阶段之间的边界。所述任务数量包括Map任务与Reduce任务；所述通信子阶段包括Input、Map、Shuffle、Reduce与Output五个子阶段；所述阶段流量模型，用于计算并输出各所述通信子阶段内各消息的大小、消息的源目的地址、消息的产生时机。所述数据速率计算函数为：Rate＝f10(Ns,Nr,t)，其中Ns表示发送信息的通信节点的节点编号，Nr表示接收节点编号，t表示数据包发信时间值。所述流量产生引擎模块包括流量分组建模与管理子模块与发送信息的通信节点通信流量产生子模块。还包括数据速率计算子模块，用于计算数据速率，其中根据流量产生引擎模块产生的速率计算参数，通过遍历发送信息的通信节点的Map列表，查找在计算时刻发生重叠的Shuffle进程的表项，并将所述表项的平均数据通信传输速率进行叠加，作为结果返回给所述流量产生引擎模块。所述阶段分割模型为：m＝f1(lnV)，其中f1为以lnV为变量的线性函数，与lnV成正比；r＝f2(lnV)，其中f2为以lnV为变量的线性函数，与lnV成正比；T1＝f3(V/n,m/n)，其中f3为以V/n与m/n为变量的二元线性函数，与V/n成正比，与m/n成正比；T2＝f4(V/n,m/n)，其中f4为以V/n与m/n为变量的二元线性函数，与V/n成正比，与m/n成正比；T3＝f5(V/n,m/n，r/n)，其中f5为以V/n、m/n与r/n为变量的二元线性函数，与V/n成正比，与m/n成反比，与r/n成正比；T4＝f6(V/n,r/n)，其中f6为以V/n与r/n为变量的二元线性函数，与V/n成正比，与r/n成反比；T5＝f7(V/n,r/n)，其中f7为以V/n与r/n为变量的二元线性函数，与V/n成正比，与r/n成反比；其中V为初始数据总量、r为Reduce任务的数量、n为计算节点的数量、m为Map任务的数量。若通信子阶段中Shuffle子阶段通信总量为d，Shuffle子阶段进行通信的进程的部署策略为f8(m,r,n)，Shuffle子阶段进行通信的均匀通信本文档来自技高网...

【技术保护点】
一种通信特征抽取、流量产生装置，面向Map/Reduce类应用，其特征在于，包括：应用特征获取模块，用于通过分析Map/Reduce类应用的通信特征数据，建立通信模型，并将获取到的数据输入到所述通信模型，将生成结果，其中所述通信模型由阶段分割模型与阶段流量模型组成。应用实现模块，用于根据所述结果与所述通信模型，生成Map列表，并根据所述Map列表与数据速率请求信息，获得数据速率计算函数，通过数据速率计算函数获得数据速率；流量产生引擎模块，用于根据所述数据速率，获得产生的流量。

【技术特征摘要】
1.一种通信特征抽取、流量产生装置，面向Map/Reduce类应用，其特征在于，包括：应用特征获取模块，用于通过分析Map/Reduce类应用的通信特征数据，建立通信模型，并将获取到的数据输入到所述通信模型，将生成结果，其中所述通信模型由阶段分割模型与阶段流量模型组成。应用实现模块，用于根据所述结果与所述通信模型，生成Map列表，并根据所述Map列表与数据速率请求信息，获得数据速率计算函数，通过数据速率计算函数获得数据速率；流量产生引擎模块，用于根据所述数据速率，获得产生的流量。2.如权利要求1所述的通信特征抽取、流量产生装置，其特征在于，所述阶段分割模型，用于计算并输出Map/Reduce类应用在各输入条件下的任务数量与通信子阶段之间的边界。3.如权利要求2所述的通信特征抽取、流量产生装置，其特征在于，所述任务数量包括Map任务与Reduce任务；所述通信子阶段包括Input、Map、Shuffle、Reduce与Output五个子阶段。4.如权利要求1所述的通信特征抽取、流量产生装置，其特征在于，所述阶段流量模型，用于计算并输出各所述通信子阶段内各消息的大小、消息的源目的地址、消息的产生时机。5.如权利要求1所述的通信特征抽取、流量产生装置，其特征在于，所述数据速率计算函数为：Rate＝f10(Ns,Nr,t)，其中Ns表示发送信息的通信节点的节点编号，Nr表示接收节点编号，t表示数据包发信时间值。6.如权利要求1所述的通信特征抽取、流量产生装置，其特征在于，所述流量产生引擎模块包括流量分组建模与管理子模块与发送信息的通信节点通信流量产生子模块。7.如权利要求1所述的通信特征抽取、流量产生装置，其特征在于，还包括数据速率计算子模块，用于计算数据速率，其中根据流量产生引擎模块产生的速率计算参数，通过遍历发送信息的通信节点的Map列表，查找在计算时刻发生重叠的Shuffle进程的表项，并将所述表项的平均数据通信传输速率进行叠加，作为结果返回给所述流量产生引擎模块。8.如权利要求2所述的通信特征抽取、流量产生装置，其特征在于，所述阶段分割模型为：m＝f1(ln...

【专利技术属性】
技术研发人员：邵恩，曹政，郭嘉梁，王展，臧大伟，刘小丽，谢震，杨帆，元国军，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11