面向云平台大数据处理的虚拟网络构建方法及系统技术方案
【技术实现步骤摘要】
面向云平台大数据处理的虚拟网络构建方法及系统
本专利技术涉及云计算
，特别涉及一种面向云平台大数据处理的虚拟网络构建方法及系统。
技术介绍
随着云计算技术的广泛应用，越来越多的大数据处理服务被迁移部署到云计算平台当中，而云计算平台的特性会对传统的MapReduce分布式数据处理方法的性能带来很多新的挑战。目前对云计算平台上MapReduce的性能优化主要都集中在应用层面，如优化大数据作业调度方法等。而缺乏对云平台底层体系结构的研究。将MapReduce并行数据处理应用迁移到云平台之中，并行计算架构中master和slave节点之间的数据通信体现在云平台中虚拟机(VM)之间的通信，因此云平台的架构会进一步对大数据处理的性能产生影响:合理的VM分配方案以及虚拟网络构建方案，会优化大数据处理过程中VM之间的通信开销以及VM处理数据块的计算开销，提升大数据处理的整体性能。OpenStack是一个开源的云管理平台项目，由于其多方面的优势，在推出的短短3年多时间里就得到了众多工业界和学术界同行的认可。迄今为止，OpenStack已经发布了 8个版本。在其Folsom版中推出了 Quantum组件,提出了“Network as a Service”的概念,该组件可提供基于云平台的虚拟网络拓扑构建的基本功能。它允许一个租户在虚拟机之间构建虚拟网络，但在一个云平台中只能单一节点部署通信代理。在随后的OpenStack Grizzly版中，为了改善虚拟网络的性能和可靠性，可以允许租户在多主机上部署代理节点。总的来说，目前的Quantum组件只实现了虚拟网络的...
【技术保护点】
一种面向云平台大数据处理的虚拟网络构建方法，其特征在于，所述包括以下步骤：S1：在作业过程中保证所有虚拟机的总耗时最少的情况下，计算通信代理的最优总数koptimal及设于所述通信代理的服务器上的虚拟机最优数量之和S2：根据所述通信代理的最优总数koptimal及设于所述通信代理的服务器上的虚拟机最优数量之和从云平台上的服务器中确定通信代理的位置；S3：将所述云平台上的服务器中未设置通信代理的虚拟机分配至所述通信代理，以实现所述未设置通信代理的虚拟机与所述通信代理之间的映射关系。
【技术特征摘要】
1.一种面向云平台大数据处理的虚拟网络构建方法，其特征在于，所述包括以下步骤: S1:在作业过程中保证所有虚拟机的总耗时最少的情况下，计算通信代理的最优总数koptifflal及设于所述通信代理的服务器上的虚拟机最优数量之和; S2:根据所述通信代理的最优总数k_imal及设于所述通信代理的服务器上的虚拟机最优数量之和WTiwi，从云平台上的服务器中确定通信代理的位置； S3:将所述云平台上的服务器中未设置通信代理的虚拟机分配至所述通信代理，以实现所述未设置通信代理的虚拟机与所述通信代理之间的映射关系。2.如权利要求1所述的方法，其特征在于，步骤SI中通过下式计算通信代理的最优总数及设于所述通信代理的服务器上的虚拟机最优数量之和， 3.如权利要求2所述的方法，其特征在于，所述通信代理的最优总数I^ptimal及设于所述通信代理的服务器上的虚拟机最优数量之和的表达式如下， 4.如权利要求1所述的方法，其特征在于，步骤S2包括: S201:通过背包算法在m个服务器中选出I^ptimal个，使得所选出的k_imal个服务器上可用虚拟机之和最接近于ArTwai ； S202:将所选出的I^ptimal个服务器作为通信代理。5.如权利要求1所述的方法，其特征在于，步骤S3包括: S301:将所述云平台上的服务器中未设置通信代理的虚拟机的性能进行降序排列，以获得虚拟机序列； S302:将所述虚拟机序列中性能最高的虚拟机作为当前虚拟机，并寻找出负载最轻的通信代理； S303:将所述当前虚拟机分配给所述负载最轻的通信代理；S304:判断所述虚拟机是否已经全部分配完，若是，则结束流程，否则将所述当前虚拟机从所述虚拟机序列中移除，并返回步骤S302。6.一种面向云平台大数据处理的虚拟网络构建...
【专利技术属性】
技术研发人员：杨家海，徐聪，俞荟，王烨，冯瑞军，殷康，
申请(专利权)人：清华大学，中国移动通信集团公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。