一种基于分布式代理服务器的自适应上传加速方法技术

技术编号:12222750 阅读:137 留言:0更新日期:2015-10-22 01:01
本发明专利技术公开了一种基于分布式代理服务器的自适应上传加速方法。本方法为:1)用户端向代理服务器提交上传请求;2)该代理服务器将可用的缓存服务器地址下发给该用户端;3)该用户端将待上传文件分片上传到缓存服务器上;4)缓存服务器将文件分片发送给该代理服务器重新组装成文件并查找对应的加速需求度β;如果没有找到,则向其它代理服务器查询;如果没有收到响应,则发起加速需求度计算指令选出最优代理服务器;5)该最优代理服务器将加速需求度告知该代理服务器;6)代理服务器将组装后的文件发送到该最优代理服务器上,并保存加速需求度保存;7)该最优代理服务器将该上传文件发送给接收者。本发明专利技术有利于提高上传速率,提升上传体验。

【技术实现步骤摘要】

本专利技术涉及,属于网络技术领 域。
技术介绍
随着微信、微博、视频共享等网络服务的普及,上行流量近来增长趋势明显。像下 行加速技术使用CDN方法类似,利用缓存技术对上行流量进行加速也是目前常用的一种加 速手段。该方法的本质是在距离用户最近的网路设备上部署缓存服务器,将用户上传的文 件先缓存到本地缓存服务器上,最后由本地缓存服务器使用有线网络将用户数据上传到用 户指定的目标服务器上。由于缓存服务器距离用户近,传输路径短,因此丢包率低、传输速 率大,降低了用户在上传上所花费的时间,尤其是移动无线用户,加速效果明显。 针对传输信道好、待上传文件小的情况,有人提出了选择性上传技术,即在启动传 输之前根据待上传文件的大小、信道情况等因素对本次上传进行信道评估,根据评估结果 决定是不是使用缓存。与普通加速方式相比,该方法降低了不必要的缓存操作,提高了缓存 使用效率,但同时增加了一个信道评估处理过程,会给系统带来一定负荷,同时还会增加一 个信道检测时间,不利于对及时性要求较高的上传业务。尤其是针对一段时间内保持相对 稳定的有线通信链路,这种频繁的检测是不必要的。 另外,上传服务器部署在用户附近,虽然有利于减少用户在上传上所花费的时间, 但是从用户启动发送到目标服务器成功接收到数据,整个上传完成需要的时间不一定减 少,甚至有时候会因为额外操作而增加。这是因为缓存部署在用户附近,与目标服务器的距 离不一定得到减少。
技术实现思路
针对现有技术中存在的技术问题,本专利技术的目的在于提供一种基于分布式代理服 务器的自适应上传加速方法,其特征是包括以下步骤: 用户端上传中间件向上传加速代理服务器(以下简称代理服务器)提交上传请 求,该上传请求包括文件大小、目的IP地址等信息。 代理服务器检查自身当前可用于接收用户数据的缓存服务器的数量,并将上述缓 存服务器的IP地址下发给用户端上传中间件(以下简称用户端中间件)。 用户端中间件接收代理服务器下发的缓存服务器的IP地址,并根据缓存服务器 IP地址的数量将待上传文件拆分为同样多的文件分片,采用多路传输技术将上述分片分别 上传到缓存服务器上,如图1所示。 缓存服务器将自身收到的文件分片发送给代理服务器,代理服务器将收到的文件 分片重新组装成文件。 代理服务器根据待上传文件的目的IP地址,在本地加速需求度列表中查找对应 的加速需求度e,如图2所示,如果没有找到,以广播的形式向其它代理服务器查询对应的 加速需求度。 如果找到对应的代理服务器和加速需求度,对应的代理服务器将加速需求度的淘 汰值e_dei初始化,并以单播的形式告知查询者,即广播查询的代理服务器。 如果没有收到响应,则负责接收用户文件的代理服务器广播通知发起加速需求度 计算指令,所有代理服务器向上传请求中的目的IP地址接收端上传中间件(以下简称接收 端中间件)发送探测报文。 接收端中间件按照丢包率最低且最先发来探测报文的原则选择最优代理服务器, 并向该代理服务器发送回复。 最优代理服务器计算加速需求度,初始化后插入本地加速度需求列表,然后以单 播的形式将该加速需求度告知查询者(即收到请求的代理服务器),该代理服务器保存加 速需求度。 负责接收用户文件的代理服务器将待上传文件发送到加速需求度指定的最优代 理服务器上。 最优代理服务器接收待上传文件,并根据用户指定的目的地IP地址,将文件发送 给接收者,如图3所示。 与现有技术相比,本专利技术的优点: 由于采用了以上的方案,可实现以下优点:1)采用分布式代理服务器和多路传输 技术,有利于提高用户上传速率,提升用户上传体验。2)采用最优传输路径技术,减少网络 延迟,提高完成整个上传过程所需要的时间,有利于及时性要求较高的上传业务。3)加速需 求度0唯一对应一条网络传输链路,其它用户向同一目的地上传文件时,可以立即使用该 加速需求度,避免了重复探测网络信道,减轻系统负荷。4)对0设置生命值,在生命值到时 以后,系统更新该上传加速需求度,提高加速需求度的精确性。5)对0设置淘汰值,对于长 期不使用的0,系统会将其删除,减轻系统冗余度。6)以代理服务器和缓存服务器的结构 方式,有利于减低系统部署成本。7)以加速中间件的形式,用户和网络服务提供商只需要将 相应的中间件嵌入到自己的程序当中,无需更改现有系统和设备,最大程度的与现有系统 兼容。8)组播、单播相结合的加速需求度管理法,有利于加速需求度的计算、学习、更新、删 除等操作,增强系统耦合性与健壮性。【附图说明】 图1为基于分布式代理服务器的自适应上传加速系统; 图2为上传加速需求度结构; 图3为上传加速处理时序图; 图4为自适应上传加速系统架构; 图5为加速需求度计算流程图; 图6为加速需求度学习流程图; 图7为分布式自适应上传加速数据处理流程图。【具体实施方式】 下面结合附图对本专利技术进行进一步详细描述。 本实施例系统架构如图4所示,包含用户端中间件、代理服务器、缓存服务器和接 收端中间件。其中,用户端中间件分为: 1)分片处理模块:根据代理服务器的要求,将待上传的文件才分为多个文件分 片。 2)多路传输模块:发起多路链接,并将文件分片以多路传输的方法发送到指定的 缓存服务器上。 代理服务器和缓存服务器是自适应上传加速系统的核心设备,其中,代理服务器 分为: l)Web服务器模块:用于处理网络请求和网络数据收发。 2)加速需求度模块:系统核心模块之一,管理和计算上传加速需求度,包括计算 加速需求度、学习加速需求度、更新加速需求度、删除加速需求度。 3)探测报文接收模块:负责接收来自接收端上传中间件发送的探测回复。 4)探测报文发送模块:负责探测报文的组装,并将探测报文发送给指定的接收 端。 5)数据处理模块:系统核心模块之一,用于处理数据业务,包括处理用户的请求、 用户信息管理、启动发送、重新组装分片等。 缓存服务器提供基于网络连接的数据缓存服务,主要是接收用户端上传中间件的 连接请求,并将用户发送的文件分片缓存到本地。同时,根据代理服务器的要求,将自身缓 存的分片发送给代理服务器上。 接收端中间件负责监听代理服务器发送的探测报文,根据丢包率、网络延迟选择 最优服务器,分为三个部分: 1)探测报文接收模块:持续监听代理服务器发送的探测报文,并将接收到的报文 转发给处理模块。 2)探测报文处理模块:根据接收到的检测报文,按照丢包率最低、网络延迟最小 的标准选出最优服务器。 3)探测报文发送模块:根据处理模块的要求,组装响应报文,并将该报文发送给 最优代理服务器。 A、加速需求度|3计算 代理服务器组装20个10字节长的IP探测报文,MAC数据域全部置零,IP探测报 文的序列号从0-19依次递增。IP报文的源地址是代理服务器的IP地址,目的地址是接收 端中间件的IP地址。 接收端中间件收到探测报文以后,统计丢包率,选出丢包率最低的代理服务器;对 于丢包率一样的,按照接收完成时间排序,最先接收完成的为最优代理服务器,向最优代理 服务器回复检测响应。探测响应IP报文长度为10个字节,MC数据域全部置零,源地址是 接收端中间件的IP地址,目的地址是最优代理服务器的IP地址。 最优代理服务器接收到探测响应以后,按照下列公式计算加本文档来自技高网...
一种<a href="http://www.xjishu.com/zhuanli/62/CN104994131.html" title="一种基于分布式代理服务器的自适应上传加速方法原文来自X技术">基于分布式代理服务器的自适应上传加速方法</a>

【技术保护点】
一种基于分布式代理服务器的自适应上传加速方法,其步骤为:1)用户端向代理服务器提交上传请求,该上传请求包括待上传文件的大小、目的IP地址信息;2)该代理服务器检查自身当前可用于接收用户数据的缓存服务器数量,并将可用的缓存服务器的IP地址下发给该用户端;3)该用户端根据收到的缓存服务器IP地址将待上传文件拆分为多个文件分片,并将其分别上传到缓存服务器上;4)缓存服务器将收到的文件分片发送给该代理服务器,该代理服务器将收到的文件分片重新组装成文件;5)该代理服务器根据该目的IP地址,在本地加速需求度列表中查找对应的加速需求度β;如果找到,则将加速需求度的淘汰值β_del初始化;如果没有找到,则采用广播的形式向其它代理服务器查询对应的加速需求度;6)如果该代理服务器没有收到其他代理服务器的响应,则向其他代理服务器发起加速需求度计算指令,选出最优代理服务器;7)该最优代理服务器计算加速需求度,并插入本地加速度需求列表,然后将该加速需求度告知该代理服务器;8)该代理服务器将组装后的上传文件发送到该最优代理服务器上,并将加速需求度保存到本地加速需求度列表;9)该最优代理服务器接收该上传文件,并根据该目的地IP地址将文件发送给接收者。...

【技术特征摘要】

【专利技术属性】
技术研发人员:秦小伟孔宁李晓东
申请(专利权)人:中国互联网络信息中心
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1