智能代理轮换器制造技术

HTTP/HTTPS会话统计数据截取和收集的任务、逻辑被转移到客户端而不是代理层。加密的HTTPS隧道终止于客户端处，使得传输中的实际内容或数据对代理和智能代理轮换器(SPR)二者来说都不可见。客户端的抓取软件安装有扩展其功能的插件。HTTP/HTTPS会话质量度量在客户端侧被截取和收集，然后被发送给SPR。基于度量分析的结果，对于当前分析的代理，从SPR获得代理使用标记“可以使用”。。。

【技术实现步骤摘要】
【国外来华专利技术】智能代理轮换器


[0001]本专利技术实施例涉及例如用于同时处理多个程序的数据处理设备，两个或更多的数字设备的组合体，每个数字设备至少具有算术单元、程序和寄存器。更具体地，本专利技术实施例涉及特别适合于评估统计数据，并基于此类评估进行特定动作的数字计算或数据处理设备和方法。

技术介绍

[0002]代理服务器是接受来自客户端的请求并将该请求转发给其他代理服务器、源服务器，或者从它们自己的高速缓存服务该请求的中间服务器。代理服务器是充当顾客计算设备的中介的连接到网络的计算设备，代理服务器从“网络资源”请求服务或数据、接受来自顾客代理服务器的请求、并且或者将该请求转发到其他代理、重定向到所请求的资源，或者从位于本地或远程或分布在多个系统上的它们自己的高速缓存来服务该请求。
[0003]代理也被称为
‘
服务器
’
或
‘
网关
’
。代理允许网络上的用户浏览Web，通过文件传送协议(FTP)发送文件，以及使用电子邮件和其他因特网服务来工作。代理基本上执行以下操作：i)从防火墙内部的客户端接收请求；ii)将请求发送到防火墙外部的远程服务器；iii)获得响应；以及iv)将响应发送回客户端。
[0004]根据提供的功能或使用的服务器，代理可以被分成不同的类型。代理也可以被划分为住宅网际协议(IP)代理、数据中心IP代理和移动IP代理。住宅IP代理是链接到物理设备，例如移动电话机或台式计算机的IP地址。住宅IP代理的真正拥有者，即因特网服务提供商(ISP)在公共数据库中登记住宅IP地址，这允许网站确定设备的因特网提供商、网络和位置。数据中心IP代理是分配有数据中心IP的代理服务器。数据中心IP是公司而不是个人拥有的IP。数据中心代理实际上是不位于自然人家中的IP地址。相反，数据中心代理与二级公司关联。移动IP代理的行为类似于住宅代理。移动IP代理本质上是从移动运营商获得的一个IP地址。移动IP代理使用移动数据，与使用宽带ISP或家庭Wi
‑
Fi的住宅代理相反。代理服务器基本上是因特网上的计算机，它具有客户端的计算机知道的它自己的IP地址。当客户端发送web请求时，该请求首先转到代理服务器。然后，代理服务器代表客户端发出web请求、收集来自web服务器的响应、并转发网页数据，使得客户端可以在浏览器中看到该页面。当代理服务器转发web请求时，代理服务器可以对数据进行更改，但是仍然提供所请求的数据。代理服务器改变客户端的IP地址，从而web服务器不被提供客户端的地理位置。代理可以加密客户端的数据，使得客户端的数据在传输过程中变得不可读。此外，代理服务器可以基于IP地址或域名阻止对某些网页的访问。
[0005]现代的代理服务器不仅仅是简单地转发web请求。例如，现代的代理服务器可以进行一些附加功能以增加数据安全性和网络性能。代理服务器充当防火墙和web过滤器，提供共享网络连接，以及高速缓存数据从而加速常见的请求。代理服务器可以提供高水平的隐私。代理服务器改变web请求包含的IP地址和其他识别信息(例如，使得目的地服务器不知道谁发出了原始请求)。代理服务器也可用于控制员工和孩子的因特网使用(例如，组织和
父母设置代理服务器来控制和监视他们的员工或小孩如何使用因特网)，或者提高浏览速度和节省带宽(例如，代理服务器可以高速缓存(本地保存适当的网站数据的副本)热门网站，并且当发出请求时，将所保存的副本发送给客户端)。
[0006]通过使用户能够通过(远程)代理服务器请求内容而不是直接访问内容，代理可以用于绕过某些因特网限制(例如防火墙)。代理服务器通常用于绕过基于地理IP的内容限制。如果有人想从例如美国网页获取内容，但是他们不能从他们本国访问，则他们可以通过位于美国(并且具有美国IP地址)的代理服务器发出请求。通过使用代理服务，用户的流量似乎来自美国IP地址。代理也可用于web抓取、数据挖掘和其他类似的任务。
[0007]代理提供商可以控制代理的质量，并决定客户端所使用的一组代理将服务于哪些网际协议(IP)地址。如果同一代理用于太多的请求，则该代理最终将被因特网服务提供商或网页禁止，并且将不能使用这样的代理来发出随后的请求。如果短时间内来自一个IP地址的请求过多，则站点将返回某种错误消息，并在预先设定的一段时间内禁止来自该代理的请求。为了防止错误或不被允许的请求，按照使用率或其他预定因素轮换代理。所述轮换足够快，使得目标网站服务器不提供任何错误，并且不阻止使用代理进行额外的请求。
[0008]虽然一些系统操作单独的代理、管理代理列表并帮助为特定用户或用户设备选择单独的代理进行长时间的会话，但是这些系统不提供包括代理提供商的逻辑实体的代理抽象层，也没有规模更大地管理代理服务访问。
[0009]虽然一些系统基于在短时间内出现的一个或数个请求来检测代理可用性，但是这些系统不保存关于代理的使用的统计信息。另外，这些系统在较长时间内不评估代理，并且不总结代理服务质量和可用性。此外，当前的轮换方法不改变代理使用的总体配置。
[0010]例如，考虑到数个请求来评估一些代理，并从最可用的到最不可用的列出这些代理。该过程可能连续不断地重复，但是不保持或测量总体的统计数据。另外，按照代理可用性的变化，并在代理的值改变之后，Web浏览器需要用“最佳的”Proxy/Socks服务器周期性且动态地更新，从而代理列表需要不断更新。另外，现有技术没有公开在不需要额外干预的情况下统计数据的自动收集和阈值的自动配置。另外，现有技术的系统在总结生成的数据以及改变代理的可用性时需要持续的人为监督和干预。
[0011]此外，不能获得请求的匿名性或发出请求的客户端的隐私。传统的方法是在代理管理提供商的域内终止加密的会话，这会损害请求的隐私。

技术实现思路

[0012]在一个方面，本专利技术实施例使用相同的代理列表，并且所公开的代理的提供商的轮换允许客户端以最有效的方式使用代理。通过本专利技术实施例，即使使用有限的代理列表，本专利技术实施例也使客户端能够使用自动轮换系统以最有效的方式使用代理。在本专利技术实施例中公开的系统确保代理不会耗尽(例如，当代理使用限制达到由提供商建立的阈值时，可能发生耗尽)。在另一方面，本专利技术实施例以配置的间隔测量提供商的耗尽率并修改提供商的使用率。
[0013]本专利技术实施例防止大量阻塞使提供商的代理池耗尽从而使提供商失效或禁用提供商。由于持续不断地收集和分析每个客户端请求的服务质量度量，因此使智能代理轮换器(SPR)能够迅速拦截由提供商的代理所服务的客户端请求的较高阻塞率。SPR的使用允许
及时降低所述提供商的利用率，从而防止相应代理池的IP地址的进一步阻塞，并避免完全禁用提供商。在提供商已经被阻塞的情况下，则使针对提供商登记的所有代理都处于预先配置的冷却时段，从而从活跃轮换中移除代理。在冷却时段之后，使代理返回到主动轮换。此外，检测较高的错误/阻塞率SPR功能允许在预先配置的一段时间内暂时排除对应代理池的使用。这种暂时排除使本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的用于动态配置代理提供商的利用阈值的方法，所述方法包括：在连接到网络的计算设备上运行智能代理轮换器(SPR)；由Web抓取器按照当前有效的SPR操作设定从SPR获得代理，以用于对内容的请求；由Web抓取器通过所述代理建立与目标服务器的加密连接；由Web抓取器通过所述加密连接请求和获得在所述请求内指定的内容；由Web抓取器向SPR提供所述代理的性能和可用性信息；在SPR处计算所述代理提供商的权重；以及基于所述计算动态地配置所述代理提供商的利用阈值。2.按照权利要求1所述的方法，其中Web抓取器在将所述信息提供给SPR之前，累积来自多个代理的性能和可用性信息。3.按照权利要求1所述的方法，其中代理提供商的权重是由SPR基于对来自属于所述代理提供商的至少一个代理的性能和可用性数据的评估来计算的。4.按照权利要求1所述的方法，还包括基于权重计算来动态配置所述代理提供商的利用阈值。5.按照权利要求1所述的方法，其中SPR在任意配置的时间段，按照Web抓取器提交的代理性能和可用性信息，定期计算和配置所述代理提供商的权重。6.按照权利要求1所述的方法，其中当达到所配置的最大阈值中的至少一个时，SPR至少在一段时间内停止使用被最大限度地使用的代理提供商。7.按照权利要求1所述的方法，其中收集的性能和可用性信息包括但不限于：代理id、代理状态、代理响应时间、以及通过代理获得的数据的大小。8.按照权利要求1所述的方法，其中SPR操作设定被加载到盘上的数据库、盘上的平面文件、存储器中的数据库或其他存储介质中，SPR操作设定诸如是代理提供商设定、利用阈值、错误阈值和代理列表。9.按照权利要求1所述的方法，其中SPR能够被放置在客户端的网络、代理服务提供商的网络或提供代理轮换服务的一方内。10.一种非暂态计算机可读介质，包括：用于动态地配置代理提供商的利用阈值的计算机程序，所述计算机程序包括指令，当由计算机设备执行时，所述指令使所述计算设备：向Web抓取器提供来自代理提供商列表的代理；在所述代理被用于从目标获得内容之后，累积由Web抓取器提供的关于所述代理的性能和可用性信息，其中由于网络传送层或应用层加密，所述内容对于智能代理轮换器(SPR)是不可读的...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：元集群LT有限责任公司，
类型：发明
国别省市：