离线反事实分析制造技术

可以基于试验期间收集的数据而“离线”或者“事后”执行反事实分析，在该试验中系统的输出应用了随机变化，该系统的参数将成为反事实分析的对象。为了强调在随机变化与如果利用过反事实参数产生输出则将会预期的输出最接近地相似时得到的数据，可以推导加权因子并将其应用于该试验期间收集的数据。如果该正被考虑的反事实参数与进行试验所用的参数相差太大，则离线反事实分析可以估计系统性能的变化的方向和大小，与推导具体预期的系统性能值相对。在经济交易中，可以把另一方支付价格的变化认为是随机变化，从而使得能够推导它们的边际成本。

【技术实现步骤摘要】
离线反事实分析
技术介绍
人们经常想知道若已经使用不同的参数组开发了特定系统，则那个系统产生的结果将会如何变化。例如，使计算装置能够下棋的计算机应用程序的开发者可能希望知道特定策略是否会导致计算装置比实际实现的策略更好地下棋。针对假设存在不同的环境组特定结果将会怎么不同的问题被称为“反事实(coimterfactual)”考虑。在开发针对一个或者多个任务的计算机可执行指令的上下文中，通常通过如下方式来评价反事实考虑修改计算机可执行指令以解释不同环境组的或者以便基于不同参数组，然后观察这种修改过的计算机可执行指令的执行结果。在对针对由特定用户引导的任务性能的计算机可执行指令进行开发时，因为可以并行产生和并行测试计算机可执行指令的许多不同的变体，这种用来评价反事实考虑的机制可以是实际的。然而，对于针对涉及一大群个体的任务性能的计算机可执行指令，例如经由互联计算装置的网络向成千上万的用户提供服务的计算机可执行指令，可能难以评价反事实考虑。例如，可能难以对大群人类用户的行为进行适当地模拟，所述人类用户传统地使用这种计算机可执行指令。同样地，由于例如由一个或者多个替代计算机可执行指令产生的不是最理想的性能，所以使大群人类用户了解被设计成评价一个或者多个反事实考虑的计算机可执行指令的不同替代品有疏远这些人类用户的危险。经常出现反事实考虑的一个上下文是通过互联计算装置网络的广告选择和显示。 传统上，待显示给正与通过互联计算装置网络提供的服务进行通信的用户的广告的选择是基于这样的模型它试图预测被显示的广告对它们将为之显示的特定用户有多大用处，作为结果，可能导致用户选择这种广告，从而对显示广告的实体产生收益。因为难以准确地为这种大且变化多的用户池的行为建模，评价选择广告以显示给特定用户的可替代方法的传统机制依赖于在实际用户的小样本上对这种机制进行测试。然而，正如本领域技术人员所认识到的那样，这种传统机制效率低，因为它们既需要大量的准备努力(setup effort)，也需要延长的时间来收集足够的结果，这本身就可能变化过多以至于难以从中得到有意义的数据。另外，这种传统机制可能限制能够被测试的反事实考虑的量，这仅仅是由于对用户量以及访问的限制，通过所述访问来测试这种反事实考虑。
技术实现思路
在一个实施例中，可以基于试验期间收集的数据“离线”或者“事后”执行反事实分析，在该试验中随机变化应用到系统的输出，该系统的参数将成为反事实分析的对象。假定该系统正在使用该参数，随机变化可以导致系统的输出具有在其传统值周围的概率分布。 离线反事实分析可以推导如果该系统已经利用了反事实参数而不是进行试验所用的参数则本应产生的预期的系统性能。在另一个实施例中，可以通过推导加权因子并把它应用到试验期间收集的数据的方式执行离线反事实分析，其中为了估计利用不同参数时系统的行为和性能而把随机变化应用到系统的输出。假定由离线反事实分析来预期估计参数，在系统的输出与所预期的类似时，加权因子能够增加所收集数据的重要性，同时减少其他数据的重要性。因为能使用反事实参数预测那个预测概率分布，加权因子可以基于带有进行试验所用的参数的系统输出的预测概率分布与带有在进行试验所用的参数的系统输出的概率分布的比率。在另一个实施例中，如果正被离线反事实分析考虑的反事实参数与进行试验所用的参数差别太大，离线反事实分析可以估计系统性能的变化的方向和大小，与推导被具体预期的系统性能形成对比。在这样一个实施例中，可以基于试验期间的系统性能乘以带有进行试验所用的参数的系统输出的概率分布算法关于进行试验所用模型中的变化的导数， 产生指示系统性能变化的方向以及那个变化将发生得多快的矢量。在另一个实施例中，如果系统通过其他施动者(actor)影响经济决策(economic decision)，假定这些其他施动者是理性的经济施动者，那么所应用的随机化可以被认为是经济随机化并可以推导其他施动者的边际成本。提供本
技术实现思路
以简单的方式介绍了一些概念，下面的具体实施例中将进一步描述。本
技术实现思路
其意不在识别要求保护的主题的关键特征或者必要特征，也不在用于限制要求保护的主题的范围。其他的特征和优点将从后面参考附图的具体实施方式中变得显而易见。 附图说明当连同附图一起考虑时，可以最佳地理解下面的详细描述，其中 图1是计算装置的示范性网络的框图2是示范性离线反事实数据收集和分析系统的框图； 图3是离线反事实数据收集和分析机制的示范性操作的流程图；以及图4是示范性计算装置的框图。具体实施例方式下面的描述涉及基于试验(trial)期间收集的数据用于执行“离线”或者“事后” 反事实分析的机制，在该试验中，系统的输出应用了随机变量，该系统的参数将成为反事实分析的对象。通过推导加权因子并把它应用于在试验期间所收集的数据可以执行离线反事实分析。当系统的输出与所预期的给定反事实参数类似时，加权因子能够增加所收集数据的重要性，同时减少其他数据的重要性。若该正被考虑的反事实参数与进行试验的情况下的参数相差太大，则离线的反事实分析可以估计系统性能的变化方向和尺度，而不是推导具体的预期系统性能。另外，若正在分析的系统通过其他施动者影响经济决策，假定这些其他施动者是理性的经济施动者，所应用的随机化可以被认为是经济的随机化并可以推导其他施动者的边际成本。为了说明的目的，在此描述的技术参考所描述的机制的具体应用，即在对网络可访问的页面上的包括用户指定的网络搜索结果的广告显示进行优化的上下文中。这种参考意在在具体上下文中说明所描述的机制以使得能够更多地理解该所描述的机制。然而， 所描述的机制同样可应用于由一个或者多个计算装置实现的且其性能可以被量化地测量的任何系统，其中该系统包括一组根据其参数可以修改的模型接收输入和提供输出的计算机可执行指令。同样地，下面对在网络可访问的页面上显示广告的具体上下文的参考意即仅仅是说明性的和示范性的，而并不意在把所描述的机制仅仅限制在该具体上下文中的应用。虽然不是必须的，下面的描述将在诸如程序模块之类由计算装置执行的计算机可执行指令的一般上下文中进行。更具体地，除非另外指出，本描述将参考由一个或者多个计算装置或者外设执行的操作的动作和符号性表示。同样地，将要理解的是，这些时常被提及为被计算机执行的动作和操作包括处理单元对以有结构的形式表示数据的电信号的操纵。 这些操纵使数据变形或者把它保存在存储器的存储单元(locations in memory)中，该操纵以本领域技术人员熟知的方式对计算装置或者外设的操作进行重新配置或者其他方式的改变。在其中保存数据的数据结构是具有由数据格式定义的特定属性的物理存储单元。一般地，程序模块包括执行特定任务或者实现特定的抽象数据类型的例程、程序、 对象、组件、数据结构等。此外，本领域技术人员将会理解的是计算装置不需要被限制到常规的个人计算机，还包括其他计算配置，包括手持式装置、多处理器系统、基于微处理器或者可编程的消费者电子设备、网络PC、迷你计算机、大型计算机等。类似地，计算装置不需要被限制到独立的计算装置，因为也可以在分布式计算环境中实施该机制，其中由通过通信网络链接的远程处理装置执行任务。在分布式计算环境中，程序模块可以被定位在本地和远程存储器存储装置中。转向图本文档来自技高网...

【技术保护点】

【技术特征摘要】
...

【专利技术属性】
技术研发人员：L博托，D查尔斯，DM基克林，P西马德，
申请(专利权)人：微软公司，
类型：发明
国别省市：