用于干预优化的系统和方法技术方案

本公开提供了用于干预优化的系统和方法。计算系统获得计算机应用的多个实体中的每个实体的实体历史。对于多个实体中的每一个，计算系统可以确定多个可用干预中的每一个将改善目标值的相应概率，该目标值至少部分地基于该实体对计算机应用的持续使用的度量来确定。计算系统可以至少部分地基于经由机器学习的干预选择模型确定的相应概率，将多个可用干预中的干预提供给多个实体中的实体。因此，计算系统可以采用机器学习的干预选择模型，在逐个实体的基础上选择被预测为防止实体从计算机应用流失的干预。

Systems and methods for intervention optimization

【技术实现步骤摘要】
用于干预优化的系统和方法优先权要求本申请基于2018年10月23日提交的美国临时申请号62/749,420并要求其优先权。申请人要求每个这样的申请的优先权和权益，并且通过引用将其全部内容并入本文。
本公开总体上涉及机器学习技术。更具体地，本公开涉及用于干预优化的系统和方法。
技术介绍
应用开发者(例如网站开发者、移动应用开发者、游戏开发者等)通常具有最大化使用其应用的实体数量的目标。作为示例，由于各种原因，游戏开发者可能寻求最大化每天玩她开发的游戏的用户数量。这样，应用开发者的一个关注点在于用户“流失(churn)”。特别地，“流失”指的是计算机应用的现有用户停止或以其他方式显著减少此应用的使用的情况。用户流失通常用“流失率”或退出率(attritionrate)(例如，在一段时间(例如一个月)内离开游戏的现有用户的百分比)来衡量。因此，试图最大化玩她的游戏的用户数量的游戏开发者将相反地试图最小化用户流失。流失与“用户保留”高度相关。流失可以包括当用户停止与应用互动时的事件，而保留是用户在应用中停留的时间多长。因此，流失是影响用户保留的事件。防止用户流失是增加用户保留率的一种技术。除了流失和用户保留之外，还存在其他各种用户参与度指标，并且这些指标中的每一个都可以衡量用户对应用的持续使用的某个方面。防止用户流失或以其他方式增加用户参与度的一种技术是通过使用干预。干预可以包括开发者和/或应用针对一个或多个用户(例如，以防止用户流失为目的)采取的动作和/或操作改变。但是，识别应该针对哪些用户执行干预，以及针对这样识别出的用户应该执行哪个干预是一项具有挑战性的任务。
技术实现思路
本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中获悉，或者可以通过实施例的实施而获知。本公开的一个示例方面针对一种计算系统。该计算系统可以包括一个或多个处理器；一个或多个非暂时性计算机可读介质，所述一个或多个非暂时性计算机可读介质共同存储：机器学习的干预选择模型，所述机器学习的干预选择模型被配置为至少部分地基于与实体相关联的相应实体历史，在逐个实体的基础上选择干预；以及指令，所述指令在由所述一个或多个处理器执行时使所述计算系统执行操作。所述操作可以包括获得使用计算机应用的多个实体中的每个实体的实体历史。该操作还可以包括：针对所述多个实体中的每个实体，至少部分地基于每个实体的实体历史，经由所述机器学习的干预选择模型来确定多个可用干预中的每一个将改善目标值的相应概率，所述目标值至少部分地基于实体对计算机应用的持续使用的度量来确定。所述操作还可包括：至少部分地基于经由所述机器学习的干预选择模型确定的相应概率，将所述多个可用干预中的一个或多个干预提供给所述多个实体中的一个或多个实体。本公开的另一个示例方面针对一种计算机实现的方法。该计算机实现的方法可以包括通过一个或多个计算设备获得与实体相关联的实体历史数据，所述实体与计算机应用相关联。该方法可以进一步包括通过所述一个或多个计算设备将所述实体历史数据输入到机器学习的干预选择模型中，所述机器学习的干预选择模型被配置为处理所述实体历史数据以从多个可用干预中选择一个或多个干预。该方法可以进一步包括：通过所述一个或多个计算设备接收所述机器学习的干预选择模型至少部分地基于所述实体历史数据对所述一个或多个干预的选择。该方法可以进一步包括：响应于所述选择，通过所述一个或多个计算设备对所述实体执行一个或多个干预。本公开的另一示例方面针对一个或多个非暂时性计算机可读介质，其存储指令，当所述指令由一个或多个计算设备执行时，使该一个或多个计算设备执行操作。该操作可以包括获得与实体相关联的实体历史数据，所述实体与计算机应用相关联。该操作可以进一步包括将所述实体历史数据输入到机器学习的干预选择模型中，所述机器学习的干预选择模型被配置为处理所述实体历史数据以从多个可用干预中选择一个或多个干预，其中，所述多个可用干预中的至少一些由所述计算机应用的开发者定义。所述操作还可以包括：接收所述机器学习的干预选择模型至少部分地基于所述实体历史数据对所述一个或多个干预的选择，其中，所述机器学习的干预选择模型被配置为进行对所述一个或多个干预的选择以优化目标函数，其中，所述目标函数衡量与所述计算机应用的实体参与度。所述操作还可包括：响应于所述选择，在所述计算应用内对所述实体执行所述一个或多个干预。本公开的其他方面针对各种系统、装置、非暂时性计算机可读介质、用户接口(interface)和电子设备。参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征，方面和优点。并入本说明书中并构成本说明书的一部分的附图示出了本公开的示例实施例，并且与描述一起用于解释相关原理。附图说明在说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，说明书参考附图，其中：图1A描绘了根据本公开的示例实施例的执行干预优化的示例计算系统的框图。图1B描绘了根据本公开的示例实施例的执行干预优化的示例计算设备的框图。图1C描绘了根据本公开的示例实施例的执行干预优化的示例计算设备的框图。图2描绘了根据本公开的示例实施例的执行干预优化的示例方法的流程图。图3描绘了根据本公开的示例实施例的机器学习的干预选择模型的示例架构的框图。在多个附图上重复的参考标号旨在标识各种实施方式中的相同特征。具体实施方式总览本公开的示例方面针对用于干预优化的系统和方法。特别地，在一些实施方式中，为了减少用户流失，本公开的系统和方法可以包括或以其他方式利用机器学习的干预选择模型，该机器学习的干预选择模型被配置为至少部分地基于与实体相关联的相应实体历史来在逐个实体的基础上选择干预。特别地，计算系统(例如，应用服务器)可以获得与计算机应用相关联的多个实体中的每个实体的实体历史。对于多个实体中的每个实体，计算系统可以经由机器学习的干预选择模型并且至少部分地基于每个实体的实体历史来确定多个可用干预中的每个干预将提高目标值的相应概率。例如，可以至少部分地基于实体对计算机应用的持续使用的度量和/或基于其他目标来确定目标值。计算系统可以至少部分地基于经由机器学习的干预选择模型确定的相应概率，将多个可用干预中的一个或多个干预提供给多个实体中的一个或多个实体。因此，计算系统可以采用机器学习的干预选择模型，以在逐个实体的基础上选择一个或多个干预，该干预被预测为防止该实体从计算机应用(例如，移动应用、网络浏览器应用或网站或游戏应用)流失。在一些实施方式中，所选择的干预可以被自动执行，从而极大地减少应用开发者的工作量，同时还减少了用户流失或以其他方式改善了用户参与度的其他度量。更特别地，本公开的各方面针对减少用户从计算机应用流失和/或解决其他目标，包括自定义的开发者指定的目标。当在本文中使用时，术语“应用”宽泛地包括各种不同的计算机程序、软件和/或系统。一个示例应用是移动应用，例如安装在移动设备(例如，智能电话)上的文本本文档来自技高网...

【技术保护点】
1.一种计算系统，包括：/n一个或多个处理器；和/n一个或多个非暂时性计算机可读介质，所述一个或多个非暂时性计算机可读介质共同存储：/n机器学习的干预选择模型，所述机器学习的干预选择模型被配置为至少部分地基于与实体相关联的相应实体历史，在逐个实体的基础上选择干预；和/n指令，所述指令在由所述一个或多个处理器执行时使所述计算系统执行操作，所述操作包括：/n获得使用计算机应用的多个实体中的每个实体的实体历史；/n针对所述多个实体中的每个实体，至少部分地基于每个实体的实体历史，经由所述机器学习的干预选择模型来确定多个可用干预中的每一个将改善目标值的相应概率，所述目标值至少部分地基于实体对计算机应用的持续使用的度量来确定；和/n至少部分地基于经由所述机器学习的干预选择模型确定的相应概率，将所述多个可用干预中的一个或多个干预提供给所述多个实体中的一个或多个实体。/n

【技术特征摘要】
20181023 US 62/749,420;20190130 US 16/262,2231.一种计算系统，包括：
一个或多个处理器；和
一个或多个非暂时性计算机可读介质，所述一个或多个非暂时性计算机可读介质共同存储：
机器学习的干预选择模型，所述机器学习的干预选择模型被配置为至少部分地基于与实体相关联的相应实体历史，在逐个实体的基础上选择干预；和
指令，所述指令在由所述一个或多个处理器执行时使所述计算系统执行操作，所述操作包括：
获得使用计算机应用的多个实体中的每个实体的实体历史；
针对所述多个实体中的每个实体，至少部分地基于每个实体的实体历史，经由所述机器学习的干预选择模型来确定多个可用干预中的每一个将改善目标值的相应概率，所述目标值至少部分地基于实体对计算机应用的持续使用的度量来确定；和
至少部分地基于经由所述机器学习的干预选择模型确定的相应概率，将所述多个可用干预中的一个或多个干预提供给所述多个实体中的一个或多个实体。


2.根据权利要求1所述的计算系统，其中，所述计算机应用包括以下至少之一：移动应用、网络浏览器应用或游戏应用。


3.根据权利要求1所述的计算系统，其中，所述操作还包括：在确定所述相应概率之前，在探索时间段期间向所述多个实体随机地提供所述多个可用干预中的一个或多个。


4.根据权利要求1所述的计算系统，其中，使用监督学习技术来训练所述机器学习的干预选择模型。


5.根据权利要求1所述的计算系统，其中，所述机器学习的干预选择模型包括强化学习方案中的干预智能体。


6.根据权利要求1所述的计算系统，其中，除了实体对计算机应用的持续使用的度量之外，所述目标值还至少部分地基于实体在所述计算机应用内对资源的分配来确定。


7.根据权利要求1所述的计算系统，其中，所述多个可用干预中的至少一些由所述计算机应用的开发者指定。


8.根据权利要求1所述的计算系统，其中，所述操作包括：从多个定义的干预中识别所述多个可用干预，所述多个可用干预是在选择时满足一个或多个开发者提供的干预标准的所述多个定义的干预的子组。


9.根据权利要求1所述的计算系统，其中，所述机器学习的干预选择模型位于为所述计算机应用服务的服务器计算设备内。


10.根据权利要求1所述的计算系统，其中，所述机器学习的干预选择模型位于用户计算设备上的所述计算机应用内。


11.一种计算机实现的方法，包括：
通过一个或多个计算设备获得与实体相关联的实体历史数据，所述实体与计算机应用相关联；
通过所述一个或多个计算设备将所述实...

【专利技术属性】
技术研发人员：J伯奇，B弗伦克尔，CE布蒂利尔，V卢马，YL阮，JA哈沙尔，H穆萨维，S杰汉布，V巴莱亚，A高塔姆，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US