边缘计算环境中执行的人工智能应用中基于计算图的用户上下文迁移制造技术

在具有至少第一节点和第二节点的信息处理系统中，第二节点与第一节点分开，并且第一节点和第二节点中的每个节点被配置为根据从第一节点的附近移动到第二节点的附近的至少一个实体来执行应用，一种方法作为第一节点处的上下文的一部分，维护针对与计算图相关联的计算集合的状态指示符集合，该计算图表示第一节点处的应用的执行的至少一部分。此外，该方法引起上下文从第一节点到第二节点的传送，以使第二节点能够使用从第一节点传送的上下文继续应用的执行。继续应用的执行。继续应用的执行。

【技术实现步骤摘要】
【国外来华专利技术】边缘计算环境中执行的人工智能应用中基于计算图的用户上下文迁移


[0001]本领域总体涉及信息处理系统，并且更具体地涉及在信息处理系统中实现的人工智能(AI)模型管理。

技术介绍

[0002]边缘计算被认为是云计算的演进，它将应用(例如实现AI模型的应用)的部署从集中式数据中心向下迁移到分布式边缘节点，从而实现了从由消费者和应用生成的数据的较短距离。边缘计算也被认为是用于满足3GPP 5G关键性能指标(特别是在最小化延迟和提高带宽效率方面)的重要技术。3GPP 5G系统规范允许多接入边缘计算(MEC)系统和5G系统在流量引导和策略控制相关的操作中进行协作。MEC系统是欧洲电信标准协会(ETSI)定义的架构，该架构为应用开发人员和内容提供方供应云计算能力和网络的边缘(例如蜂窝网络(诸如5G系统)的边缘)处的信息技术服务环境。在5G系统和MEC系统以集成方式被部署的系统架构中，5G核心网的数据平面可以由MEC系统内的用户平面功能网络元件来实现。然而，由于系统用户从一个边缘节点到另一个边缘节点的移动性，MEC实现可能会带来挑战。
[0003]例如，用户上下文(即表示应用的一个或多个内部执行状态的信息)迁移是MEC系统中针对边缘计算环境中运行的应用定义的基本要求。这样的迁移被需要以实现应用移动性服务(AMS)，使得MEC架构可以将应用从一个边缘节点迁移到另一个边缘节点，以跟随用户设备的地理位置，从而执行更接近于数据源的计算。然而，当应用复杂时，例如采用AI模型的应用(诸如但不限于机器学习(ML)应用、深度学习(DL)应用和数据挖掘(DM)应用和数据挖掘(DM)应用)，用户上下文迁移是一项重大挑战。

技术实现思路

[0004]实施例提供用于信息处理系统中的应用的用户上下文迁移的技术，诸如但不限于边缘计算环境中的基于人工智能的应用的用户上下文迁移。
[0005]根据一个说明性实施例，在具有至少第一节点和第二节点的信息处理系统中，第二节点与第一节点分开，并且第一节点和第二节点中的每个节点被配置为根据从第一节点的附近移动到第二节点的附近的至少一个实体来执行应用，一种方法维护针对与计算图相关联的计算集合的状态指示符集合作为第一节点处的上下文的一部分，该计算图表示第一节点处的应用的执行的至少一部分。此外，该方法引起上下文从第一节点到第二节点的传送，以使第二节点能够使用从第一节点被传送的上下文来继续应用的执行。
[0006]在另外的说明性实施例中，维护步骤还可以包括基于计算中的每个计算的执行状态将针对计算集合的状态指示符集合中的每个状态指示符设置为多个状态中的一个状态，其中多个状态中的第一状态表示给定计算被完成，多个状态中的第二状态表示给定计算已经开始但尚未完成，并且多个状态中的第三状态表示给定计算尚未开始。
[0007]有利地，在说明性的基于MEC的实施例中，上下文迁移解决方案被提供，其可以被
集成到任何深度学习框架中，以运行具有任何处理并行性的任何AI模型，用于推理和训练应用两者。
[0008]从附图和下面的详细描述中，本文描述的实施例的这些和其他特征和优点将变得更加明显。
附图说明
[0009]图1示出了利用其一个或多个说明性实施例可以被实现的多接入边缘计算系统的应用移动性服务。
[0010]图2示出了利用其一个或多个说明性实施例可以被实现的与多接入边缘计算系统的应用移动性服务相关联的高级信息流。
[0011]图3示出了利用其一个或多个说明性实施例可以被实现的用于人工智能模型的运行时执行的人工智能框架的工作流。
[0012]图4A示出了针对其人工智能框架的调度器使用数据并行性来调用与计算图相关联的内核计算的示例性排序。
[0013]图4B示出了针对其人工智能框架的调度器使用模型并行性调用与计算图相关联的内核计算的示例性排序。
[0014]图4C示出了针对其人工智能框架的调度器使用流水线并行性来调用与计算图相关联的内核计算的示例性排序。
[0015]图5示出了利用其一个或多个说明性实施例可以被实现的用于电信网络的多个移动用户设备的边缘推断应用模型。
[0016]图6示出了根据说明性实施例的用于从不同的人工智能框架和模型获得计算图的过程。
[0017]图7示出了根据说明性实施例的用于从中间表示重建计算图的过程。
[0018]图8示出了根据说明性实施例的通过解析获得计算图的过程。
[0019]图9示出了利用其一个或多个说明性实施例可以被实现的针对不同类型的并行性的不同计算调度方案。
[0020]图10示出了根据说明性实施例的用于将用户设备输入绑定到不同调度方案的过程。
[0021]图11示出了根据说明性实施例的针对用户上下文迁移定义的迁移点。
[0022]图12示出了根据说明性实施例的用于将推理实例和用户设备从源边缘节点迁移到目标边缘节点的过程。
[0023]图13示出了根据说明性实施例的用于反转计算图的过程。
[0024]图14示出了根据说明性实施例的用于在边缘计算环境中迁移基于人工智能的应用的用户上下文的方法。
[0025]图15示出了根据说明性实施例的被用于实现具有用户上下文迁移功能的信息处理系统的处理平台。
具体实施方式
[0026]现在将参考附图在本文中详细描述说明性实施例。尽管附图和所附描述示出了一
些实施例，但是应当理解，备选实施例不应被解释为由本文所示实施例限制。此外，如本文所使用的，术语“包括”及其变体应被理解为意味着“包括但不限于”的开放式术语。术语“基于”应被理解为“至少部分基于”。术语“一个(an)实施例”和“该(the)实施例”应被理解为“至少一个示例实施例”。术语“第一”、“第二”等可以指代不同或相同的对象。其他定义，无论是显式的还是隐式的，可以包括在下面。
[0027]诸如机器学习(ML)应用、深度学习(DL)应用和/或数据挖掘(DM)应用的人工智能(AI)模型的增长，已经导致单个计算设备无法独立执行整个AI模型。可以理解的是，AI模型通常有两个阶段：训练和推理。训练是指基于训练数据创建AI模型的过程，而推理是指使用(在训练过程中训练的)AI模型基于输入数据生成预测(决策)的过程。并行性的概念(例如模型并行性、数据并行性或流水线并行性)被采用以执行大型复杂的AI模型。数据并行性是指计算环境中的每个计算设备都有AI模型的完整副本并处理训练数据的子集。对于模型并行性，AI模型在计算设备之间进行分割(分区)，使得每个计算设备都在AI模型的一部分上工作。流水线并行性是例如AI模型和/或数据跨一个或多个计算设备内的多个计算核心(中央处理单元(CPU)、图形处理单元(GPU)及其组合等)的集合并发地被处理。
[0028]通过另外的示例，在模型并行性方法的上下文中，人工(虚拟)编译器技术已经被提出用于收集每个计算设备的资源需求，以及基于中间表示(IR)的模型并行性分区技术，该技术将整个模型划分为分区，这些分区然后本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在具有至少第一节点和第二节点的信息处理系统中，所述第二节点与所述第一节点分开，并且所述第一节点和所述第二节点中的每个节点被配置为根据从所述第一节点的附近移动到所述第二节点的附近的至少一个实体来执行应用：维护针对与计算图相关联的计算集合的状态指示符集合作为所述第一节点处的上下文的一部分，所述计算图表示所述第一节点处的所述应用的所述执行的至少一部分；以及引起所述上下文从所述第一节点到所述第二节点的传送，以使所述第二节点能够使用从所述第一节点传送的所述上下文继续所述应用的执行；其中所述第一节点包括至少一个处理器和至少一个存储器，所述至少一个存储器存储计算机程序指令，其中当所述至少一个处理器执行所述计算机程序指令时，所述第一节点执行上述步骤。2.根据权利要求1所述的方法，其中所述维护步骤还包括：基于所述计算中的每个计算的执行状态将用于所述计算集合的所述状态指示符集合中的每个状态指示符设置为多个状态中的一个状态。3.根据权利要求2所述的方法，其中所述多个状态中的第一状态表示给定计算被完成。4.根据权利要求3所述的方法，其中所述多个状态中的第二状态表示所述给定计算已经开始但是尚未完成。5.根据权利要求3所述的方法，其中所述多个状态中的第三状态表示所述给定计算尚未开始。6.根据权利要求5所述的方法，其中在具有所述第二状态的每个计算被完成之后，所述上下文从所述第一节点被传送到所述第二节点。7.根据权利要求5所述的方法，其中被传送到所述第二节点的所述上下文包括具有所述第三状态的一个或多个计算。8.根据权利要求5所述的方法，其中所述维护步骤还包括：基于与所述上下文传送步骤相关联的时间需求，在所述一个或多个计算被完成之前将具有所述第二状态的一个或多个计算改变为所述第三状态。9.根据权利要求5所述的方法，其中被传送的所述上下文还包括与所述计算集合相关联的参数。10.根据权利要求9所述的方法，其中用于给定计算的所述参数包括用于所述给定计算的模型参数和来自其他计算的输出中的至少一项。11.根据权利要求10所述的方法，其中用作对具有所述第三状态的计算的输入的其他计算的输出的参数作为所述上下文的一部分被传送。12.根据权利要求9所述的方法，其中当所述应用包括用于推理的人工智能模型时，没有模型参数必然是所传送的所述上下文的一部分。13.根据权利要求9所述的方法，其中当所述应用包括用于训练的人工智能模型时，至少具有所述第一状态和所述第三状态的计算的模型参数是所传送的所述上下文的一部分。14.根据权利要求1所述的方法，其中所述信息处理系统包括边缘计算环境，并且所述第一节点和第二节点相应地包括所述边缘计算环境的两个边缘节点，并且所述至少一个实体包括...

【专利技术属性】
技术研发人员：刘金鹏，李锦，贾真，C，
申请(专利权)人：伊姆西IP控股有限责任公司，
类型：发明
国别省市：