分布式多环境流计算制造技术

本公开涉及分布式多环境流计算。使流处理管理节点执行以下操作的计算机软件：(i)在流处理管理节点和在多环境计算系统中的相应计算环境上执行的多个流处理实例之间建立数据通信；(ii)将流处理作业的一个或多个处理单元分发到多个流处理实例中的第一组流处理实例；(iii)从第一组流处理实例中的一个或多个流处理实例接收与流处理作业的一个或多个处理单元相关联的处理结果；以及(iv)至少部分地基于所接收的处理结果来执行基于机器学习的流管理操作。理操作。理操作。

【技术实现步骤摘要】
分布式多环境流计算

技术介绍

[0001]本专利技术通常上涉及流计算领域，并且更具体地涉及跨多个计算环境分发流计算作业。
[0002]流计算(也被重新称为“流处理”、“流式处理”、“多个流处理”等)是用于对数据的连续流(诸如来自传感器、相机、新闻馈送等的数据)执行查询的已知技术。在流处理作业中，运算符对数据流执行操作，其中，数据流内的单独数据片段通常被称为“元组”。运算符通常被包含在单独的执行单元内，有时被称为“处理单元”或“处理元件”。
[0003]流计算系统可在单个计算环境(诸如单个云计算环境或数据中心)中实现，并且也可在分布式环境中实现，其中流处理作业的各个部分(诸如处理元件)跨多个计算环境(诸如由不同的云供应商操作的多个云计算环境)分布。

技术实现思路

[0004]根据本专利技术的方面，提供方法、计算机程序产品和/或系统，其执行以下操作(不必按以下顺序)：(i)由流处理管理节点在流处理管理节点和在多环境计算系统中的相应计算环境上执行的多个流处理实例之间建立数据通信；(ii)由流处理管理节点将流处理作业的一个或多个处理单元分发到多个流处理实例中的第一组流处理实例；(iii)由流处理管理节点从第一组流处理实例的一个或多个流处理实例接收与流处理作业的一个或多个处理单元相关联的处理结果；以及(iv)由流处理管理节点至少部分地基于所接收的处理结果来执行基于机器学习的流管理操作。
附图说明
[0005]图1描绘了在根据本专利技术的系统的第一实施例中使用的云计算节点；
[0006]图2描绘了根据本专利技术的云计算环境(也被称为“第一实施例系统”)的实施例；
[0007]图3描绘了在第一实施例系统中使用的抽象模型层；
[0008]图4是示出至少部分地由第一实施例系统执行的第一实施例方法的流程图；
[0009]图5是示出第一实施例系统的机器逻辑(例如软件)部分的框图；
[0010]图6是描绘根据本专利技术的实施例的传统流计算系统的示例的图；并且
[0011]图7是描绘根据本专利技术的实施例的多云流计算环境的示例的图。
具体实施方式
[0012]流计算是用于近实时数据分析的不断发展的领域。许多现有的流计算服务和产品供应被设计成在单个环境(诸如特定的云计算环境或数据中心)中工作。然而，由于各种原因，企业或其他实体可选择在多云环境中运行工作负载。跨环境分布流计算工作负载允许企业利用来自不同供应商的能力来优化成本和性能，并且也通过冗余来增加可靠性。进一步，跨不同地理区域中的云数据中心分发流计算工作负载有助于满足数据主权要求，并且减少用户访问数据的等待时间。本专利技术的各个实施例提供流计算系统，该流计算系统被配
置成用于跨多个云环境部署、被修改以使用各种技术(包括机器学习)来管理、优化、改进流计算工作负载的问题确定以及增加流计算工作负载的弹性。
[0013]该具体实施方式部分被分成以下子部分：(i)硬件和软件环境；(ii)举例实施例；(iii)进一步评论和/或实施例；以及(iv)定义。
[0014]I.硬件和软件环境
[0015]本专利技术可以是处于任何可能的集成技术细节水平的系统、方法和/或计算机程序产品。该计算机程序产品可包括其上具有用于使处理器执行本专利技术的各个方面的计算机可读程序指令的计算机可读存储介质(或介质)。
[0016]计算机可读存储介质可以是可以保留和存储指令以供指令执行设备使用的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述各项的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD
‑
ROM)、数字通用盘(DVD)、记忆棒、软盘、机械编码设备(诸如穿孔卡或具有记录在其上的指令的凹槽中的凸起结构)、以及前述各项的任何合适组合。如本文中所使用的计算机可读存储介质不应被解释为瞬态信号本身(诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过导线传输的电信号)。
[0017]本文所述的计算机可读程序指令可从计算机可读存储介质下载到相应的计算/处理设备，或经由网络(例如，因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令用于存储在相应计算/处理设备内的计算机可读存储介质中。
[0018]用于执行本专利技术的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据、或以一种或多种编程语言的任何组合编写的源代码或目标代码，这些编程语言包括面向对象的编程语言(诸如Smalltalk、C++等)和过程式编程语言(诸如“C”编程语言或类似的编程语言)。计算机可读程序指令可完全在用户的计算机上执行、部分在用户的计算机上执行、作为独立软件包执行、部分在用户的计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情形中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，通过使用因特网服务提供商的因特网)。在一些实施例中，电子电路(包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA))可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化，以便执行本专利技术的各个方面。
[0019]本文中参考根据本专利技术的实施例的方法、装置(系统)和计算机程序产品的流程图说明和/或框图描述本专利技术的方面。应当理解，流程图说明和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令来实现。
[0020]这些计算机可读程序指令可以被提供给计算机或其他可编程数据处理装置的处
理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图的一个或多个块中指定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中，该计算机可读存储介质可以导引计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得具有存储在其中的指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个方框中指定的功能/动作的各方面的指令。
[0021]计算机可读程序指令也可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得一系列操作步骤在计算机、其他可编程装置或其他设备上执行以产生计算机实现的过程，使得在计算机、其他可编本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：由流处理管理节点在所述流处理管理节点与在多环境计算系统中的相应计算环境上执行的多个流处理实例之间建立数据通信；由所述流处理管理节点将流处理作业的一个或多个处理单元分发到所述多个流处理实例中的第一组流处理实例；由所述流处理管理节点从所述第一组流处理实例中的一个或多个流处理实例接收与所述流处理作业的所述一个或多个处理单元相关联的处理结果；并且由所述流处理管理节点至少部分地基于所接收的处理结果来执行基于机器学习的流管理操作。2.根据权利要求1所述的计算机实现的方法，其中，所述基于机器学习的流管理操作包括至少部分地基于所接收的处理结果将新的流处理作业的一个或多个处理单元分发到所述多个流处理实例中的第二组流处理实例。3.根据权利要求1所述的计算机实现的方法，其中，所述基于机器学习的流管理操作包括至少部分地基于所接收的处理结果来指示分布式的一个或多个处理单元中的第一处理单元从第一流处理实例移动到第二流处理实例。4.根据权利要求3所述的计算机实现的方法，其中，所述基于机器学习的流管理操作进一步至少部分地基于识别所述第一处理单元已经由所述第一流处理实例终止。5.根据权利要求1所述的计算机实现的方法，其中，所述基于机器学习的流管理操作包括增加与所述流处理作业相关...

【专利技术属性】
技术研发人员：H，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：