在边缘服务器中用于数据管理的方法和系统技术方案

本公开的实施例涉及在边缘服务器中用于数据管理的方法和系统。示例实现涉及用于在诸如具有处理资源的边缘服务器的计算系统中进行数据管理的方法和系统。在操作期间，处理资源从多个智能设备收集数据，以及在多个第一边缘级的每个边缘级处处理数据的一部分，以生成经部分处理的数据。此外，处理资源基于多个第一边缘级中的边缘级的吞吐量或多个第一边缘级中的下一边缘级的数据处理队列的大小来评估多个第一边缘级中的该边缘级处的数据处理负荷。处理资源还基于边缘级处的数据处理负荷将经部分处理的数据推送到下一边缘级，或者将经部分处理的数据的一部分推送到外部计算系统并将经部分处理的数据的剩余部分推送到下一边缘级。

【技术实现步骤摘要】
在边缘服务器中用于数据管理的方法和系统
技术介绍
智能设备(例如，物联网(“IoT”)设备)的使用正在迅速增加，正被这些设备处理的数据量也相应增加。对来自IoT设备的数据的处理可以涉及将数据从IoT设备发送到可通信地耦合到IoT设备的边缘服务器，以及然后发送到可通信地耦合到边缘服务器的云网络上的(多个)服务器。对来自IoT设备的数据的处理可能会招致网络和计算时延问题。附图说明下面将参考以下附图描述各种示例。图1是描绘了示例环境的框图，在该示例环境中，各种示例可以被实现为支持使用第一计算系统处理IoT数据的系统。图2是描绘了示例环境的框图，在该示例环境中，各种示例可以被实现为支持使用第一计算系统和第二计算系统来处理IoT数据的系统。图3A是描绘了具有第一处理资源的第一计算系统的框图，该第一处理资源可操作地耦合到存储可执行程序指令的第一机器可读介质。图3B是描绘了具有第二处理资源的第二计算系统的框图，该第二处理资源可操作地耦合到存储可执行程序指令的第二机器可读介质。图4A是描绘了第一处理资源和编码有示例指令以在第一计算系统中处理数据的第一机器可读介质的框图。图4B是描绘了第二处理资源和编码有示例指令以在第二计算系统中处理数据的第二机器可读介质的框图。图5是描绘了在计算系统中处理数据的示例方法的流程图。图6是描绘了确定第一计算系统中的多个第一边缘级中的边缘级的吞吐量的示例方法的流程图。图7是描绘了确定第一计算系统中的多个第一边缘级中的下一边缘级的数据处理队列的大小的示例方法的流程图。图8是描绘了确定第一计算系统中的多个第一边缘级中的第一边缘级的数据处理队列的大小的示例方法的流程图。图9是描绘了将经部分处理的数据的一部分从第一计算系统推送到第二计算系统的示例方法的流程图。具体实施方式以下详细描述参照附图。在附图和以下描述中，尽可能使用相同的附图标记指代相同或相似的部分。但是，应该明确地理解，附图仅是出于说明和描述的目的。尽管在本文档中描述了若干示例，但是修改、适配和其他实现是可能的。因此，以下详细描述不限制所公开的示例。相反，所公开的示例的适当范围可以由所附权利要求书来限定。本文中所使用的术语仅是出于描述特别的实施例的目的，并不旨在是限制性的。如本文中所使用的，除非上下文另外明确指出，否则单数形式“一”、“一个”和“该”也旨在包括复数形式。本文中所使用的术语“多个”被定义为两个或两个以上。如本文中所使用的，术语“另一”被定义为至少第二或更多。如本文中所使用的，除非另外指出，否则术语“耦合”被定义为没有任何中间元件直接地连接、或者以至少一个中间元件间接地连接。两个元件可以通过通信信道、路径、网络或系统而机械地、电气地或通信地耦合。如本文中所使用的，术语“和/或”指的是并且涵盖一个或多个相关联的所列项目的任何和所有可能的组合。还应当理解，尽管在本文中可以使用术语第一、第二、第三等来描述各种元件，但是除非另外阐明或上下文另外指出，这些元件不应受到这些术语的限制，因为这些术语仅被用来将一个元件与另一元件区别开。如本文中所使用的，术语“包括”意味着包括但不限于，术语“包含”意味包含但不限于。术语“基于”意味至少部分地基于。前述公开描述了用于管理由多个智能设备生成的数据的多个示例实现。所公开的示例可以包括用于处理由多个IoT设备生成的数据的系统、设备、计算机可读存储介质以及方法。出于解释的目的，参考图1-图9中所图示的组件来描述某些示例。然而，所图示组件的功能可以重叠，并且可以以更少或更多数目的元件和组件而被呈现。此外，所图示的元件的全部或部分功能可以共存或分布在若干地理上分散的位置之中。此外，所公开的示例可以在各种环境中实现，并且不限于所图示的示例。此外，结合图5-图9描述的操作顺序是示例并且不旨在是限制性的。在不脱离所公开示例的范围的情况下，附加的或更少的操作或操作的组合可以被使用或者可以改变。因此，本公开仅仅阐述了实现的可能示例，并且可以对所描述的示例做出许多变型和修改。所有这些修改和变型都旨在被包括在本公开的范围内并由所附权利要求书保护。IoT设备的使用正在迅速增长，正被这些设备处理的数据量也相应增加。对从IoT设备生成的数据的处理可以涉及将数据从IoT设备发送到可通信地耦合到IoT设备的边缘服务器(或设备)，以及然后发送到可通信地耦合到边缘服务器的云网络上的(多个)服务器。对来自IoT设备的数据的处理可能会招致网络和计算两者的时延问题。通常，边缘服务器允许将由IoT设备生成的数据更靠近其创建位置进行处理，而不是穿过长途路由将其发送到云网络中的(多个)服务器。因此，边缘服务器可以通过解决分别与传送和处理数据相关联的网络和计算两者的时延问题来提高IoT设备的性能。但是，当IoT设备产生数据的速率高于边缘应用消耗或处理数据的速率时，有时边缘服务器最终也可能会遇到计算时延问题。在这种场景中，如果数据生产率继续提高并超过阈值，则边缘服务器可能会阻塞。在本文中应当注意，术语“阻塞”指的是边缘服务器的状况，在该状况下数据不能被边缘应用或者消耗或者处理。因此，边缘服务器中的计算时延与以下项直接成正比：边缘应用中数据被消耗或处理的速率与IoT设备产生数据的速率的比。值得注意的是来自IoT设备的视频馈送的增加。视频馈送以及具有类似高有效负荷的其他数据可能是处理成本高且需及时的。例如，IoT摄像头能够每秒生成大量视觉数据。由于其地理位置，将由IoT摄像头捕获的整个数据集卸载到边缘服务器，并且然后再卸载到云网络中的(多个)服务器可能是不可能的，并且/或者可能会招致重大延迟，此外还招致显著的带宽成本。降低针对数据传送的分辨率也不理想，因为这使该数据的处理和分析更加困难。处理从IoT设备生成的数据的现有解决方案或者被内置于硬件中(因此增加了所涉及硬件的成本和复杂性)，或者涉及边缘服务器在数据被发送到云网络中的(多个)服务器之前对数据执行最小的轻量级处理。对前述问题的技术解决方案可以利用边缘服务器的边缘应用中的架构来有效地处理数据。特别地，边缘应用中的架构基于数据处理和排队框架，其中边缘应用的数据处理模块被分隔为多个级，每级都具有数据队列，用于处理数据。在这样的示例中，边缘服务器可以在多个级中处理由IoT设备生成的数据，而不是在单个级(或数据处理模块)中处理整个数据，以生成经处理的数据。此外，边缘服务器可以在每级评估数据处理负荷，以决定是否可以将经处理的数据定向到下一级，或者可以将经处理的数据的一些部分定向到外部计算系统以进行进一步处理。因此，如本文所讨论的边缘应用可以能够有效地处理数据，而不会降低数据的分辨率或将解决方案构建到硬件中或对数据执行最小的轻量级处理。因此，边缘服务器将能够解决与处理数据相关联的时延问题，从而减少边缘服务器的阻塞。在一个或多个示例中，每级可以从其关联的数据队列接收数据，仅处理数据的一部分，并且确定下一级是否可以在将来自当前级的输出推送到下一级或者推送到外部计算系统之前，处理来自当前级的输出，以便顺本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n由第一处理资源从计算系统中的多个智能设备收集数据；/n由所述第一处理资源在多个第一边缘级中的每个边缘级处处理所述数据的一部分，以生成经部分处理的数据；/n由所述第一处理资源基于所述多个第一边缘级中的边缘级的吞吐量或所述多个第一边缘级中的下一边缘级的数据处理队列的大小，来评估所述多个第一边缘级中的所述边缘级处的数据处理负荷；以及/n由所述第一处理资源基于所述边缘级处的所述数据处理负荷：i)将所述经部分处理的数据推送到所述下一边缘级，或者ii)将所述经部分处理的数据的一部分推送到外部计算系统并将所述经部分处理的数据的剩余部分推送到所述下一边缘级。/n

【技术特征摘要】
20200129 IN 2020410039391.一种方法，包括：
由第一处理资源从计算系统中的多个智能设备收集数据；
由所述第一处理资源在多个第一边缘级中的每个边缘级处处理所述数据的一部分，以生成经部分处理的数据；
由所述第一处理资源基于所述多个第一边缘级中的边缘级的吞吐量或所述多个第一边缘级中的下一边缘级的数据处理队列的大小，来评估所述多个第一边缘级中的所述边缘级处的数据处理负荷；以及
由所述第一处理资源基于所述边缘级处的所述数据处理负荷：i)将所述经部分处理的数据推送到所述下一边缘级，或者ii)将所述经部分处理的数据的一部分推送到外部计算系统并将所述经部分处理的数据的剩余部分推送到所述下一边缘级。


2.根据权利要求1所述的方法，还包括：在所述多个第一边缘级中的每个下一边缘级处重复评估所述数据处理负荷和推送经处理的所述数据的步骤，直到所述数据被完全处理。


3.根据权利要求1所述的方法，其中所述边缘级的所述吞吐量基于以下项被确定：多个第一边缘级中的前一边缘级的生产率、所述边缘级的消耗率、针对所述边缘级推送所述经部分处理的数据的等待时间以及针对所述边缘级推送所述经部分处理的数据的预定义等待时间。


4.根据权利要求1所述的方法，其中所述下一边缘级的所述数据处理队列的所述大小基于所述下一边缘级的所述数据处理队列的已使用大小和所述下一边缘级的所述数据处理队列的阈值大小被确定。


5.根据权利要求4所述的方法，其中针对每个边缘队列，所述阈值大小基于以下项被动态地确定：多个第一边缘级中的前一边缘级的生产率、所述边缘级的消耗率、所述边缘级的所述数据处理队列的所述大小以及所述下一边缘级的所述数据处理队列的大小。


6.根据权利要求1所述的方法，其中所述外部计算系统是数据中心，其中将所述经部分处理的数据的所述一部分推送到所述数据中心包括：
由所述数据中心的第二处理资源在多个云级中的云级中收集所述经部分处理的数据的所述一部分；以及
由所述第二处理资源在所述多个云级中顺序地处理所述经部分处理的数据的所述一部分，直到所述数据被完全处理。


7.根据权利要求1所述的方法，其中所述外部计算系统是边缘服务器，其中将所述经部分处理的数据的所述一部分推送到所述边缘服务器包括：
由所述边缘服务器的所述第二处理资源从所述第一处理资源获取用于处理所述经部分处理的数据的所述一部分的请求；
由所述第二处理资源基于所述多个第二边缘级中的边缘级的吞吐量或所述多个第二边缘级中的下一边缘级的数据处理队列的大小，来评估所述多个第二边缘级中的所述边缘级处的数据处理负荷；
由所述第二处理资源基于所述多个第二边缘级中的所述边缘级处的所述数据处理负荷，从所述第一处理资源收集所述经部分处理的数据的所述一部分；以及
由所述第二处理资源在所述多个第二边缘级中顺序地处理所述经部分处理的数据的所述一部分，直到所述数据被完全处理。


8.根据权利要求1所述的方法，其中从所述多个智能设备收集数据包括：在所述多个第一边缘级中的第一边缘级的数据处理队列中收集所述数据。


9.根据权利要求8所述的方法，还包括：
基于第一边缘级的所述数据处理队列的已使用大小和所述第一边缘级的所述数据处理队列的阈值大小，来评估所述第一边缘级的所述数据处理队列的大小；以及
基于所述第一边缘级的所述数据处理队列的所评估的所述大小，将未处理数据的一部分推送到所述外部计算系统。


10.根据权利要求1所述的方法，其中处理所述数据包括：在每个边缘级处执行以下一项或多项：对所述数据的提取、变换或加载。


11.一种计算系统，包括：
存储程序指令的机器可读介质；以及
可操作地耦合到机器可读介质的第一处理资源，其中所述第一处理资源执行所述程序指令以：
从多个智能设备收集数据；
在多个第一边缘级中的每个边缘级处处理所述数据的一部分，以生成经部分处理的数据；
基于所述多个第一边缘级中的边缘级的吞吐量或所述多个第一边缘级中的下一边缘级的数据处理队列的大小，来评估所述多个第一边缘级中的所述边缘级处的数据处理负荷；以及
基于所述边缘级处的所述数据处理负荷，i)将所述经部分处理的数据推送到所述下一边缘级，或者ii)将所述经部分处理的数据推送到外部计算系统并将所述经部分处理的数据的剩余部分...

【专利技术属性】
技术研发人员：C·A·钱德拉谢卡，A·乔治，
申请(专利权)人：慧与发展有限责任合伙企业，
类型：发明
国别省市：美国;US