用于管理对分散数据湖的访问的方法、系统、设备和制品技术方案

公开了一种用于管理数据湖的设备。所公开的示例设备包括：位置选择器，用于选择用来存储数据湖的边缘设备；密钥生成器，用于响应于服务被授权访问数据湖的指示而生成与数据湖相对应的加密密钥并生成与边缘设备相对应的密钥包装密钥；以及密钥分发器，用于使用密钥包装密钥来包装加密密钥并将加密密钥和密钥包装密钥分发给边缘设备，加密密钥用于使边缘设备上的服务能够访问数据湖。设备上的服务能够访问数据湖。设备上的服务能够访问数据湖。

【技术实现步骤摘要】
用于管理对分散数据湖的访问的方法、系统、设备和制品


[0001]本文描述的实施例一般涉及数据处理、网络通信和通信系统实现，并且具体地涉及管理对数据湖的访问的方法、系统、设备和制品。

技术介绍

[0002]在一般层面，边缘计算是指计算和存储资源向更靠近于端点设备(例如，消费方计算设备、用户装备等)的转变，以优化总拥有成本，减少应用等待时间，改善服务能力，并且改善与安全性或数据私有性要求的顺应性。在一些场景中，边缘计算可提供类云分布式服务。结果是，边缘计算的一些实现方式被称为“边缘云”或“雾”，因为先前仅在大型远程数据中心中可用的计算资源被移动到更靠近于端点并使得其可用于供处于网络的“边缘”处的消费方来使用。
附图说明
[0003]在附图中(这些附图不一定是按比例绘制的)，同样的数字可描述不同视图中的类似组件。具有不同的字母后缀的相同的数字可表示类似组件的不同实例。在所附附图的图中通过示例的方式而非限制性地图示出一些实施例，其中：
[0004]图1图示出针对边缘计算的边缘云配置的概览。
[0005]图2图示出端点、边缘云和云计算环境之间的操作层。
[0006]图3图示出用于边缘计算系统中的联网和服务的示例环境的框图。
[0007]图4图示出在多个边缘节点和多个租户之间操作的边缘计算系统中的虚拟边缘配置的部署。
[0008]图5图示出在边缘计算系统中部署容器的各种计算布置。
[0009]图6图示出涉及对示例边缘计算系统中的应用的移动接入的示例计算和通信用例。<br/>[0010]图7A是可以部署在图1
‑
图4和/或图6中所图示的边缘计算系统中的一者中的示例计算节点的示例实现方式的框图。
[0011]图7B是可以部署在图1
‑
图4和/或图6中所图示的边缘计算系统中的一者中的示例计算节点的示例实现方式的另一框图。
[0012]图8图示出基于功能的实时服务边缘工作流。
[0013]图9图示出可以由图2的边缘计算系统实现的微数据湖注册表架构的概览。
[0014]图10图示出由图9的微数据湖注册表实现的数据湖管理器的框图。
[0015]图11图示出由图9的微数据湖注册表实现的辅助管理器的框图。
[0016]图12是表示可被执行以实现图9和/或图10的用于管理图9的微数据湖注册表的数据湖管理器的机器可读指令的流程图。
[0017]图13是表示可被执行来实现图9和/或图10的数据湖管理器以创建数据湖区域的机器可读指令的流程图。
[0018]图14是表示可被执行来实现图9和/或图10的数据湖管理器以移除数据湖区域的机器可读指令的流程图。
[0019]图15是表示可被执行来实现图9和/或图10的数据湖管理器以将服务添加到数据湖区域的机器可读指令的流程图。
[0020]图16是表示可被执行来实现图9和/或图10的数据湖管理器以将服务从数据湖区域移除的机器可读指令的流程图。
[0021]图17是表示可被执行来实现图9和/或图11的辅助管理器以将数据从数据湖区域读取到服务的机器可读指令的流程图。
[0022]图18是表示可被执行来实现图9和/或图11的辅助管理器以将数据从服务写入到数据湖区域的机器可读指令的流程图。
具体实施方式
[0023]已经开发出采用移动网络设置的用于与多接入边缘计算(MEC)方式集成的边缘计算用例，也被称为“移动边缘计算”。MEC方式被设计成允许应用开发人员和内容提供方访问网络的边缘处以动态移动网络设置的计算能力和信息技术(IT)服务环境。欧洲电信标准协会(ETSI)行业规范小组(ISG)已开发了有限的标准，试图定义用于MEC系统、平台、主机、服务和应用的操作的通用接口。
[0024]边缘计算、MEC以及相关技术试图提供相比于传统云网络服务和广域网连接中所提供的减少的等待时间、增加的响应性、以及可用性更强的计算能力。然而，将移动性和动态启动的服务的集成到某种移动使用和设备处理用例导致编排、功能协调、以及资源管理的限制和对编排、功能协调、以及资源管理的关心，尤其在其中涉及许多参与方(设备、主机、租户、服务提供方、操作者)的复杂移动性设置中。
[0025]以类似方式，物联网(IoT)网络和设备被设计成用于提供从各种端点的分布式计算布置。IoT设备是在网络上通信的实体对象或虚拟化对象，并且可以包括传感器、致动器以及其他输入/输出组件，IoT设备可用于收集数据或在现实世界环境中执行动作。例如，IoT设备可包括嵌入或附接到日常事物(诸如建筑物、交通工具、包裹等)的低功率端点设备，以提供对这些事物的附加水平的人工感官知觉。最近，IoT设备已变得越来越流行，因此使用这些设备的应用已经激增。
[0026]各种边缘、雾、MEC和IoT网络、设备、以及服务的部署已经引入了许多高级用例和场景，这些用例和场景在网络边缘处并朝向网络边缘处发生。然而，这些高级用例也引入了与安全性、处理和网络资源、服务可用性和效率等等许多其他问题有关的多个相对应的技术挑战。其中一个挑战涉及管理对存储在一个或多个数据湖中的数据的访问，以及管理一个或多个数据湖的创建、移除和/或修改。
[0027]近年来，数据分析越来越多地在网络边缘处执行。数据通常可以落在边缘的多个层上，其中每一层可以包括蜂窝塔、内部装备或微云和/或其他边缘设备。每一层的数据摄取和处理能力可能不同，并且每一层可能有不同的带宽、等待时间和处理要求。此外，参与实体(例如，租户)可能落在边缘的一个或多个层上或跨越边缘的一个或多个层，并且每个租户可能需要访问网络的不同边缘设备处的数据。在边缘环境中访问和处理数据是高度动态的，并且随时间而发展。因此，可缩放的边缘基础设施允许处理越来越多数量和类型的数
据，并允许越来越多的设备动态连接到网络。
[0028]边缘环境中的数据可以存储在数据湖中。如本文所用，数据湖是指可以以任何规模存储非结构化(例如，原始)数据和结构化数据两者的存储和/或存储库。数据湖区域是指数据湖的区域或分区，其中每个数据湖可以划分为任意数量的不同大小的数据湖区域。与数据湖相对应的数据湖区域可以存储在一个或多个边缘设备上。将数据湖划分为数据湖区域增加存储在其中的数据的隐私性，因为每个租户(例如，用户、请求访问的实体等)可被授予仅对数据湖特定区域的访问权限。此外，数据的加密和/或解密可以发生在单个数据湖区域的级别下，以避免必须加密和/或解密整个相对应的数据湖，从而减少处理时间。
[0029]在以下描述中，公开了用于管理存储在一个或多个边缘设备处的数据湖的创建、移除和/或修改的示例方法、配置和相关设备。此外，本文公开的示例用于管理一个或多个边缘实体(例如，服务、租户)对数据湖的访问。本文公开的示例数据湖管理器可以基于注册过程来向数据湖区域添加实体或从数据湖区域中移除实体。注册表(例如，微数据湖注册表)用于标识授权实体和授予每个授权实体的访问级别。有利地，注册表提供增强的安本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于管理数据湖的设备，所述设备包括：位置选择器，用于选择用来存储所述数据湖的边缘设备；密钥生成器，用于响应于服务被授权访问所述数据湖的指示：生成与所述数据湖相对应的加密密钥；以及生成与所述边缘设备相对应的密钥包装密钥；以及密钥分发器，用于：使用所述密钥包装密钥来包装所述加密密钥；以及将所述加密密钥和所述密钥包装密钥分发给所述边缘设备，所述加密密钥用于使所述边缘设备上的服务能够访问所述数据湖。2.如权利要求1所述的设备，其特征在于，所述边缘设备是第一边缘设备，所述数据湖包括第一数据湖区域和第二数据湖区域，所述第一数据湖区域存储在所述第一边缘设备上，而所述第二数据湖区域存储在所述第一边缘设备或第二边缘设备中的至少一个上。3.如前述权利要求中任一项所述的设备，进一步包括用于生成数据湖表的数据湖表控制器，其中所述数据湖表的条目包括以下中的至少一个：与所述数据湖相对应的数据湖标识符、与服务相对应的服务标识符、所述加密密钥、与所述边缘设备相对应的边缘设备标识符以及所述边缘设备中所述数据湖的地址范围。4.如权利要求3所述的设备，进一步包括用于确定服务是否被授权访问所述数据湖的服务授权器，所述数据湖表控制器用于基于确定的结果来更新所述数据湖表的条目。5.如权利要求4所述的设备，其特征在于，所述加密密钥是第一加密密钥，并且其中：所述服务授权器用于确定服务不再被授权访问所述数据湖；所述密钥生成器用于生成与所述第一加密密钥不同的第二加密密钥；所述密钥分发器用于：将所述第二加密密钥分发给所述边缘设备；引导所述边缘设备使用所述第一加密密钥对来自所述数据湖的数据进行解密；以及引导所述边缘设备使用所述第二加密密钥对所述数据进行重新加密；以及所述数据湖表控制器用于：从所述数据湖表的条目中移除所述第一加密密钥和所述服务标识符；以及将所述第二加密密钥添加到所述数据湖表的条目。6.如前述权利要求中任一项所述的设备，其特征在于，所述边缘设备用于：使用所述密钥包装密钥解开所述加密密钥；使用所述加密密钥对来自所述数据湖的现有数据进行解密；使用所述加密密钥对由服务写入的新数据进行加密；以及将所述新数据存储在所述数据湖中。7.如前述权利要求中任一项所述的设备，进一步包括定时控制器，用于：基于时间持续期来确定所述数据湖是否已经到期；以及响应于确定所述数据湖已经到期，引导所述边缘设备从所述数据湖中删除所述加密密钥和数据。8.一种用于管理数据湖的方法，所述方法包括：选择用于存储所述数据湖的边缘设备；
响应于服务被授权访问所述数据湖的指示：生成与所述数据湖相对应的加密密钥；以及生成与所述边缘设备相对应的密钥包装密钥；使用所述密钥包装密钥来包装所述加密密钥；以及将所述加密密钥和所述密钥包装密钥分发给所述边缘设备，所述加密密钥用于使所述边缘设备上的服务能够访问所述数据湖。9.如权利要求8所述的方法，其特征在于，所述边缘设备是第一边缘设备，所述数据湖包括第一数据湖区域和第二数据湖区域，所述第一数据湖区域存储在所述第一边缘设备上，而所述第二数据湖区域存储在所述第一边缘设备或第二边缘设备中的至少一个上。10.如权利要求8
‑
9中任一项所述的方法，进一步包括生成数据湖表，其中所述数据湖表的条目包括以下中的至少一个：与所述数据湖相对应的数据湖标识符、与服务相对应的服务标识符、所述加密密钥、与所述边缘设备相对应的边缘设备标识符以及所述边缘设备中所述数据湖的地址范围。11.如权利要求10所述的方法，进一步包括确定服务是否被授权访问所述数据湖，以及基于确定的结果来更新所述数据湖表的条目。12.如权利要求11所述的方法，其特征在于，所述加密密钥是第一加密密钥，并且进一步包括：确定服务不再被授权访问所述数据湖；生成与所述...

【专利技术属性】
技术研发人员：F，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：