创建数据集网络的系统技术方案

以下提供了创建共享数据节点网络的平台。各个数据节点是自描述的、自连接的和自保护的。本文教导的数据网络可以防止数据仓环境。各个节点具有：包含版本控制数据的数据集；访问控制层，其限制用户对数据集的访问；元数据层，其定义数据集的特征并连接到另一节点。创建一个或更多个链接，以将节点与后续节点相关联，以按照使得数据集的变化影响数据节点网络的变化的方式创建数据节点网络；并且数据节点网络包括查询层，该查询层与数据集和后续数据集进行交互。集进行交互。集进行交互。

【技术实现步骤摘要】
【国外来华专利技术】创建数据集网络的系统


[0001]以下涉及诸如数据结构(data fabric)的数据集的网络、提供这种网络的平台以及构建和使用所述网络、数据集和系统的方法。

技术介绍

[0002]传统上，企业在数据仓(data silo)环境中操作。数据仓是例如可通过一个应用访问但与该组织的其余部分隔离开的一组数据集。数据仓通常是由分析工具收集的数据或由商业应用生成的数据的结果。数据仓环境存在许多缺点。
[0003]例如，数据仓可能导致组织内的大量浪费时间。并不能够自动地跨应用流水线化数据，而是在应用中的各个应用内隔离数据。这意味着团队可能必须等待，直到他们意识到他们需要他们没有的数据，找到数据位于组织内的何处，手动获得对该数据的访问，然后出于他们自己的目的对该数据进行分析。到他们收集到数据时，数据可能不再有效。
[0004]数据仓还可能导致存储空间的浪费。例如，如果组织的各个员工需要数据的副本并将其保存到他们的公司存储文件夹中，则这将浪费大量的存储空间，这可能是非常昂贵的。
[0005]数据仓环境的另一缺点是不能维护数据的准确性。由于隔离开的数据是固定(sitting)的，所以它更有可能变得过时，因而不准确和不可用。
[0006]数据仓还会产生安全漏洞。例如，一旦数据被复制，那么数据集的所有者在不具有依赖于来自其它团队的合规性的困难且昂贵的处理的情况下就不再能够保证数据的机密性。如果数据集的副本存储在各个队友的计算机上，则其更可能被黑客攻击。
[0007]数据仓还在组织内产生分歧，因为在数据仓环境中，各个团队仅有权访问他们自己的数据，因此是他们工作的唯一数据。例如，各个团队可以独立工作，而不是协作地工作，从而创建了分开的组织。
[0008]图1和图2示出了涉及创建新数据仓24和复制数据26的各个新定制应用的传统创建。如图1所示，传统开发的应用10将分别被编程为包括其自己的用户接口14、API 15(图1中未示出)、安全和控制16、数据集成18、数据持久20和数据发布22能力。
[0009]此外，各个应用10需要其自己的数据库24，其中，数据库24中的链接或相关数据26被创建、导入、更新、维护等。来自企业的遗留数据28也需要被单独地导入各个应用10。用户12将被许可使用单独的安全和控制16访问各个应用10。然后可以将数据发布到更大的企业数据湖30中，例如，用于执行分析和其它数据处理操作。这些应用10还可能严重依赖于桌面工具，其需要所需的这些工具的数百甚至数千个实例来有效地部署新解决方案(solution)。此外，已经发现，传统的数据仓通常缺乏足够的数据控制，并且在一个应用或数据仓中实现的控制通常在另一应用或数据仓中不可重复使用。
[0010]由于这些低效率和冗余，所以创建新应用10和解决方案通常花费许多周并且更经常是数月才能部署。在急需要这些解决方案的环境中，部署时间可以被认为是竞争劣势，或者至少是资源的消耗。

技术实现思路

[0011]一个方面涉及一种创建共享数据节点网络的系统。所述系统包括至少两个节点；各个节点具有包含版本控制数据的数据集；访问控制层，其限制用户对数据集的访问；元数据层，其定义数据集的特征并连接到另一节点。创建一个或更多个链接，以将节点与后续节点相关联，以按照使得数据集的变化影响数据节点网络的变化的方式创建数据节点网络；并且数据节点网络包括查询层，该查询层与数据集和后续数据集进行交互。各个数据节点是自描述的、自连接的和自保护的。
附图说明
[0012]现在将参考附图描述实施方式，其中：
[0013]图1是例示了数据仓环境中的现有技术应用开发的示意图；
[0014]图2是例示了数据仓环境中的现有技术应用开发的示意图；
[0015]图3是示出为具有4个应用体验的数据节点网络的示意图；
[0016]图4是示出为具有5个应用体验的数据节点网络的示意图；
[0017]图5是节点的示意图；
[0018]图6是节点网络的示意图；
[0019]图7A是用于构建数据集节点、构建数据集节点网络以及用于与这些网络进行交互的平台的示意图；
[0020]图7B是用于构建数据集节点网络的网络以及用于与这样的网络进行交互的平台的示意图；
[0021]图8a是节点及其数据的屏幕截图的示例；
[0022]图8b是例示了设计数据集的示例的屏幕截图的示例，包括该节点的元数据的定义；
[0023]图8c是用于定义当前数据集与另一数据集之间的链接的屏幕截图的示例；
[0024]图8d是显示数据版本的协作日志的屏幕截图的示例；
[0025]图8e是可以用于配置个体节点上的控制的控制页面的屏幕截图的示例；
[0026]图9是例示了脚本语言查询的执行的示意流程图；
[0027]图10是例示了当与示例数据网络交互时的不同用户视角的示意图；
[0028]图11是版本更新数据(versioned data)的屏幕截图的示例；
[0029]图12是示出独立访问控制许可的数据集的示例；
[0030]图13a是在第一时间的数据集网络的示例；
[0031]图13b是在第二时间的数据集网络的示例；
[0032]图13c是在第三时间的数据集网络的示例；
[0033]图14是例示了数据仓环境中的传统应用开发的示意图；
[0034]图15是传统应用与数据集网络体验的示意图；
[0035]图16A是示出使用仓化数据库的传统应用开发的安全和控制的示意图；以及
[0036]图16B是示出利用数据网络的应用开发的示意图。
具体实施方式
[0037]以下提供了用于创建共享数据节点网络的平台。各个数据节点是自描述的、自连接的和自保护的。本文教导的数据网络可以减少构建大规模(例如，企业级)数据管理解决方案所需的时间和工作。一些优点包括：防止数据仓环境；通过自适应应用编程接口(API)集成层的灵活企业对齐；以及简化的数据集成，其基于以最小的工作跨应用重复使用数据，从而有效地减少或消除了传统意义上的开发“应用”的需要。各个节点具有：包含版本控制数据的数据集；访问控制层，其限制用户对数据集的访问；元数据层，其定义数据集的特征并连接到另一节点。创建一个或更多个链接，以将节点与后续节点相关联，以按照使得数据集的变化影响数据节点网络的变化的方式创建数据节点网络；并且数据节点网络包括查询层，该查询层与数据集和后续数据集进行交互。
[0038]如下文所讨论的，该系统有效地消除了对传统意义上的应用开发的需要，使得数据协作网络和该网络中的个体数据节点通过允许具有对数据的访问的实体利用相同数据而不需要与传统应用开发和数据仓的创建相关联的显著工作来消除对应用的需要。因此，该系统通过从UI分离(decouple)数据并允许在数据周围配置安全和控制层而不是必须针对各个解决方案或应用写入一个关闭代码来实现解决方案的更快交付。此外，单独组织内的数据协本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种创建数据节点网络的系统，所述系统包括：第一节点，所述第一节点具有：第一数据集，所述第一数据集包含数据；访问控制层，所述访问控制层限制用户对所述第一数据集的访问；元数据层，所述元数据层定义所述第一数据集的特征并且连接到至少一个后续节点，所述至少一个后续节点具有：后续数据集，所述后续数据集包含另外的数据；后续访问控制层，所述后续访问控制层限制用户对所述第二数据集的访问；元数据层，所述元数据层定义所述后续数据集的特征；其中，创建一个或更多个链接，以将所述第一节点与所述后续节点相关联来创建所述数据节点网络；其中，所述数据节点网络包括查询层，所述查询层与所述第一数据集和至少一个后续数据集进行交互；并且其中，多个应用通过所述查询层访问所述网络中的所述数据和所述另外的数据。2.根据权利要求1所述的系统，其中，内置数据安全层包括数据级权限，使得所述数据用于指定给予所述用户的特定等级的权限。3.根据权利要求2所述的系统，所述系统还包括直接与所述数据交互的用户友好接口。4.根据权利要求2所述的系统，所述系统还包括将遗留数据链接至所述数据集网络的一个或更多个连接器。5.根据权利要求1所述的系统，其中，所述查询接口经由元数据驱动的API和元数据驱动的UI与所述数据集网络进行交互。6.根据权利要求1所述的系统，所述系统被配置成执行数据源的自动数据版本更新，其中，所述用户具有回滚到所述数据集网络的先前版本的能力。7.根据权利要求1所述的系统，其中，所述数据和所述另外的数据是版本控制的。8.根据权利要求1所述的系统，其中，内置数据控制层在数据源处被定义成使得所述API和所述UI被迫自动遵守内置数据控制。9.根据权利要求1所述的系统，其中，所述数据节点网络能够连接到至少一个其它数据节点网络，以创建超级网络。10.一种创建数据节点网络的方法，所述方法包括以下步骤：提供第一节点，所述第一节点具有：第一...

【专利技术属性】
技术研发人员：K，
申请(专利权)人：辛奇公司，
类型：发明
国别省市：