一种开放式大数据处理系统、方法及介质技术方案

本申请涉及一种开放式大数据处理系统、方法及介质。所述系统包括：资源虚拟层，用于关联和管理全局数据空间中的物理数据，其中，全局数据空间包括各处理对象相关的物理数据；内核公共服务层，与资源虚拟层连接，用于对开放式大数据处理系统的处理任务的管理、对处理形成接口的管理及对用户权限的管理；软件开发工具包层，与内核公共服务层连接，用于构建主题数据资产或管理应用研发服务，其中，主题数据为依据业务目标导向的离线和/或实时的多种类业务场景数据。本申请可以高效管理各类处理对象，有效帮助社会单位快速形成核心数据资产，支持数据应用服务，提供智能软件研发框架，大大提升了数据处理的效率。大提升了数据处理的效率。大提升了数据处理的效率。

【技术实现步骤摘要】
一种开放式大数据处理系统、方法及介质


[0001]本申请涉及数据处理
，更为具体来说，本申请涉及一种开放式大数据处理系统、方法及介质。

技术介绍

[0002]随着数字化产业的推进，建设数字强国已被列入国家的规划纲要中。但在数字化实施进程中面临诸多的问题，由于各类社会单位对信息化的规划不够清晰，导致烟囱式信息系统普遍存在，使得海量异构软硬件资源无法得到有效管理。行业企业缺少统一数据基础设施建设，企业内的各个信息系统，以及行业中不同企业或组织间的系统，无法互联互通，形成了大量的信息孤岛。
[0003]总之出现大量的问题，例如数据搬家多，数据找不到，数据读不懂，数据获取难，数据不敢信，等等，这些问题也成了各类社会单位难以形成自身核心数据资产的痛点。

技术实现思路

[0004]基于上述技术问题，本专利技术旨在使数据处理打破数据孤岛，使数据处理支撑数字化软件研发，并使数据处理实现数据随需共享应用。本专利技术提供了一种大数据处理系统及方法，可以看做是一款面向数据互联场景的“泛在操作系统”，在辅助社会单位数字化进程中能起到向下管理海量异构软件资源，向上凝练各类业务应用的共性并为上层应用提供开发和运行支撑的作用。
[0005]本申请实施例提供了开放式大数据处理系统、方法、计算机可读存储介质及计算机程序产品。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
[0006]本专利技术第一方面提供了一种开放式大数据处理系统，包括：
[0007]资源虚拟层，用于关联和管理全局数据空间中的物理数据，其中，所述全局数据空间包括各处理对象相关的物理数据；
[0008]内核公共服务层，与所述资源虚拟层连接，用于对所述开放式大数据处理系统的处理任务的管理、对处理形成接口的管理及对用户权限的管理；
[0009]软件开发工具包层，与所述内核公共服务层连接，用于构建主题数据资产或管理应用研发服务，其中，所述主题数据为依据业务目标导向的离线和/或实时的多种类业务场景数据。
[0010]具体地，所述软件开发工具包层包括主题数据资产构建与运维管理平台或开放式应用研发服务管理平台。
[0011]优选地，所述主题数据资产构建与运维管理平台还包括数据业务服务资源平台，所述数据业务服务资源平台包括数据服务构建工具集、业务服务构建共性组件和资源库。
[0012]进一步地，所述资源虚拟层在用于关联全局数据空间中的物理数据时，具体包括：
[0013]当要关联全局数据空间中的第一物理数据时，在所述资源虚拟层建立逻辑表，其中，所述逻辑表存储关联到所述第一物理数据的路径；
[0014]当要关联全局数据空间中的第二物理数据时，所述资源虚拟层通过人工智能算法自动辅助解析所述第二物理数据的语义结构且关联所述第二物理数据。
[0015]进一步地，所述内核公共服务层在用于对所述开放式大数据处理系统的任务管理时，具体包括：
[0016]监控用户提交的任务申请；
[0017]对所述任务申请通过调度算法进行调度。
[0018]其中，所述对处理形成接口的管理包括所述内核公共服务层与所述资源虚拟层连接产生的数据接口管理和所述内核公共服务层与所述软件开发工具包层连接产生的应用程序编程接口管理。
[0019]进一步优选地，所述开放式应用研发服务管理平台具体用于：
[0020]监测用户提交的应用程序编程接口修改请求；
[0021]确定所述应用程序编程接口修改请求合法时允许修改。
[0022]本专利技术第二方面提供了一种开放式大数据处理方法，所述方法包括：
[0023]关联和管理全局数据空间中的物理数据，其中，所述全局数据空间包括各社会单位基于数据库、信息系统或企业数字化而形成的物理数据；
[0024]管理处理任务、管理处理形成接口及管理用户权限；
[0025]构建主题数据资产或管理应用研发服务，其中，所述主题数据为依据业务目标导向的离线和/或实时的多种类业务场景数据。
[0026]本专利技术第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如下步骤：
[0027]关联和管理全局数据空间中的物理数据，其中，所述全局数据空间包括各社会单位基于数据库、信息系统或企业数字化而形成的物理数据；
[0028]管理处理任务、管理处理形成接口及管理用户权限；
[0029]构建主题数据资产或管理应用研发服务，其中，所述主题数据为依据业务目标导向的离线和/或实时的多种类业务场景数据。
[0030]本专利技术第四方面提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行如下步骤：
[0031]关联和管理全局数据空间中的物理数据，其中，所述全局数据空间包括各社会单位基于数据库、信息系统或企业数字化而形成的物理数据；
[0032]管理处理任务、管理处理形成接口及管理用户权限；
[0033]构建主题数据资产或管理应用研发服务，其中，所述主题数据为依据业务目标导向的离线和/或实时的多种类业务场景数据。
[0034]本申请的有益效果为：本申请的所述大数据处理系统及方法通过资源虚拟层、内核公共服务层和软件开发工具包层三层架构，实现了开放的、敏捷的大数据处理任务，关联和管理全局数据空间中的物理数据，构建主题数据资产或管理应用研发服务，既能管理海量异构软件资源，又能向上凝练各类业务应用的共性并为上层应用提供开发和运行支撑作用，因此该系统和方法既开放又敏捷，大大提升了数据处理效率。本申请可以高效管理社会
单位内外各类信息系统，有效帮助社会单位快速形成核心数据资产，整体开放的系统架构支持数据应用服务，提供智能软件研发框架，支撑社会单位数字化及转型升级，进而达到数字化赋能的最终目标。
附图说明
[0035]构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
[0036]参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
[0037]图1示出了本申请一示例性实施例的系统结构示意图；
[0038]图2示出了本申请一示例性实施例的一系统架构示意图；
[0039]图3示出了本申请一示例性实施例系统架构图中与硬件相关部分的示意图；
[0040]图4示出了本申请一示例性实施例中传统操作系统的架构示意图；
[0041]图5示出了本申请一示例性实施例中另一系统架构示意图；
[0042]图6示出了本申请一示例性实施例的方法中关于全局数据空间和主题数据资产示意图；
[0043]图7示出了本申请一示例性实施例所提供的一种电子设备的结构示意图；
[0044]图8示出了本申请一示例性实施例所提供的一种存储介质的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种开放式大数据处理系统，其特征在于，包括：资源虚拟层，用于关联和管理全局数据空间中的物理数据，其中，所述全局数据空间包括各处理对象相关的物理数据；内核公共服务层，与所述资源虚拟层连接，用于对所述开放式大数据处理系统的处理任务的管理、对处理形成接口的管理及对用户权限的管理；软件开发工具包层，与所述内核公共服务层连接，用于构建主题数据资产或管理应用研发服务，其中，所述主题数据为依据业务目标导向的离线和/或实时的多种类业务场景数据。2.根据权利要求1所述的开放式大数据处理系统，其特征在于，所述软件开发工具包层包括主题数据资产构建与运维管理平台或开放式应用研发服务管理平台。3.根据权利要求2所述的开放式大数据处理系统，其特征在于，所述主题数据资产构建与运维管理平台还包括数据业务服务资源平台，所述数据业务服务资源平台包括数据服务构建工具集、业务服务构建共性组件和资源库。4.根据权利要求1所述的开放式大数据处理系统，其特征在于，所述资源虚拟层在用于关联全局数据空间中的物理数据时，具体包括：当要关联全局数据空间中的第一物理数据时，在所述资源虚拟层建立逻辑表，其中，所述逻辑表存储关联到所述第一物理数据的路径；当要关联全局数据空间中的第二物理数据时，所述资源虚拟层通过人工智能算法自动辅助解析所述第二物理数据的语义结构且关联所述第二物理数据。5.根据权利要求1...

【专利技术属性】
技术研发人员：麻志毅，龚小龙，郑聪，陈曦，
申请(专利权)人：浙江省北大信息技术高等研究院，
类型：发明
国别省市：