开放式数据处理系统、开放式数据系统及数据处理方法技术方案

本申请提供了一种开放式数据处理系统、开放式数据系统及数据处理方法，涉及数据处理领域。该开放式数据处理系统包括：SSO平台用于根据接收到的用户的输入信息，对用户进行合法性验证；AD服务器用于在SSO平台对用户的合法性验证通过的情况下，检测AD服务器中是否存在与用户匹配的用户身份信息；数据集群服务器用于在AD服务器存在与用户匹配的用户身份信息的情况下，利用Kerberos协议对用户进行身份认证，若用户通过身份认证，确定用户的访问权限，输出用户请求的目标数据，和/或，确定用户的操作权限，执行用户请求的目标任务，目标数据与用户的访问权限匹配，目标任务与用户的操作权限匹配。利用本申请的技术方案能够提高开放式数据处理系统的安全性。

Open data processing system, open data system and data processing method

【技术实现步骤摘要】
开放式数据处理系统、开放式数据系统及数据处理方法
本申请属于数据处理领域，尤其涉及一种开放式数据处理系统、开放式数据系统及数据处理方法。
技术介绍
数据孤岛现象指数据在不同部门独立存储、独立维护、彼此独立的现象。但随着信息技术产业的飞速发展，传统的以应用为中心的数据队列织方式向以信息为中心的分布式结构方式转变。数据孤岛现象逐渐消失，数据的开放共享成为大数据发展的大势所趋。因为开放式数据系统需要与外部的多个用户进行数据交互，而开放式数据系统中的部分数据为对安全性要求很高的数据。现阶段的开放式数据系统中对安全性要求很高的数据容易发生泄露，降低了开放式数据系统的安全性。
技术实现思路
本申请实施例提供了一种开放式数据处理系统、开放式数据系统及数据处理方法，能够提高开放式数据处理系统的安全性。第一方面，本申请实施例提供一种开放式数据处理系统，包括单点登录SSO平台、活动目录AD服务器和数据集群服务器；其中，SSO平台用于根据接收到的用户的输入信息，对用户进行合法性验证；AD服务器存储有用户身份信息，用于在SSO平台对用户的合法性验证通过的情况下，检测AD服务器中是否存在与用户匹配的用户身份信息；数据集群服务器用于在AD服务器中存在与用户匹配的用户身份信息的情况下，利用Kerberos协议对用户进行身份认证，若用户通过身份认证，确定用户的访问权限，输出用户请求的目标数据，和/或，确定用户的操作权限，执行用户请求的目标任务，其中，目标数据存储于数据集群服务器中且与用户的访问权限匹配，目标任务与用户的操作权限匹配。第二方面，本申请实施例提供一种开放式数据系统，包括用户终端和第一方面的技术方案中的开放式数据处理系统；其中，用户终端具有人机交互界面，人机交互界面用于响应用户的输入操作，跳转至SSO平台，并将输入操作对应的输入信息传输至SSO平台。第三方面，本申请实施例提供一种基于开放式数据处理系统的数据处理方法，应用于第一方面的技术方案中的开放式数据处理系统，基于开放式数据处理系统的数据处理方法包括：SSO平台根据接收到的用户的输入信息，对用户进行合法性验证；在SSO平台对用户的合法性验证通过的情况下，AD服务器检测AD服务器中是否存在与用户匹配的用户身份信息；在AD服务器中存在与用户匹配的用户身份信息的情况下，数据集群服务器利用Kerberos协议对用户进行身份认证，若用户通过身份认证，确定用户的访问权限，输出用户请求的目标数据，和/或，确定用户的操作权限，执行用户请求的目标任务，其中，目标数据存储于数据集群服务器中且与用户的访问权限匹配，目标任务与用户的操作权限匹配。第四方面，本申请实施例提供一种基于开放式数据系统的数据处理方法，应用于第二方面的技术方案中的开放式数据系统，基于开放式数据系统的数据处理方法包括：用户终端的人机交互界面响应用户的输入操作，跳转至SSO平台，并将输入操作对应的输入信息传输至SSO平台；SSO平台根据接收到的用户的输入信息，对用户进行合法性验证；在SSO平台对用户的合法性验证通过的情况下，AD服务器检测AD服务器中是否存在与用户匹配的用户身份信息；在AD服务器中存在与用户匹配的用户身份信息的情况下，数据集群服务器利用Kerberos协议对用户进行身份认证，若用户通过身份认证，确定用户的访问权限，输出用户请求的目标数据，和/或，确定用户的操作权限，执行用户请求的目标任务，其中，目标数据存储于数据集群服务器中且与用户的访问权限匹配，目标任务与用户的操作权限匹配。本申请实施例提供了一种开放式数据处理系统、开放式数据系统及数据处理方法，SSO平台、AD服务器以及数据集群服务器13中Kerberos协议对用户进行三重身份认证。不论是用户连接的情况还是通过应用接口访问的情况，均需要在三重身份认证均通过的情况下，数据集群服务器才会输出用户请求的与该用户的访问权限匹配的目标数据，和/或，执行用户请求的与该用户的操作权限匹配的目标任务。在本申请实施例中，保证用户从登陆访问到数据处理整个流程的安全性，降低甚至避免了数据泄露的风险，从而提高了开放式数据处理系统的安全性。附图说明从下面结合附图对本申请的具体实施方式的描述中可以更好地理解本申请。其中，相同或相似的附图标记表示相同或相似的特征。图1为本申请一实施例提供的一种开放式数据处理系统的结构示意图；图2为本申请实施例提供的一种开放式数据系统的结构示意图；图3为本申请一实施例提供的一种基于开放式数据处理系统的数据处理方法的流程图；图4为本申请另一实施例提供的一种基于开放式数据处理系统的数据处理方法的流程图；图5为本申请实施例提供的一种基于开放式数据系统的数据处理方法的流程图。具体实施方式下面将详细描述本申请的各个方面的特征和示例性实施例。在下面的详细描述中，提出了许多具体细节，以便提供对本申请的全面理解。但是，对于本领域技术人员来说很明显的是，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请的更好的理解。本申请决不限于下面所提出的任何具体配置和算法，而是在不脱离本申请的精神的前提下覆盖了元素、部件和算法的任何修改、替换和改进。在附图和下面的描述中，没有示出公知的结构和技术，以便避免对本申请造成不必要的模糊。本申请实施例提供一种开放式数据处理系统、开放式数据系统及数据处理方法，可应用于开放式数据安全共享的场景中。采用本申请实施例提供的开放式数据处理系统、开放式数据系统及数据处理方法，可在数据开放共享的基础上，同时提高数据以及系统的安全性。该开放式数据处理系统、开放式数据系统及数据处理方法具体可应用于各个领域的数据中心，尤其是一些涉及到对安全性要求较高的领域，比如金融交易领域、用户信息安全领域等等，在此并不限定。本申请实施例提供一种开放式数据处理系统。图1为本申请一实施例提供的一种开放式数据处理系统的结构示意图。如图1所示，该开放式数据处理系统可包括单点登录(SingleSignOn，SSO)平台11、活动目录(ActiveDirectory，AD)服务器12和数据集群服务器13。SSO平台11用于根据接收到的用户的输入信息，对用户进行合法性验证。SSO平台11实现了对用户的第一重身份验证，用户的输入信息可包括用户标识和验证口令。在一些示例中，用户的输入信息还可包括组标识。用户标识、验证口令、组标识的具体实现方式可根据工作场景和工作需求设定，在此并不限定。比如，在用户群被划分为多个机构的场景下，用户标识具体可实现为用户名，验证口令具体可实现为用户密码，组标识具体可实现为机构代号。SSO平台11可存储有已注册的用户的用户身份信息，已注册且验证口令匹配的用户即为合法用户。若通过SSO平台11的合法性验证，则可进入AD服务器12的验证流程。若该用户未通过S本文档来自技高网...

【技术保护点】
1.一种开放式数据处理系统，其特征在于，包括单点登录SSO平台、活动目录AD服务器和数据集群服务器；/n其中，所述SSO平台用于根据接收到的用户的输入信息，对所述用户进行合法性验证；/n所述AD服务器存储有用户身份信息，用于在所述SSO平台对所述用户的合法性验证通过的情况下，检测所述AD服务器中是否存在与所述用户匹配的用户身份信息；/n所述数据集群服务器用于在所述AD服务器中存在与所述用户匹配的用户身份信息的情况下，利用Kerberos协议对所述用户进行身份认证，若所述用户通过身份认证，确定所述用户的访问权限，输出所述用户请求的目标数据，和/或，确定所述用户的操作权限，执行所述用户请求的目标任务，/n其中，所述目标数据存储于所述数据集群服务器中且与所述用户的访问权限匹配，所述目标任务与所述用户的操作权限匹配。/n

【技术特征摘要】
1.一种开放式数据处理系统，其特征在于，包括单点登录SSO平台、活动目录AD服务器和数据集群服务器；
其中，所述SSO平台用于根据接收到的用户的输入信息，对所述用户进行合法性验证；
所述AD服务器存储有用户身份信息，用于在所述SSO平台对所述用户的合法性验证通过的情况下，检测所述AD服务器中是否存在与所述用户匹配的用户身份信息；
所述数据集群服务器用于在所述AD服务器中存在与所述用户匹配的用户身份信息的情况下，利用Kerberos协议对所述用户进行身份认证，若所述用户通过身份认证，确定所述用户的访问权限，输出所述用户请求的目标数据，和/或，确定所述用户的操作权限，执行所述用户请求的目标任务，
其中，所述目标数据存储于所述数据集群服务器中且与所述用户的访问权限匹配，所述目标任务与所述用户的操作权限匹配。


2.根据权利要求1所述的系统，其特征在于，所述数据集群服务器具体用于调用所述数据集群服务器内置的与所述用户的操作权限匹配的组件执行所述目标任务。


3.根据权利要求1或2所述的系统，其特征在于，所述数据集群服务器具体用于通过kinit命令加载keytab文件，若加载的所述keytab文件通过认证，则确定所述用户通过身份认证。


4.根据权利要求1所述的系统，其特征在于，所述SSO平台具体用于根据接收到的用户的输入信息，获取为所述用户分配的Ukey证书，利用分配的Ukey证书对所述用户进行合法性验证。


5.根据权利要求1所述的系统，其特征在于，所述数据集群服务器内置有Hive、Impala、HBase、Spark、HDFS中一个或多个组件。


6.根据权利要求1所述的系统，其特征在于，所述数据集群服务器还用于：
基于Kerberos协议设置组；
基于Sentry机制为用户创建角色，并对所述角色赋予权限，以建立所述角色与所述权限之间的权限映射关系，所述权限包括所述访问权限和/或所述操作权限；
建立组与属于所述组的用户的角色之间的映射关系。


7.根据权利要求6所述的系统，其特征在于，所述数据集群服务器具体用于：
若所述用户通过身份认证，确定目标组，所述目标组为所述用户所属的组；
在建立的所述组与所述角色的映射关系中查询目标角色集合，所述目标角色集合包括与所述目标组对应的所述角色；
在所述目标角色集合中查询目标角色，所述目标角色为与所述用户对应的所述角色；
将所述权限映射关系中与所述目标角色对应的所述权限作为所述用户的所述权限。


8.根据权利要求6或7所述的系统，其特征在于，
所述权限包括所述访问权限，所述访问权限包括目标数据粒度，所述目标数据粒度包括数据库、数据表、视图、字段中的一种或多种；
所述权限包括所述操作权限，所述操作权限包括操作粒度，所述操作粒度包括查找操作、删除操作、创建操作、更新操作中的一种或多种。


9.根据权利要求1所述的系统，其特征在于，所述SSO平台还用于若确定所述用户为新增用户，向所述AD服务器发送调用请求，以调用所述AD服务器实现所述用户的注册。


10.根据权利要求9所述的系统，其特征在于，所述AD服务器还用于在进行所述用户的注册过程中，配置所述用户的验证口令的有效时长。


11.根据权利要求3所述的系统，其特征在于，所述数据集群服务器还用于若确定所述用户为新增用户，触发调用应用程序编程接口生成所述用户的keytab文件。


12.根据权利要求1所述的系统，其特征在于，所述数据集群服务器内置有执行容器，所述数据集群服务器安装有系统安全服务守护进程SSSD工具，
所述数据集群服务器还用于与所述AD服务器进行通信，利用所述SSSD工具将所述AD服务器中的用户身份信息同步至各个所述执行容器。


13.根据权利要求6所述的系统，其特征在于，所述数据集群服务器安装有yarn，所述yarn用于建立数据队列，
在所述数据集群服务器中，一个所述组对应的数据存储于至少一个所述数据队列，不同所述组对应的数据存储于不同的所述数据队列。


14.根据权利要求13所述的系统，其特征在于，所述数据队列对应设置有业务优先级和/或组优先级。


15.根据权利要求6所述的系统，其特征在于，所述数据集群服务器还用于利用轻量目录访问协议LDAP，建立所述数据集群服务器中数据的目录，
其中，不同所述组对应的数据的根目录不同，同一所述组中不同用户对应的数据在根目录下的库不同。


16.根据权利要求1或9所述的系统，其特征在于，所述SSO平台存储有用户身份信息，
所述SSO平台与所述AD服务器定时互相同步用户身份信息。


17.根据权利要求1所述的系统，其特征在于，
所述AD服务器包括主用AD服务器和备用AD服务器；
所述数据集群服务器包括用于运行Kerberos协议的Kerberos模块，所述Kerberos模块包括主用Kerberos模块和备用Kerberos模块。


18.根据权利要求1所述的系统，其特征在于，所述数据集群服务器中第一数据和第二数据存储于不同的存储区间，所述第一数据包括明细数据和/或敏感数据，所述第二数据为进行脱敏操作后的所述第一数据；
所述数据集群服务器还存储有所述第一数据与第二数据的对应关系。


19.根据权利要求1所述的系统，其特征在于，所述目标数据包括公开数据、汇总数据、脱敏明细数据、脱敏敏感数据中的一种或多种。


20.根据权利要求1所述的系统，其特征在于，所述输入信息包括组标识、用户标识和验证口令。


21.根据权利要求1所述的系统，其特征在于，所述数据集群服务器包括审核模块，所述审核模块用于检测待输出的所述目标数据是否包括未脱敏操作的明细数据或未脱敏操作的敏感数据，若待输出的所述目标数据包括未脱敏操作的明细数据或未脱敏操作的敏感数据，则拒绝输出所述目标数据。


22.一种开放式数据系统，其特征在于，包括用户终端和如权利要求1至21中任意一项所述的开放式数据处理系统；
其中，所述用户终端具有人机交互界面，所述人机交互界面用于响应用户的输入操作，跳转至所述SSO平台，并将所述输入操作对应的输入信息传输至所述SSO平台。


23.根据权利要求22所述的系统，其特征在于，所述用户终端通过专用通信通道与所述开放式数据系统进行通信。


24.一种基于开放式数据处理系统的数据处理方法，其特征在于，应用于如权利要求1至21中任意一项所述的开放式数据处理系统，所述方法包括：
所述SSO平台根据接收到的用户的输入信息，对所述用户进行合法性验证；
在所述SSO平台对所述用户的合法性验证通过的情况下，所述AD服务器检测所述AD服务器中是否存在与所述用户匹配的用户身份信息；
在所述AD服务器中存在与所述用户匹配的用户身份信息的情况下，所述数据集...

【专利技术属性】
技术研发人员：冯兴，李静，韩博文，王海涛，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：上海;31