数据流通系统及其安全管控系统和安全管控方法技术方案

本发明专利技术提出了一种数据流通系统及其安全管控系统和安全管控方法，安全管控系统与数据流通系统中的各子系统均通信连接，用于对数据流通的各个过程进行数据安全管控，安全管控系统包括：多类算子和调度模块，多类算子用于满足各子系统中的数据安全管控需求；调度模块用于基于安全管控任务，进行算子的调度；安全管控系统与计算平台连接，计算平台接收调度模块调度的算子，配置计算资源并运行对应的算子，并将计算结果返回至安全管控系统。本发明专利技术针对数据流通各个业务环节进行了统一的数据安全管控，从整体上把握整个数据流程的数据安全。且基于大数据处理工具，可以处理大批量的数据，从而可以快速、高效的管控数据交易环节的安全问题。安全问题。安全问题。

【技术实现步骤摘要】
数据流通系统及其安全管控系统和安全管控方法


[0001]本专利技术涉及数据流通
，尤其涉及一种数据流通系统及其安全管控系统和安全管控方法。

技术介绍

[0002]在数据流通特别是数据交易场景中，涉及到多个流通环节。由于数据中可能涉及到个人隐私或敏感数据，因此，对每个环节都需要进行数据安全方面的管控。
[0003]现在的技术，数据的安全管控往往仅是在某个单一环节中进行的，主要是通过编写java程序，通过jdbc的方式，连接到数据库，获取到数据后，进行审核数据是否安全。
[0004]上述技术手段对于包含多个流通环节数据交易场景，无法从整体上管控数据安全。而且，由于数据交易场景中涉及到的数据量过大，现有数据安全管控技术无法完成整个数据交易场景中的数据安全管控。

技术实现思路

[0005]本专利技术要解决的技术问题是如何实现数据交易场景中涉及较多流通环节下的数据安全管控，本专利技术提出一种数据流通系统及其安全管控系统和安全管控方法。
[0006]根据本专利技术实施例的用于数据流通系统的安全管控系统，所述安全管控系统与数据流通系统中的数据归集子系统、数据清洗子系统、数据整合子系统、数据开发子系统、数据交易子系统及数据维护子系统均通信连接，用于对数据流通的各个过程进行数据安全管控，所述安全管控系统包括：多类算子，多类所述算子用于满足数据归集子系统、数据清洗子系统、数据整合子系统、数据开发子系统、数据交易子系统及数据维护子系统中的数据安全管控需求；调度模块，用于基于安全管控任务，进行算子的调度；所述安全管控系统与计算平台连接，所述计算平台接收所述调度模块调度的算子，配置计算资源并运行对应的所述算子，并将计算结果返回至所述安全管控系统。
[0007]根据本专利技术的一些实施例，所述安全管控系统包括：交互模块，用于接收所述计算结果，及用于将所述计算结果发送至所述数据流通系统中对应的子系统。
[0008]在本专利技术的一些实施例中，所述调度模块采用分布式去中心化调度器，具有可视化DAG工作流任务调度平台。
[0009]根据本专利技术的一些实施例，所述计算平台采用Apache Spark。
[0010]在本专利技术的一些实施例中，多类所述算子包括：数据过程审核算子，用于数据采集审核、数据传输审核、数据储存审核及数据处理审核；模型代码审核，用于代码漏洞审核、代码后门审核及高危命令审核；敏感内容审核，用于黄暴恐敏感信息审核及负面清单审核；
元件结果审核，用于元件不可逆审核、元件敏感度量审核、元件相似度审核、元件相关性审核及元件重复度审核。
[0011]根据本专利技术的一些实施例，所述安全管控系统采用分层架构设计，包括：前端展示层：采用vue，element ui做界面展示；访问层：用于前端访问后端的服务鉴权、负载均衡的过滤；业务层：用于实现管理功能；数据层：用于数据存储。
[0012]在本专利技术的一些实施例中，所述安全管控系统支持运行在虚拟机或k8s容器环境。
[0013]根据本专利技术实施例的数据流通系统，包括：数据归集子系统、数据清洗子系统、数据整合子系统、数据开发子系统、数据交易子系统、数据维护子系统、及安全管控系统，所述安全管控系统为如上所述的用于数据流通的安全管控系统。
[0014]根据本专利技术实施例的用于数据流通系统的安全管控方法，所述安全管控方法采用如上所述的用于数据流通系统的安全管控系统对数据流通的各个过程进行数据安全管控，所述方法包括：S100，注册各个算子到调度模块；S200，由调度模块提交安全管控任务到计算平台；S300，计算平台申请资源来运行安全管控对应的算子；S400，算子执行完成后，将计算结果回传给安全管控统。
[0015]根据本专利技术的一些实施例，所述方法还包括：S500，安全管控系统把计算结果发送给数据流通系统对应的子系统。
[0016]本专利技术具有如下有益效果：本专利技术针对数据流通各个业务环节进行了统一的数据安全管控，可以从整体上把握整个数据流程的数据安全。而且，本专利技术基于大数据处理工具，可以处理大批量的数据，从而可以快速、高效的管控数据交易环节的安全问题。
附图说明
[0017]图1为根据本专利技术实施例的数据安全管控的各个环节示意图；图2为根据本专利技术实施例的安全管控系统架构设计图示意图；图3为根据本专利技术实施例的数据安全管控方法示意图；图4为根据本专利技术实施例的数据安全管控方法流程图。
具体实施方式
[0018]为更进一步阐述本专利技术为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本专利技术进行详细说明如后。
[0019]本专利技术中说明书中对方法流程的描述及本专利技术说明书附图中流程图的步骤并非必须按步骤标号严格执行，方法步骤是可以改变执行顺序的。而且，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0020]软件工程的一个设计原则：功能解偶。本专利技术把数据流通各个环节对于数据安全管控的需求，给剥离出来，统一交给安全管控系统来管理。数据安全管控对于数据流通系统
中各个业务环节是一个公共的模块，可以把这个公共的模块抽取出来，实现和原业务系统的耦合，同时达到解偶的目的。
[0021]而且，随着数据量越来越多，常规的处理方法显得越来越力不从心；必须接触大数据处理工具，来处理大批量的数据。本专利技术同时达到了解偶和处理大数据的问题。
[0022]根据本专利技术实施例的用于数据流通系统的安全管控系统，安全管控系统与数据流通系统中的数据归集子系统、数据清洗子系统、数据整合子系统、数据开发子系统、数据交易子系统及数据维护子系统均通信连接，用于对数据流通的各个过程进行数据安全管控。
[0023]需要说明的是，数据流通的整个过程中，涉及到数据流通系统各个子系统的处理过程，原始数据经过数据归集子系统、数据清洗子系统、数据整合子系统、数据开发子系统、数据交易子系统及数据维护子系统，转换为数据元件和数据产品，并进行数据元件和数据产品的交易。
[0024]在数据流通的整个过程中，安全管控系统与数据归集子系统、数据清洗子系统、数据整合子系统、数据开发子系统、数据交易子系统及数据维护子系统进行数据交互，以对数据在各个子系统中处理过程的数据安全进行有效管控。
[0025]需要说明的是，现有的数据安全管控中，并不涉及上述原始数据到数据元件再到数据产品，及数据元件和数据产品的交易过程。而且，由于现有对数据的安全管控工作中涉及的系统架构往往比较简单，并不涉及上述各子系统构成的复杂架构，数据的安全管控工作都是在对应的子系统中设置数据安全审核功能模块实现的。
[0026]而本专利技术将数据流通系统各个子系统的数据安全管控工作解耦出来，设计独立于数据处理过程中的各个子系统的安全管控系统，而且，在数据流通的数据安全管控中，不仅涉及数据过程审核工作，另外，由于数据流通过程中还涉及到数据模型的创建和训练、数据元件的流通，因此，安全管控系统还涉及到对数据模型代码审核、元件结构审核本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于数据流通系统的安全管控系统，其特征在于，所述安全管控系统与数据流通系统中的数据归集子系统、数据清洗子系统、数据整合子系统、数据开发子系统、数据交易子系统及数据维护子系统均通信连接，用于对数据流通的各个过程进行数据安全管控，所述安全管控系统包括：多类算子，多类所述算子用于满足数据归集子系统、数据清洗子系统、数据整合子系统、数据开发子系统、数据交易子系统及数据维护子系统中的数据安全管控需求；调度模块，用于基于安全管控任务，进行算子的调度；所述安全管控系统与计算平台连接，所述计算平台接收所述调度模块调度的算子，配置计算资源并运行对应的所述算子，并将计算结果返回至所述安全管控系统。2.根据权利要求1所述的用于数据流通系统的安全管控系统，其特征在于，所述安全管控系统包括：交互模块，用于接收所述计算结果，及用于将所述计算结果发送至所述数据流通系统中对应的子系统。3.根据权利要求1所述的用于数据流通系统的安全管控系统，其特征在于，所述调度模块采用分布式去中心化调度器，具有可视化DAG工作流任务调度平台。4.根据权利要求1所述的用于数据流通系统的安全管控系统，其特征在于，所述计算平台采用Apache Spark。5.根据权利要求1所述的用于数据流通系统的安全管控系统，其特征在于，多类所述算子包括：数据过程审核算子，用于数据采集审核、数据传输审核、数据储存审核及数据处理审核；模型代码审核，用于代码漏洞审核、代码后门审核及高危命令审核；敏感内容审核，用于黄暴恐敏感信息审核及负面清单审核；元件结果...

【专利技术属性】
技术研发人员：陆志鹏，王培梁，刘国栋，国丽，朱立锋，郑曦，周崇毅，赵健，温彦龙，乔亲旺，范国浩，修心，林希明，章纯梓，
申请(专利权)人：中国电子信息产业集团有限公司，
类型：发明
国别省市：