一种公共数据开发利用的一体化大数据应用系统及方法技术方案

本发明专利技术公开了一种公共数据开发利用的一体化大数据应用系统及方法，涉及大数据开发技术领域。所述系统包括政务外网区域平台和互联网区域平台；所述政务外网区域平台和互联网区域汇聚平台采用松耦合架构，在政务外网区域和互联网区域分别部署，通过整合数据汇聚共享、数据存储、数据治理分析、数据开发、多方安全计算、区块链、数据开放、数据确权、个人授权和数据交易等平台，实现公共数据从原始数据到数据资源，再到形成数据资产，并最终实现数据价值的完整路径。本发明专利技术提供的一种公共数据开发利用的一体化大数据应用系统及方法，通过在政务外网区域和互联网区域分别部署，有效应对公共数据和社会化数据的汇聚、治理与应用开发。治理与应用开发。治理与应用开发。

【技术实现步骤摘要】
一种公共数据开发利用的一体化大数据应用系统及方法


[0001]本专利技术涉及大数据开发
，特别涉及一种公共数据开发利用的一体化大数据应用系统及方法。

技术介绍

[0002]我国信息化、大数据在政务应用领域已处于世界领先水平，但目前国内各级政府在公共数据的开发利用的探索与试点中，尚未形成一体化的大数据应用体系来实现公共数据从汇聚存储、加工治理、交换共享、开发开放、资产化以及交易的全过程。因此，主要存在以下客观问题：1、省域数据治理水平比较薄弱，数据碎片化、分散化治理现象普遍存在，统一的治理机制和技术标准仍属空白；2、业务单位各自孤立且重复地建设数据开发利用各环节中的软件平台，且分配的计算存储资源利用率低、浪费严重；3、公共数据开发利用出现断档，有些地方仅实现了公共数据的汇聚、共享交换，以及简单的数据开放，未能进一步发挥公共数据价值；4、公共数据自身存在隐私保护、数据安全等客观问题，导致政务数据和社会化数据融合、碰撞效应不明显，公共数据开放质量不高、完整性不足，总体上距离数据要素市场化目标存在很大差距。

技术实现思路

[0003]本专利技术要解决的技术问题，在于提供一种公共数据开发利用的一体化大数据应用系统及方法，通过在政务外网区域和互联网区域分别部署，有效应对公共数据和社会化数据的汇聚、治理与应用开发。
[0004]第一方面，本专利技术提供了一种公共数据开发利用的一体化大数据应用系统，包括：政务外网区域平台和互联网区域平台，所述政务外网区域平台和互联网区域汇聚平台采用松耦合架构，在政务外网区域和互联网区域分别部署；
[0005]所述政务外网区域平台包括：
[0006]数据汇聚共享平台，用于全面采集电子政务外网区域的数据；
[0007]第一数据湖，与所述数据汇聚共享平台连接，用于提供对多元数据统一汇聚后的大规模集中存储、全生命周期数据管理、预加工处理和政务数据共享能力，以及档案和源代码的存储服务；
[0008]第一数据资源中心，与所述第一数据湖连接，用于从数据湖中同步数据然后进行数据治理、数据分析以及数据开发；
[0009]第一数据确权管理平台，与所述第一数据湖连接，用于按照数据确权基本框架，对数据的合法合规性进行审核，对数据生产加工服务主体、数据流通过程与应用规则开展审核及登记认证；基于区块链技术，通过确权、授权、申请、使用机制，确保数据有授权方可使用，将数据核验逻辑放入区块链智能合约，通过区块链的分布式身份，让参与在其中的人、系统、数据都有对应的身份及数字证书，全程可追溯、不可抵赖；
[0010]所述互联网区域平台包括：
[0011]数据汇聚平台，用于全面采集互联网公共网络区的数据；
[0012]第二数据湖，与所述第一数据湖采用松耦合架构部署，且与所述数据汇聚平台连接；
[0013]第二数据资源中心，与所述第一数据资源中心采用松耦合架构部署，且与所述第二数据湖连接；
[0014]第二数据确权管理平台，与所述第一数据确权管理平台采用松耦合架构部署，且与所述第二数据湖连接；
[0015]数据交易中心，与所述第二数据资源中心连接，提供数据交易、资金结算、风控管理、交易监管以及应用环境服务；
[0016]多方可信安全计算平台，与所述第一数据资源中心、第二数据资源中心以及数据交易中心连接，用于对所述第一数据资源中心和第二数据资源中心进行可信隐私计算，保证数据交易中心的数据使用方在使用数据时无法接触到明文数据，数据在可信环境加密后进行计算和应用，实现了数据可用不可见，数据价值转移控制权不转移，做到数据交共享中的数据可追溯，保障业务数据对外共享时数据安全，实现公共数据社会化开放共享时，将敏感数据在可用不可见的前提下进行计算、共享和交易。
[0017]进一步地，所述系统还包括：个人数据授权平台，当数据用户从所述数据交易中心获取个人数据时，以脱敏方式展示，通过个人数据授权平台经对应个人授权后，个人数据才能正常展示。
[0018]进一步地，所述第一数据湖和第二数据湖按照数据使用频次规划设计热、温、冷三类数据热度存储区，将汇入数据湖的数据按数据热度进行分区存储，在数据湖运营过程中根据数据热度变化进行迁移调整。
[0019]进一步地，所述可信隐私计算技术包括通过同态加密、联邦学习技术以及安全可信执行环境技术。
[0020]第二方面，本专利技术提供了一种公共数据开发利用的一体化大数据应用方法，需提供第一方面所述的系统，所述方法包括：
[0021]步骤10、通过将各地市各部门的业务系统全面接入数据汇聚共享平台，利用汇聚共享平台在各电子政务外网区域的链路，全面采集数据，全量入数据湖集中存储，并进行预处理；
[0022]步骤20、通过第一数据湖和第二数据湖提供对多元数据统一汇聚后的大规模集中存储、全生命周期数据管理、预加工处理和政务数据共享能力，以及档案和源代码的存储服务；
[0023]步骤30、根据数据应用需求，通过第一数据资源中心和第二数据资源中心分别从第一数据湖和第二数据湖中同步相关原始数据进行数据治理、数据分析以及数据开发，对于实时数据则从数据汇聚共享平台和数据汇聚平台分别直接接入；
[0024]步骤40、通过第一数据湖和第二数据湖建立的数据资源目录进行权属关系梳理、权属注册登记，实现对数据的确权管理；平台基于区块链技术，解决了数据提供、数据管理、数据共享、数据使用等多个参与者的信任危机，并通过确权、授权、申请、使用机制，确保数据有授权方可使用，将数据核验逻辑放入区块链智能合约，通过区块链的分布式身份，让参与在其中的人、系统、数据都有对应的身份及数字证书，全程可追溯、不可抵赖；
[0025]步骤50、进行可信隐私计算，保证数据交易中心的数据使用方在使用数据时无法接触到明文数据，数据在可信环境加密后进行计算和应用，实现了数据可用不可见，数据价值转移控制权不转移，做到数据交共享中的数据可追溯，保障业务数据对外共享时数据安全；
[0026]步骤60、通过数据交易中心提供数据交易、资金结算、风控管理、交易监管以及应用环境服务；政务外网区域平台的的数据通过第一数据湖与汇聚共享平台在政务外网区域内部实现共享。
[0027]进一步地，所述方法还包括：通过与所述数据汇聚共享平台和第一数据湖连接实现政务体系内部数据共享，用于各区域、各部门、各层级数据共享交换，加速数据流动，激活数据资产。
[0028]进一步地，所述方法还包括：政务外网区域平台的的数据开放到互联网区域进行社会化开发利用或者交易时，敏感隐私类数据通过隐私计算技术使得数据可用不可见，方可进行使用和交易；当数据用户从所述数据交易中心获取个人数据时，以脱敏方式展示，通过个人数据授权平台经对应个人授权后，个人数据才能正常展示。
[0029]进一步地，所述第一数据湖和第二数据湖按照数据使用频次规划设计热、温、冷三类数据热度存储区，将汇入数据湖的数据按数据热度进行分区存储，在数据湖运营过程中根据数据热度变化进行迁移调整。
...

【技术保护点】

【技术特征摘要】
1.一种公共数据开发利用的一体化大数据应用系统，其特征在于，包括：政务外网区域平台和互联网区域平台，所述政务外网区域平台和互联网区域汇聚平台采用松耦合架构，在政务外网区域和互联网区域分别部署；所述政务外网区域平台包括：数据汇聚共享平台，用于全面采集电子政务外网区域的数据；第一数据湖，与所述数据汇聚共享平台连接，用于提供对多元数据统一汇聚后的大规模集中存储、全生命周期数据管理、预加工处理和政务数据共享能力，以及档案和源代码的存储服务；第一数据资源中心，与所述第一数据湖连接，用于从数据湖中同步数据然后进行数据治理、数据分析以及数据开发；第一数据确权管理平台，与所述第一数据湖连接，用于建立数据确权机制，按照数据确权基本框架，对数据的合法合规性进行审核，对数据生产加工服务主体、数据流通过程与应用规则开展审核及登记认证；基于区块链技术，通过确权、授权、申请、使用机制，确保数据有授权方可使用，将数据核验逻辑放入区块链智能合约，通过区块链的分布式身份，让参与在其中的人、系统、数据都有对应的身份及数字证书，全程可追溯、不可抵赖；所述互联网区域平台包括：数据汇聚平台，用于全面采集互联网公共网络区的数据；第二数据湖，与所述第一数据湖采用松耦合架构部署，且与所述数据汇聚平台连接；第二数据资源中心，与所述第一数据资源中心采用松耦合架构部署，且与所述第二数据湖连接；第二数据确权管理平台，与所述第一数据确权管理平台采用松耦合架构部署，且与所述第二数据湖连接；数据交易中心，与所述第二数据资源中心连接，提供数据交易、资金结算、风控管理、交易监管以及应用环境服务；多方可信安全计算平台，与所述第一数据资源中心、第二数据资源中心以及数据交易中心连接，用于对所述第一数据资源中心和第二数据资源中心进行可信隐私计算，保证数据交易中心的数据使用方在使用数据时无法接触到明文数据，数据在可信环境加密后进行计算和应用，实现了数据可用不可见，数据价值转移控制权不转移，做到数据交共享中的数据可追溯，保障业务数据对外共享时数据安全。2.根据权利要求1所述的系统，其特征在于，所述系统还包括：个人数据授权平台，当数据用户从所述数据交易中心获取个人数据时，以脱敏方式展示，通过个人数据授权平台经对应个人授权后，个人数据才能正常展示。3.根据权利要求1所述的系统，其特征在于：所述第一数据湖和第二数据湖按照数据使用频次规划设计热、温、冷三类数据热度存储区，将汇入数据湖的数据按数据热度进行分区存储，在数据湖运营过程中根据数据热度变化进行迁移调整。4.根据权利要求1所述的系统，其特征在于：所述可信隐私计算技术包括通过同态加密、联邦学习技术以及安全可信执行环境技术。...

【专利技术属性】
技术研发人员：于辉，黄文敏，陈榕辉，张标金，
申请(专利权)人：福建实达集团股份有限公司，
类型：发明
国别省市：