数据共享方法及系统技术方案

本发明专利技术涉及一种数据共享方法及系统，其中，方法包括：数据导入模块接收原始数据；数据处理模块的数据清洗单元对原始数据进行数据过滤处理，得到过滤数据；数据处理模块的数据转换单元根据过滤数据进行数据格式转换处理，得到标准格式数据；数据处理模块的数据裁剪单元根据标准格式数据确定所属的字段，根据字段对标准格式数据进行裁剪处理，得到裁剪数据；裁剪数据具有位置ID；位置ID包括数据库ID、数据表ID和字段ID；数据处理模块的数据插入单元根据位置ID将裁剪数据插入对应的字段中；数据查询模块根据接收到的查询请求进行数据提取，并反馈提取结果。

【技术实现步骤摘要】
数据共享方法及系统
本专利技术涉及信息
，尤其涉及数据共享方法及系统。
技术介绍
随着信息技术的快速发展和应用，数据已成为基础性资源，大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式产生重要影响。传统的信息系统建设都是烟囱式的，各个领域、行业、机构、部门会各自存储数据，但缺乏相互之间跨越的数据共享的管理机制，大部分的企业系统建设存在数据孤岛问题。在大数据时代，要实现数字化转型，实现数据互联互通具有重要意义。现阶段经过相关的大数据平台的建设，已经完成了数据汇集及数据治理，然而大数据的价值还远远没有被充分挖掘出来，一些公司或机构业务系统涉及核心数据及数据安全性要求，数据的共享使用遇到了很大的安全技术瓶颈，还没有实现在数据安全确权前提下的数据变现及数据运营，往往是有数据分析能力的用户并不具备高价值的确切数据，拥有海量数据的单位和组织不具备数据分析挖掘能力。
技术实现思路
本专利技术的目的是针对现有技术的缺陷，提供数据共享方法及系统，解决现阶段各个领域、行业、机构、部门缺乏数据共享管理机制，存在数据孤岛、以及用户使用数据时没有安全保障的问题。为实现上述目的，第一方面，本专利技术提供了数据共享方法，所述数据共享方法包括：数据导入模块接收原始数据；数据处理模块的数据清洗单元对所述原始数据进行数据过滤处理，得到过滤数据；所述数据处理模块的数据转换单元根据所述过滤数据进行数据格式转换处理，得到标准格式数据；所述数据处理模块的数据裁剪单元根据所述标准格式数据确定所属的字段，根据所述字段对所述标准格式数据进行裁剪处理，得到裁剪数据；所述裁剪数据具有位置ID；所述位置ID包括数据库ID、数据表ID和字段ID；所述数据处理模块的数据插入单元根据所述位置ID将所述裁剪数据插入对应的字段中；数据查询模块根据接收到的查询请求进行数据提取，并反馈提取结果。优选的，在所述数据处理模块的数据裁剪单元根据所述标准格式数据确定所属的字段，根据所述字段对所述标准格式数据进行裁剪处理，得到裁剪数据之后，所述数据共享方法还包括：所述数据裁剪单元将所述裁剪数据发送给所述数据处理模块的数据缓冲单元；所述数据缓冲单元对所述裁剪数据进行排队处理，并根据排队序列将所述裁剪数据发送给所述数据插入单元。优选的，所述原始数据具有用户ID；在数据导入模块接收原始数据之后，所述数据共享方法还包括：所述数据处理模块的数据校验单元根据所述用户ID确定对应私钥，根据所述私钥对所述原始数据进行解密，并根据解密后数据和预设明文数据进行对比处理；当对比结果不一致时，所述数据校验单元生成第一报警信息。优选的，所述原始数据包括时间数据；在数据导入模块接收原始数据之后，所述数据共享方法还包括：所述数据处理模块的数据校验单元根据所述时间数据和当前时间数据计算得到时间差数据；根据所述时间差数据和预设时间差进行比较处理；当时间差数据大于预设时间差时，生成第二报警信息。第二方面，本专利技术基于上述的数据共享方法提供了数据共享系统，所述数据共享系统包括：数据导入模块，用于接收原始数据；数据处理模块，用于对所述原始处理进行过滤、转换、裁剪和插入处理；数据清洗单元，用于对所述原始数据进行数据过滤处理，得到过滤数据；数据转换单元，用于根据所述过滤数据进行数据格式转换处理，得到标准格式数据；数据裁剪单元，用于根据所述标准格式数据确定所属的字段，根据所述字段对所述标准格式数据进行裁剪处理，得到裁剪数据；数据插入单元，用于根据所述位置ID将所述裁剪数据插入对应的字段中；数据查询模块，用于根据接收到的查询请求进行数据提取，并反馈提取结果。优选的，所述数据处理模块还包括数据缓冲单元；数据缓冲单元用于对所述裁剪数据进行排队处理，并根据排队序列将所述裁剪数据发送给所述数据插入单元。优选的，所述原始数据具有用户ID；所述数据处理模块还包括数据校验单元；数据校验单元，用于根据所述用户ID确定对应私钥，根据所述私钥对所述原始数据进行解密，并根据解密后数据和预设明文数据进行对比处理；当对比结果不一致时，所述数据校验单元生成告警信息。本专利技术实施例提供的数据共享方法及系统，建立数据共享管理机制，实现多用户的环境下共用相同的系统或者程序组件，不仅能够保证各用户之间数据的隔离，还能够保证数据使用过程中的安全性。附图说明图1为本专利技术实施例提供的数据共享系统的结构示意图；图2为本专利技术实施例提供的数据共享方法的流程图。具体实施方式下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。本专利技术提供的数据共享方法及系统，建立数据共享管理机制，实现多用户的环境下共用相同的系统或者程序组件，不仅能够保证各用户之间数据的隔离，还能够保证数据使用过程中的安全性。图1为本专利技术实施例提供的数据共享系统的结构示意图，以下结合图1对本专利技术的数据共享系统进行详述。如图1所示，数据共享系统包括：数据导入模块1、数据处理模块2和数据查询模块3。其中，数据处理模块2包括数据校验单元21、数据清洗单元22、数据转换单元23、数据裁剪单元24、数据缓冲单元25和数据插入单元26。数据导入模块1，用于接收原始数据，原始数据具有用户ID。数据处理模块2，用于对原始处理进行过滤、转换、裁剪和插入处理。数据校验单元21，用于根据原始数据的用户ID确定对应私钥，根据私钥对原始数据进行解密，并根据解密后数据和预设明文数据进行对比处理。当对比结果不一致时，数据校验单元21生成告警信息。数据清洗单元22，用于对原始数据进行数据过滤处理，得到过滤数据。数据转换单元23，用于根据过滤数据进行数据格式转换处理，得到标准格式数据。数据裁剪单元24，用于根据标准格式数据确定所属的字段，根据字段对标准格式数据进行裁剪处理，得到裁剪数据。数据缓冲单元25用于对裁剪数据进行排队处理，并根据排队序列将裁剪数据发送给数据插入单元26。数据插入单元26，用于根据位置ID将裁剪数据插入对应的字段中。数据查询模块3，用于根据接收到的查询请求进行数据提取，并反馈提取结果。图2为本专利技术实施例提供的数据共享方法的流程图，如图2所示，本专利技术的数据共享方法包括以下步骤。步骤101，数据导入模块接收原始数据；具体的，原始数据具有用户ID、时间数据。用户ID可以理解为登录数据共享系统的账号。在优选的方案中，为减少用户的误操作、管控用户，设置用户ID的不同级别，并对不同级别的用户进行不同程度地权限限制。在本专利技术实施例中，原始数据可以是根据用户的导入操作导入的数据文件，也可以是与外部的数据库实时同步的数据。为减少本专利技术的数据共享系统相对于外部的数据库的延迟时间，对于外部的数据库的每一步操作都会以一条同步数据的形式同步到数据共享系统。数据共享系统根据本文档来自技高网...

【技术保护点】
1.一种数据共享方法，其特征在于，所述数据共享方法包括：/n数据导入模块接收原始数据；/n数据处理模块的数据清洗单元对所述原始数据进行数据过滤处理，得到过滤数据；/n所述数据处理模块的数据转换单元根据所述过滤数据进行数据格式转换处理，得到标准格式数据；/n所述数据处理模块的数据裁剪单元根据所述标准格式数据确定所属的字段，根据所述字段对所述标准格式数据进行裁剪处理，得到裁剪数据；所述裁剪数据具有位置ID；所述位置ID包括数据库ID、数据表ID和字段ID；/n所述数据处理模块的数据插入单元根据所述位置ID将所述裁剪数据插入对应的字段中；/n数据查询模块根据接收到的查询请求进行数据提取，并反馈提取结果。/n

【技术特征摘要】
1.一种数据共享方法，其特征在于，所述数据共享方法包括：
数据导入模块接收原始数据；
数据处理模块的数据清洗单元对所述原始数据进行数据过滤处理，得到过滤数据；
所述数据处理模块的数据转换单元根据所述过滤数据进行数据格式转换处理，得到标准格式数据；
所述数据处理模块的数据裁剪单元根据所述标准格式数据确定所属的字段，根据所述字段对所述标准格式数据进行裁剪处理，得到裁剪数据；所述裁剪数据具有位置ID；所述位置ID包括数据库ID、数据表ID和字段ID；
所述数据处理模块的数据插入单元根据所述位置ID将所述裁剪数据插入对应的字段中；
数据查询模块根据接收到的查询请求进行数据提取，并反馈提取结果。


2.根据权利要求1所述的数据共享方法，其特征在于，在所述数据处理模块的数据裁剪单元根据所述标准格式数据确定所属的字段，根据所述字段对所述标准格式数据进行裁剪处理，得到裁剪数据之后，所述数据共享方法还包括：
所述数据裁剪单元将所述裁剪数据发送给所述数据处理模块的数据缓冲单元；
所述数据缓冲单元对所述裁剪数据进行排队处理，并根据排队序列将所述裁剪数据发送给所述数据插入单元。


3.根据权利要求1所述的数据共享方法，其特征在于，所述原始数据具有用户ID；在数据导入模块接收原始数据之后，所述数据共享方法还包括：
所述数据处理模块的数据校验单元根据所述用户ID确定对应私钥，根据所述私钥对所述原始数据进行解密，并根据解密后数据和预设明文数据进行对比处理；
当对比结果不一致时，所述数据校验单元生成第一报警信息。


4.根据权利要求1所述的数据共享方法，其特征...

【专利技术属性】
技术研发人员：朱奕达，宋伊卉，沈松松，
申请(专利权)人：北京译泰教育科技有限公司，
类型：发明
国别省市：北京;11