基于区块链的日志管理系统技术方案

本发明专利技术公开了基于区块链的日志管理系统，针对信息系统中日志数据量大，传统的文件存储不足以满足需求，同时日志的高价值性亦需实现文件的安全存储，本发明专利技术通过采用分布式系统架构实现日志文档的存储，通过数据加密来保证数据的机密性；但在分布式存储过程中，用户通常无法控制正在使用的数据存储服务器，这意味着存在数据机密性，数据完整性和数据可用性的风险。区块链技术的出现给日志大数据的管理提供了一条可行的技术路径，区块链具有去中心化，去信任，信息难以篡改等特点，能够有效实现数据的完整性证明。

【技术实现步骤摘要】
基于区块链的日志管理系统
本专利技术属于信息系统中的日志管理领域，特别涉及一种基于区块链的日志数据管理系统。
技术介绍
在信息系统中，每次操作都会留下痕迹，这就是日志，每个日志文档有日志记录组成，每条日志记录描述了一次单独发生的事件。在一个完整的信息系统里面，日志系统是非常重要的功能组成部分。它可以记录下系统所产生的所有行为，并按照某种规范表达出来。随着计算机网络的普及，企业投入了越来越多的网络设备，安全设备在运行中产生大量的运行日志，比如防火墙日志，IDS日志，数据库日志等；在信息系统中也会存在着大量的日志。这些日志的记录对系统监控、查询、安全审计和故障诊断都是十分重要的。安全日志的上述重要特点，导致它往往成为攻击者的攻击对象。攻击者有针对性的修改、删除和伪造日志中的相关记录，即可隐藏起所作所为，同时，信息系统内部的运行日志组织庞大，架构复杂，日志数据量巨大且比较分散，存在日志数据格式多样，数据存储和检索困难，导致大量的日志数据无法被充分利用，数据消费者很难快速从日志中得到有效的信息。通过上述分析，在信息系统中的安全设备日志数据量大，而传统的文件存储或传统数据库等方式已不能满足系统需求；同时安全日志的高价值性又导致了它往往成为攻击者的攻击对象。针对以上问题，本文中将采用分布式系统架构来实现日志文档的存储，但在分布式存储过程中，数据消费者通常无法控制正在使用的数据存储服务器，这意味着存在数据机密性，数据完整性和数据可用性的风险。区块链技术的出现给日志大数据的管理提供了一条可行的技术路径，区块链具有去中心化，去信任，信息难以篡改等特点，能够有效实现数据的完整性证明，另外通过数据加密来保证数据的机密性。
技术实现思路
为了解决信息系统中日志数据的安全存储以及数据保护，本专利技术提出了基于区块链的日志安全存储与管理架构。通过分布式文件存储架构存储日志大数据，并利用加密算法保证数据的机密性。同时区块链具备“去中心化”，“不可篡改”的特点，利用区块链的这一特点，对数据的完整性进行验证，以此来保证数据的完整性。随着信息化程度的不断提高，全球数据日益膨胀。面对当前PB级的海量数据存储需求，传统的存储系统在容量和性能的扩展上存在瓶颈。云存储以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。本专利技术采用云存储的分布式文件存储技术来实现日志大数据的分布式存储。云存储可以分为三类：公共云存储，私有云存储以及混合云存储。公共云服务部署在整个网络拓扑中，安全性较低；私有云通常建立在企业防火墙内部，相应的安全性也更好。综合考虑到安全和性能两个方面，本文采用公共云和私有云结合的混合云模型，私有云负责数据加密、索引构建等安全性高、计算任务不是很大的操作，而公共云负责大规模文档存储、查询处理等负载较大的操作。为了达到本专利技术的目的，本专利技术采用的技术方案为基于区块链的日志管理系统，该系统是构建的一个原型系统，该原型系统由数据所有者，数据消费者模块，公共云以及私有云四部分组成。数据所有者与数据消费者模块之间通过访问控制进行连接，数据所有者分别与公共云以及私有云连接；私有云与公共云连接，数据消费者模块通过查询关键词与私有云连接，公共云通过获取日志记录与数据消费者模块进行连接；公共云为区块链与链下云存储形式。数据所有者(DO)负责日志文档预处理工作，为每个日志文档提取关键词生成日志文档元数据，并将元数据上传至私有云。同时，对源文档进行加密上传至公共云存储平台，并将日志文件的哈希及其密文文档的位置信息存储在区块链中。私有云平台负责对日志文档元数据加密后构建倒排索引，然后将其上传至公共云端的区块链扩展头中；另外，私有云还负责在收到数据消费者的检索词后将检索词加密后提交给公共云端。公共云在收到私有云的加密查询请求之后，根据关键词对应的文件位置信息，去找到相应的文档然后返回给数据消费者。数据消费者(DC)为得到授权的日志管理员，向私有云提交查询关键词，接收来自公共云端的检索结果，解密后供日志管理员进行日志分析处理。与现有技术相比较，本专利技术提出的一种基于区块链的日志管理方案在信息系统中生成大量日志数据的前提下，为了数据消费者提供了一种日志存储检索方案，能够实现日志的安全存储，并对外提供检索接口，同时保证了日志的机密性以及数据完整性。附图说明图1是本专利技术的总体结构示意图。图2是本专利技术存储检索的流程示意图。图3是本专利技术索引结构示意图。图4是本专利技术链式结构示意图。具体实施方式以下将结合附图所示的具体实施方式对本专利技术进行详细描述。图1是本专利技术基于区块链的日志管理的总体结构图，如图1所示，包括数据所有者模块负责日志数据处理工作。所有者模块将加密的日志文档利用加密算法将数据加密后上传至公共云端，为了实现数据完整性验证，将数据哈希及文件位置信息存储在区块链交易记录中；同时，为每个日志文档提取关键词生成文档元数据，并将元数据上传至私有云。私有云平台模块负责构建索引。私有云平台负责对日志文档元数据加密后构建倒排索引，然后将其上传至公共云端的区块链扩展头中；另外，私有云还负责在收到数据消费者的检索词后将检索词加密后提交给公共云端。公共云在收到私有云的加密查询请求之后，根据关键词对应的文件位置信息，去找到相应的文档然后返回给数据消费者。数据消费者模块是指进行日志分析检索的数据消费者。获得数据消费者授权之后，像私有云提交查询关键词，接收来自公共云端的检索结果，解密后供消费者分析处理。图2是存储检索的执行流程示意图，如图2所示，包括：步骤21，获取明文日志文档；步骤22，处理日志文档，得到日志文档元数据；步骤23，加密日志文档元数据，得到密文元数据；步骤24，构建密文倒排索引；步骤25，利用加密算法加密明文日志文档，上传至公共云端；步骤26，数据消费者输入查询关键词；步骤27，对查询关键词进行处理，得到扩展后的查询关键词；步骤28，加密查询关键词集合，并提交至公共云端；步骤29，公共云端根据关键词获取到密文文档；步骤210，数据消费者解密检索到的密文文档，得到明文文档；图3是本专利技术索引结构示意图，如图3所示，包括：由于安全设备中每天产生的日志数量很大，能达到几千条记录，为能快速检索相关日志数据，需要对日志记录的关键条件做索引。对设备IP地址，端口号，协议类型做索引。采用倒排索引表结构，索引构建过程如下：首先获取由数据消费者上传的明文元数据信息，私有云负责将其加密得到密文文档元数据，扫描密文文档元数据，提取关键词，构成密文关键词集合KW＝(KW1,KW2,…,KWn)，KW1,KW2,…,KWn为密文关键词元素；对每一个关键词KWi提取包含该关键词的文档Fi作为一个元组插入索引链表中。索引构建在私有云服务器中进行，私有云将构建好的密文索引文件上传至公共云端，在检索时，由私有云对查询关键词采用同样的加密算法和密钥对关键词进行加密，然后向公共云提交查询请求。图4是本专利技术链式结构示意图，如图4所示，包括：为了实现日志的安全存储以及密文检索，在本专利技术中对区块链头结构做了字段扩展，如图3所示，用于存储文档预处理工作之后加密的倒排索引，当获取到查询请求后，根据键值对信息获取到文件位置信息，从而获取到相关日志文档。区块体是一棵Merkle树，叶子节点由加密日志文档的摘要信息以及日志文档本文档来自技高网...

【技术保护点】
1.基于区块链的日志管理系统，其特征在于：该系统是构建的一个原型系统，该原型系统由数据所有者，数据消费者模块，公共云以及私有云四部分组成；数据所有者与数据消费者模块之间通过访问控制进行连接，数据所有者分别与公共云以及私有云连接；私有云与公共云连接，数据消费者模块通过查询关键词与私有云连接，公共云通过获取日志记录与数据消费者模块进行连接；公共云为区块链与链下云存储形式。

【技术特征摘要】
1.基于区块链的日志管理系统，其特征在于：该系统是构建的一个原型系统，该原型系统由数据所有者，数据消费者模块，公共云以及私有云四部分组成；数据所有者与数据消费者模块之间通过访问控制进行连接，数据所有者分别与公共云以及私有云连接；私有云与公共云连接，数据消费者模块通过查询关键词与私有云连接，公共云通过获取日志记录与数据消费者模块进行连接；公共云为区块链与链下云存储形式。2.根据权利要求1所述的基于区块链的日志管理系统，其特征在于：数据所有者负责日志文档预处理工作，为每个日志文档提取关键词生成日志文档元数据，并将元数据上传至私有云；同时，对源文档进行加密上传至公共云存储平台，并将日志文件的哈希及其密文文档的位置信息存储在区块链中；私有云平台负责对日志文档元数据加密后构建倒排索引，然后将其上传至公共云端的区块链扩展头中；另外，私有云还负责在收到数据消费者的检索词后将检索词加密后提交给公共云端；公共云在收到私有云的加密查询请求之后，根据关键词对应的文件位置信息，去找到相应的文档然后返回给数据消费者；数据消费者为得到授权的日志管理员，向私有云提交查询关键词，接收来自公共云端的检索结果，解密后供日志管理员进行日志分析处理。3.根据权利要求1所述的基于区块链的日志管理系统，其特征在于：基于区块链的日志管理的总体结构包括数据所有者模块负责日志数据处理工作；数据所有者模块将加密的日志文档利用加密算法将数据加密后上传至公共云端，为实现数据完整性验证，将数据哈希及文件位置信息存储在区块链交易记录中；同时，为每个日志文档提取关键词生成文档元数据，并将元数据上传至私有云。4.根据权利要求1所述的基于区块链的日志管理系统，其特征在于：私有云平台模块负责构建索引；私有云平台负责对日志文档元数据加密后构建倒排索引，然后将其上传至公共云端的区块链扩展头中；另外，私有云还负责在收到数据消费者的检索词后将检索词加密后提交给公共云端；公共云在收到私有云的加密查询请求之后，根据关键词对应的文件位置信息，去找到相应的文档然后返回给数据消费者。5.根据权利要求1所述的基于区块链的日志管理系统，其特征在于：数据消费者模块是指进行日志分析检索的数据消费者；获得数据消费者授权之后，像私有云提交查询关键词，接...

【专利技术属性】
技术研发人员：赖英旭，吕建富，黄菊，刘静，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11