一种基于MapReduce的云存储批量审计方法技术

本发明专利技术公开了一种基于MapReduce的云存储批量审计方法，用户将本地文件初始化处理；当用户需要验证自己外包数据的完整性时，向TPA发出请求；TPA每收到一个用户的请求就向云存储服务器进行挑战，云存储服务器返回对应文件验证所需的证据；TPA收到证据之后验证数据的完整性； TPA每隔一段时间将这个时间段的收到的验证证据聚集起来对数据本身进行一次统一验证；本发明专利技术能在批量审计失败情况下，大大提高批量审计的效率，并且解决了集中式审计系统适应性差的问题，体现了分布式审计系统良好的可用性。

【技术实现步骤摘要】

本专利技术属于云存储和数据完整性验证
，涉及一种云存储批量审计方法， 具体涉及。
技术介绍
云计算是下一代IT企业架构，但是云计算的安全问题阻碍了其大规模应用，其中 一个主要的挑战是远程公开地对不可信的云存储服务器上的用户数据进行完整性检验。然 而由于用户有限的资源、专业能力和计算能力，所以需要引入第三方审计，代替用户执行数 据完整性检验。然而，如果第三方审计运行效率低下，用户所要求验证的数据完整性反馈速 度较慢，这是云计算用户很难接受的；此外，如果第三方审计的可用性较差，出现崩溃，无法 连接等问题，是云计算用户绝对不能接受的。因此第三方审计TPA(Third Party Auditor) 的运行效率和是否具有良好可用性，成为用户是否选择使用云计算的重要因素。 当前针对云环境下用户数据完整性的验证问题，不少学者已经有了一些研究。 2007 年，Ateniese 等人在"Provable data possession at untrustedstores"文中第一次 定义公开可验证的数据持有证明（PDP)模型来实现公开可验证数据完整性特性。这篇文章 利用基于RSA的同态认证技术和随机取样方法，来解决用户需要下载大规模数据再验证其 正确性所导致的巨大通信代价，然而他们没有考虑到云环境下数据的海量性，RSA签名对于 大数据验证所产生的代价是非常大的；与此同时，Juels等人提出一种可选择性模型一一数 据可检索性证明（P0R)，使用点抽查和纠错码的方式来保证服务器对数据的拥有性和用户 对数据的可取回性。然而，由于秘钥个数的局限性导致挑战验证次数的有限性，用户经过一 定次数的验证之后，需要下载数据重新标记签名。在这之后，Shacham等在"Compact Proofs of Retrievability"中基于BLS同态认证技术实现了公开可验证性，使用了同态认证 (homomorphic authenticators)缩减了通信开销，并且挑战次数是无限的。2009年，Wang 等人在"Enabling public verifiability and data dynamics for storage security in cloud computing"中结合双线性聚合签名的特性将完整性验证扩展到多用户环境中，实现 TPA批量审计；批量审计能将不同用户的不同数据的签名聚集到一个签名上，对整体一个 签名的完整性验证如果通过，那么说明所有包含的数据完整性都得到保护，这样就大大提 高了可信第三方审计TPA的审计效率。然而，如果聚集签名的验证失败，为了找出问题的数 据，Wang在文章中所说的采用二分查找的方法可以提高查找效率，但是如果出问题的数据 不止一个，还是不得不像以前一样，一个签名一个签名的验证，效率依然非常低；此外，TPA 采用的是集中式系统验证，一旦出现崩溃现象，云用户的请求将会搁置，这是云用户所不能 容忍的。 综上所述，当前关于云存储中数据完整性验证的研究，可信第三方TPA的验证效 率不是那么令人满意，而且没有一种方法提出分布式的审计系统，来提高可信第三方审计 TPA的可用性。
技术实现思路
针对现有技术的缺陷，本专利技术提供了一种基于MapReduce的云存储批量审计方 法，其能在批量审计失败情况下，大大提高批量审计的效率，并且解决了集中式验证适应性 差的问题，体现了 TPA审计系统的良好可用性。 本专利技术解决其技术问题所采用的技术方案是，一种基于MapReduce的云存储批量 审计方法，其特征在于，包括以下步骤： 步骤1、初始化：每个用户首先初始化自己的公私钥，将需要外包到云存储服务器 的数据进行分块，利用私钥对每个分块进行BLS签名，用户将文件标签、文件的分块和分块 的签名发送到云存储服务器存储；用户根据一个文件初始化一个Merkle Hash Tree，并用 私钥加密该Merkle Hash Tree的根，用户将该Merkle Hash Tree和加密后的根发送至可 信第三方审计TPA (Third Party Auditor)端进行存储； 步骤2、请求验证完整性：不同用户能同时向第三方审计TPA请求验证外包数据的 完整性，不同用户将待验证文件的文件标签发送至第三方审计TPA ; 步骤3、挑战：第三方审计TPA端每接到一个用户的请求，就向云存储服务器发送 一个挑战，要求返回验证所需的参数，挑战内容包括文件标签和第三方审计TPA为每个审 计任务产生的随机值；第三方审计TPA将文件标签及审计任务所需随机值发送至云存储服 务器进行挑战； 步骤4、提供证据：云服务器收到一个挑战，就对应产生一个证据，证据内容包 括文件标签和审计任务所需的验证参数，其中验证参数包括数据块的线性组合〇、聚集 签名y和数据块的哈希值其中i是文件块的序号，若文件被分为n±夬，则 i G ，而 e 是第三方审计TPA的随机挑战序号，云存储服务器需要返回被挑 战数据块的哈希值； 步骤5、数据完整性验证：第三方审计TPA收到证据之后，首先验证Merkle Hash Tree的完整性是否遭到破坏；然后验证数据本身的完整性是否遭到破坏； 步骤6、批量审计：第三方审计TPA每隔一段预设时间收集一次云存储服务器发送 的证据，对数据进行一次统一验证。 作为优选，步骤2的具体实现包括以下子步骤： 步骤2. 1 :用户通过本地保留的文件标签，找到需要验证完整性的文件； 步骤2. 2 :用户将待验证数据的文件标签发送至第三方审计TPA。 作为优选，步骤4的具体实现包括以下子步骤： 步骤4. 1 :云存储服务器收到第三方审计TPA发送的挑战，根据文件标签找到待验 证的文件； 步骤4. 2 :通过待验证的文件、文件的签名及审计任务随机数计算数据块的线性 组合。、聚集签名y和数据块的哈希值。，作为验证所需证据； 步骤4. 3 :云存储服务器将证据返还至第三方审计TPA。 作为优选，步骤5的具体实现包括以下子步骤： 步骤5. 1 :第三方审计TPA收到证据之后，首先利用本地MerkleHashTree提供 的辅助验证信息AAI(包括MerklrHashTree中没有被挑战到的数据块的哈希值和中间节 点的哈希值）、加密的根和数据块的哈希值HOiOsl <; 。计算出一个新MerkleHashTree 的根； 步骤5. 2 :第三方审计TPA将新的Merkle Hash Tree的根与步骤1中加密的根进 行比较，验证Merkle Hash Tree的完整性是否遭到破坏； 若验证失败，返还FASLE，本流程结束； 否则，执行下述步骤5. 3 ; 步骤5. 3 :第三方审计TPA利用公钥以及数据块的线性组合〇和聚集签名y验 证数据的完整性是否遭到破坏； 如果验证通过，返还TRUE，本流程结束；否则，返还FASLE，本流程结束。 作为优选，步骤6的具体实现包括以下子步骤： 步骤6. 1 :第三方审计TPA每隔一段预设时间收集一次云存储服务器发送的证 据； 步骤6. 2 :利用BLS签名的同态认证特性，第三方审计TPA将这段时间内收集到的 证据所对应的文件签名聚集成一个签名； 步骤6. 3 :第三方审计TPA利用公私钥及证据验证聚集签名本文档来自技高网...

【技术保护点】
一种基于MapReduce的云存储批量审计方法，其特征在于，包括以下步骤：步骤1、初始化：每个用户首先初始化自己的公私钥，将需要外包到云存储服务器的数据进行分块，利用私钥对每个分块进行BLS签名，用户将文件标签、文件的分块和分块的签名发送到云存储服务器存储；用户根据一个文件初始化一个Merkle Hash Tree，并用私钥加密该Merkle Hash Tree的根，用户将该Merkle Hash Tree和加密后的根发送至可信第三方审计TPA(Third Party Auditor)端进行存储；步骤2、请求验证完整性：不同用户能同时向第三方审计TPA请求验证外包数据的完整性，不同用户将待验证文件的文件标签发送至第三方审计TPA；步骤3、挑战：第三方审计TPA端每接到一个用户的请求，就向云存储服务器发送一个挑战，要求返回验证所需的参数，挑战内容包括文件标签和第三方审计TPA为每个审计任务产生的随机值；第三方审计TPA将文件标签及审计任务所需随机值发送至云存储服务器进行挑战；步骤4、提供证据：云服务器收到一个挑战，就对应产生一个证据，证据内容包括文件标签和审计任务所需的验证参数，其中验证参数包括数据块的线性组合σ、聚集签名μ和数据块的哈希值H(mi)s1≤i≤sc，其中i是文件块的序号，若文件被分为n块，则i∈[1,n]，而是第三方审计TPA的随机挑战序号，云存储服务器需要返回被挑战数据块的哈希值；步骤5、数据完整性验证：第三方审计TPA收到证据之后，首先验证Merkle Hash Tree的完整性是否遭到破坏；然后验证数据本身的完整性是否遭到破坏；步骤6、批量审计：第三方审计TPA每隔一段预设时间收集一次云存储服务器发送的证据，对数据进行一次统一验证。...

【技术特征摘要】

【专利技术属性】
技术研发人员：金瑜，严冬，王娅丹，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：湖北;42