一种基于云计算的高效数据处理方法技术

本发明专利技术提出了一种基于云计算的高效数据处理方法，采用带权二叉树实现对用户文件的验证，所述带权二叉树具体为：所有的叶子结点都是一个文件块的哈希值,同时包含一个权值,所有的叶子结点中,深度小的叶子结点的权值必须不小于比它深度大的叶子结点的权值；而对于非叶子结点,都只包含一个哈希值,这个哈希值是对它的两个子结点的哈希值再次运算求得的哈希值；所述方法包括：(1)存储数据；(2)发起验证请求；(3)生成验证消息；(4)验证。本发明专利技术提出的所述方法提高了数据处理的效率、减少了占用的存储空间。

【技术实现步骤摘要】
一种基于云计算的高效数据处理方法
本专利技术涉及云计算领域，具体涉及一种基于云计算的高效数据处理方法。
技术介绍
随着互联网技术的快速发展，互联网的业务范围也在不断扩大，互联网己经成为人们日常生活中不可或缺的重要组成部分。用户对互联网的使用需求已经从传统的门户网站逐渐转向了高业务量的互联网服务。与此同时，数据呈现出爆炸性的增长，对于互联网服务方来说，新扩展的业务中所需要的存储资源和计算机硬件的成本在不断地提高，数据中心的建设和维护成本在逐年升高，人员管理和资源的消耗也在不断增加。要解决这一系列的问题，必须要建立一个新的平台和处理机制来协调和调度有限的资源，使数据的收集、处理和计算变得更为高效、快捷。正是在这种的情况下，云计算技术应运而生。云计算将计算任务分布在大量廉价计算机所构成的资源池上，并使各种应用系统能够根据需要获取资源池中的计算力、存储空间和各种软件服务的一种新兴的商业计算模型。云计算拥有超大规模、虚拟化、高可靠性、高通用性、高可扩展性、按需服务和极其廉价的特点。云计算的基本原理是使计算从本地或者远程服务器分布在大量的分布式计算机上，而并非本地或者远程服务器上，企业数据中心的运行将与互联网更加相似，这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。云计算不断研究与发展的同时，其核心的技术云存储也被越来越多地被人们所关注。云存储是集群应用、网格技术和分布式文件系统等将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能，它为用户节省了大量成本，因此得到了广泛的支持和应用。用户可以通过服务的方式，按需计量随时随地的使用云存储中丰富的存储资源，从而实现让存储像水和电一样变成一种公用基础设施让用户按需使用，同时还可以为用户提供可靠的安全保证。随着云存储的进一步发展，这一技术的重要性也日趋显现出来，吸引了越来越多的企业和个人，也使得越来越多的应用转而迁移到云存储之上，从而进一步对云存储的安全提出了更加严格的要求。然而，使用云存储的服务意味着用户需要将数据存储到他们所掌控不到的存储设备中去，这些数据甚至可能不在提供云存储的服务方手中，而是在所有用户共同使用的云存储系统中完成，其中必然存在着极大的安全风险。由于数据处于用户的不可控之中，使得用户对云存储的不信任度再度增加。一般认为数据只有在用户自己手里才会觉得是最安全的，所以如何使用户自主的保护敏感数据的机密性和完整性，成为当前云存储环境下用户最为关注的问题。所以在云存储系统的设计中，首先要保证的是数据的安全和可靠，这样才能够吸引更多的互联网用户。否则，一旦发生安全问题可能将导致不可预料的后果。所以，云存储系统设计首先需要解决的问题是用户数据安全的问题，这也是云存储模式能否顺利推广的前提条件。针对用户对数据安全保护的迫切需求，目前主要的研究有：1、针对用户秘密信息的机密性保护。文献提出了一个安全文件存储服务的文件系统框架，利用目前安全的客户端跨域(ClientCross-domain)通信机制的研究成果，给Web服务提供一个独立的文件系统服务，将用户数据的控制权返还给用户，提高了数据的可控性，降低了应用服务器管理用户数据的访问控制策略的压力。2、针对用户秘密信息的完整性保护。有人提出了一个远程完整性检测协议，协议存在服务器端计算量随着文件长度的增加而呈指数增长的问题，而在云存储中，文件种类繁多，数据量大，因此该协议在云存储中适用性差。有人提出了一个提出使用基于RSA的同态哈希函数，实现服务器对于数据持有的完整性证明，协议存在服务器(Alice)的计算量随着密钥的长度的增加成指数增长的问题。以上研究说明：如何有效提高数据块保密性和完整性，保护用户数据的安全是云存储数据安全研究的重点。现有的云计算的安全处理方式存在效率不高、占用存储空间大等问题。
技术实现思路
至少部分的解决现有技术中存在的问题，本专利技术提出一种基于云计算的高效数据处理方法，采用带权二叉树实现对用户文件的验证，所述带权二叉树具体为：所有的叶子结点都是一个文件块的哈希值,同时包含一个权值,所有的叶子结点中,深度小的叶子结点的权值必须不小于比它深度大的叶子结点的权值；而对于非叶子结点,都只包含一个哈希值,这个哈希值是对它的两个子结点的哈希值再次运算求得的哈希值；所述方法包括：(1)存储数据:用户在向云存储服务器存储数据的时候,同时生成验证工作所需的信息,将必要的信息分别存储在第三方和云存储服务器上；首先,用户经由第三方为文件生成数字签名,同时为每一个文件块生成一个文件校验值,然后将文件协同数字签名和校验值一起存储在云存储服务器上，具体过程包括：每个用户为自己生成一对密朗,存储在第三方可信任验证机构，密钥由一个私钥和一个公钥组成；生成随机数x作为私钥,其中x∈Zp，Zp表示元素个数为素数p的有限域{0,1,…,p-1}；同时生成随机数u,计算v＝gx,o＝ux，其中，g是有限域Zp的生成元，以pk＝(v,o,g,u)作为公钥；对于每个用户k，根据每个文件块的哈希值H(mi),以及每个文件块赋予的初始权值Vi,作为一个叶子结点生成一棵所述带权二叉树，然后再根据两个子结点的哈希值,两两求得其父结点的哈希值,迭代求下去,得到所述带权二叉树的根结点的哈希值，然后用用户k的私钥对根结点进行数字签名,生成一个根签名文件sig(Root)，生成了根签名文件以后,将根签名文件、文件块、文件块的签名、每个文件块的权值以及所述带权二叉树的结构信息一起发送到云存储服务器上,可以表示为{(mi,Vi,σi),sig(Root),struc},其中struc表示所述带权二叉树结构相关的信息,可以根据该信息得到所述带权二叉树的结构；同时用户将自己的私钥存储在可信任的第三方验证平台上，云存储服务器根据收到的{(mi,Vi,σi),sig(Root),struc},在云存储服务器端生成一棵所述带权二叉树；(2)发起验证请求:在用户的要求下,或者定期任务下,第三方可信任验证机构向云存储服务器发起验证请求,将验证请求信息发送给云存储服务器；(3)生成验证消息:云存储服务器收到第三方可信任验证机构的验证请求后,根据收到的验证信息,计算出相应的证明信息,然后将证明信息发送给第三方可信任验证机构接受验证；(4)验证:第三方可信任验证机构收到云存储服务器发来的反馈内容以后,结合第(2)步发给云存储服务器的验证请求信息,以及存储在第三方可信任验证机构的用户信息,根据定义的规则验证用户的文件是否正确存储。优选的，步骤(2)包括：第三方可信任验证机构向云存储服务器发送验证请求信息,验证请求信息为一串文件块的序列,同时还要为每个文件块生成一个随机数,用chal表示，chal＝{i,qi},其中i表示文件块的序列号,qi表示生成的随机数。优选的，步骤(3)包括：根据所述带权二叉树的结构struc,把哈希值集合{H(mi)}连同计算根结点哈希值时struc上其他需要的结点的哈希值集合{{Ωj}j∈struc},以及结构struc,一起返回给第三方可信任验证机构，返回的数据表示为{{μk},σ,{Ωj}j∈struc,sig(Root),struc}。优选的，步骤(4)包括：根据结构struc,本文档来自技高网...

【技术保护点】
一种基于云计算的高效数据处理方法，采用带权二叉树实现对用户文件的验证，所述带权二叉树具体为：所有的叶子结点都是一个文件块的哈希值,同时包含一个权值,所有的叶子结点中,深度小的叶子结点的权值必须不小于比它深度大的叶子结点的权值；而对于非叶子结点,都只包含一个哈希值,这个哈希值是对它的两个子结点的哈希值再次运算求得的哈希值；所述方法包括：(1)存储数据:用户在向云存储服务器存储数据的时候,同时生成验证工作所需的信息,将必要的信息分别存储在第三方和云存储服务器上；首先,用户经由第三方为文件生成数字签名,同时为每一个文件块生成一个文件校验值,然后将文件协同数字签名和校验值一起存储在云存储服务器上，具体过程包括：每个用户为自己生成一对密朗,存储在第三方可信任验证机构，密钥由一个私钥和一个公钥组成；生成随机数x作为私钥,其中x∈Zp，Zp表示元素个数为素数p的有限域{0,1,…,p‑1}；同时生成随机数u,计算v＝g

【技术特征摘要】
1.一种基于云计算的高效数据处理方法，采用带权二叉树实现对用户文件的验证，所述带权二叉树具体为：所有的叶子结点都是一个文件块的哈希值,同时包含一个权值,所有的叶子结点中,深度小的叶子结点的权值必须不小于比它深度大的叶子结点的权值；而对于非叶子结点,都只包含一个哈希值,这个哈希值是对它的两个子结点的哈希值再次运算求得的哈希值；所述方法包括：(1)存储数据:用户在向云存储服务器存储数据的时候,同时生成验证工作所需的信息,将必要的信息分别存储在第三方和云存储服务器上；首先,用户经由第三方为文件生成数字签名,同时为每一个文件块生成一个文件校验值,然后将文件协同数字签名和校验值一起存储在云存储服务器上，具体过程包括：每个用户为自己生成一对密朗,存储在第三方可信任验证机构，密钥由一个私钥和一个公钥组成；生成随机数x作为私钥,其中x∈Zp，Zp表示元素个数为素数p的有限域{0,1,…,p-1}；同时生成随机数u,计算v＝gx,o＝ux，其中，g是有限域Zp的生成元，以pk＝(v,o,g,u)作为公钥；对于每个用户k，根据每个文件块的哈希值H(mi),以及每个文件块赋予的初始权值Vi,作为一个叶子结点生成一棵所述带权二叉树，然后再根据两个子结点的哈希值,两两求得其父结点的哈希值,迭代求下去,得到所述带权二叉树的根结点的哈希值，然后用用户k的私钥对根结点进行数字签名,生成一个根签名文件sig(Root)，生成了根签名文件以后,将根签名文件、文件块、文件块的签名、每个文件块的权值以及所述带权二叉树的结构信息一起发送到云存储服务器上,可以表示为{(mi,Vi,σi),sig(Root),struc},其中struc表示所述带权二叉树结构相关的信息,可以根据该信息得到所述带权二叉树的结构；同时用户将自己的私钥存储在可信任的第三方验证平台上，云存储服务器根据收到的{(mi,Vi,σi),sig(Root),struc},在云存储服务器端生成一棵所述带权二叉树；(2)发起验证请...

【专利技术属性】
技术研发人员：许驰，
申请(专利权)人：成都鼎智汇科技有限公司，
类型：发明
国别省市：四川,51