一种云存储安全去重方法和系统技术方案

本发明专利技术提供一种云存储安全去重方法和系统，所述方法包括：用户终端对文件进行分块预处理以形成数据块；向第三方服务器发送权限验证请求，并由部署在第三方服务器上权限查询用的布鲁姆过滤器查询对应用户的权限；判断权限对应的K位哈希函数是否全为1，若全为1，则权限查询通过；选择对应的权限密钥生成权限标签并发放给用户终端；由用户终端持权限标签在数据去重用的动态布鲁姆过滤器阵列中进行重复性检测，当用户终端在动态布鲁姆过滤器阵列中遍历后，未发现有重复时则证明数据块为一个新数据块；然后用户终端即可采用收敛密钥对数据块加密生成密文，并上传至云存储服务器。本发明专利技术实现了对重复数据块的快速检测和基于所有权的安全去重。

A cloud storage security de duplication method and system

【技术实现步骤摘要】
一种云存储安全去重方法和系统
本专利技术涉及云存储
，尤其涉及一种云存储安全去重方法和系统。
技术介绍
随着云计算技术的快速发展，越来越多的用户选择将数据外包给云服务提供商。据IDC分析，云存储空间预计在2020年达到44ZB，如何有效地缩减存储空间已成为当今的研究热点。数据去重技术为最小化存储容量提供了一种有效的解决方法，它能够自动搜索重复数据，将所有相同的数据只保留一个副本，使系统中实际存储的数据呈几何级别递减。在传统的存储系统中，数据均以明文形式存储，用户完全拥有其所有权与管理权，数据去重相关技术比较成熟，并已经取得了较多的研究成果，如相同数据的重复性检测和相似数据的重复性检测等。然而，在云存储系统中，数据去重存在以下挑战：(1)数据常以密文形式存储，不同的密钥加密相同的明文会生成不同的密文；(2)数据的管理权与所有权分离，用户失去了对数据的绝对控制权，始终会对数据的安全表示担忧；(3)云端数据的带宽资源和计算资源相当宝贵，如何高效低开销地实现重复数据块的检测相当重要。云计算采用虚拟化技术来实现多用户存储资源的按需分配，云存储服务器在多用户之间进行数据重复性检测时，很容易造成用户隐私泄露，如何既实现数据去重又保护用户隐私是亟需解决的一个问题。。
技术实现思路
为了解决上述至少一个技术问题，本专利技术提出了一种云存储安全去重方法和系统。为了实现上述目的，本专利技术第一方面提出一种云存储安全去重方法，所述方法包括：所述用户终端对文件F进行分块预处理并形成数据块Fi，预处理方式为：F＝(F1,F2,F3...Fi)；所述用户终端向第三方服务器发送权限验证请求，并由部署在所述第三方服务器上权限查询用的布鲁姆过滤器查询对应用户的权限SU；判断所述权限SU对应的K位哈希函数是否全为1，若全为1，则权限查询通过；否则要求所述用户终端证明文件F的所有权，证明通过后更新布鲁姆过滤器，将所述权限SU对应的K位哈希函数全置为1；待权限查询通过后，选择对应的权限密钥生成权限标签并发放给所述用户终端；由用户终端持所述权限标签φi在数据去重用的动态布鲁姆过滤器阵列中按行的方式进行重复性检测，当发现有重复时，发放一个存储指针给所述用户终端，并分配相应的权限，不再上传数据块Fi到云存储服务器；当用户终端在所述动态布鲁姆过滤器阵列中遍历后，未发现有重复时则证明所述数据块Fi为一个新数据块；所述用户终端随机选取r∈Zq作为盲化因子，对收敛密钥Ki进行盲化处理后发送至所述第三方服务器；所述第三方服务器对盲化后的收敛密钥Ki进行二次加密得到Ki'并发送给所述用户终端；所述用户终端对Ki'进行去盲处理得Ki”，采用Ki”对数据块Fi进行加密生成密文，并上传至所述云存储服务器。进一步的，在用户终端向第三方服务器发送权限验证请求之前，所述方法还包括：对权限进行初始化处理，预设权限全集为S，用户总数为N个，每个用户的权限为SU，数据块Fi的访问权限为对布鲁姆过滤器进行初始化处理，将数据块Fi的访问权限通过K个哈希函数映射到权限查询用的布鲁姆过滤器，将每个存储节点的数据块通过K个哈希函数映射到所述动态布鲁姆过滤器阵列对应的布鲁姆过滤器。进一步的，在用户终端向第三方服务器发送权限验证请求之前，所述方法还包括：为权限查询构建一个布鲁姆过滤器，实现权限查询、身份认证；对每个存储节点设计一种动态布鲁姆过滤器DBF，实现数据去重，所述动态布鲁姆过滤器DBF根据集合元素规模，由若干标准子过滤器动态构成，即DBF＝{DBF1，DBF2，DBF3，...DBFt-1，DBFt}；全局构成一个动态布鲁姆过滤器阵列。进一步的，对每个存储节点设计一种动态布鲁姆过滤器DBF，具体包括：初始化标准布鲁姆过滤器，预设单个布鲁姆过滤器误判率为FPR，且FPR＝exp(Kln(1-e-Kn/m))，其中n表示集合S中元素的个数，m表示布鲁姆过滤器的位数，K表示哈希函数的个数，将FPR＝exp(Kln(1-e-Kn/m))进一步转变为设定布鲁姆过滤器误判率的上限为f，根据式计算集合S中元素规模为n1，且创建第一个布鲁姆过滤器向量DBF1；如果n≤n1，将元素映射在第一个布鲁姆过滤器向量DBF1中；如果n＞n1，创建第二个布鲁姆过滤器向量DBF2，且DBF2与DBF1同构，将元素映射在第二个布鲁姆过滤器向量DBF2中；如果n＞2n1，创建第三个布鲁姆过滤器向量DBF3，且DBF3与DBF1同构，将元素映射在第三个布鲁姆过滤器向量DBF3中；如果n＞(t-1)n1，其中创建第t个布鲁姆过滤器向量DBFt，且DBFt与DBF1同构，将元素映射在第t个布鲁姆过滤器向量DBFt中。进一步的，在全局构成一个动态布鲁姆过滤器阵列之后，所述方法还包括：所述动态布鲁姆过滤器DBF在可控范围内能最多表示的元素个数n为：用DFPR(n，n1m，K)表示所述动态布鲁姆过滤器DBF的误判率，最后一个布鲁姆过滤器元素个数为则DFPR(n，n1m，K)可表示为：用GDFPR(n，n1m，K，w)表示动态布鲁姆过滤器阵列PDBFA的误判率，则GDFPR(n，n1m，K，w)＝1-(1-DFPR(n，n1m，K))w，其中w为所述动态布鲁姆过滤器DBF的个数。进一步的，在采用Ki”对数据块Fi进行加密生成密文并上传至所述云存储服务器之后，所述方法还包括：用户终端向所述第三方服务器发出下载数据块Fi的请求，并向所述第三方服务器发送数据块Fi的标签ID和相应的权限SU；所述第三方服务器在动态布鲁姆过滤器中查询是否拥有访问权限，若无，则访问失败，若有，向用户终端发放权限标签φi；所述用户终端接收到权限标签φi并将其发送给云存储服务器；所述云存储服务器根据权限标签φi将对应的密文块Ci和Ki'发送给用户终端；所述用户终端对Ki'进行去盲处理得Ki”，并采用Ki”对密文块Ci进行解密得到数据块进一步的，在对收敛密钥Ki进行盲化处理之前，所述方法还包括：采用哈希函数对数据块Fi进行散列运算处理，以得到收敛密钥Ki。本专利技术第二方面还提出一种云存储安全去重系统，用于实现上述的云存储安全去重方法，所述云存储安全去重系统包括用户终端、云存储服务器和第三方服务器，所述第三方服务器部署有权限查询用的布鲁姆过滤器以及数据去重用的动态布鲁姆过滤器阵列；所述用户终端用于对文件F进行分块预处理并形成数据块Fi，预处理方式为：F＝(F1,F2,F3...Fi)，并向第三方服务器发送权限验证请求；所述第三方服务器用于查询对应用户的权限SU，并判断所述权限SU对应的K位哈希函数是否全为1，若全为1，则权限查询通过；否则要求所述用户终端证明文件F的所有权，证明通过后更新所述权限查询用的布鲁姆过滤器，将所述权限SU对应的K位哈希函数全置为1；待权限查询通过后，选择对应的权本文档来自技高网...

【技术保护点】
1.一种云存储安全去重方法，其特征在于，所述方法包括：/n所述用户终端对文件F进行分块预处理并形成数据块F

【技术特征摘要】
1.一种云存储安全去重方法，其特征在于，所述方法包括：
所述用户终端对文件F进行分块预处理并形成数据块Fi，预处理方式为：F＝(F1,F2,F3...Fi)；
所述用户终端向第三方服务器发送权限验证请求，并由部署在所述第三方服务器上权限查询用的布鲁姆过滤器查询对应用户的权限SU；
判断所述权限SU对应的K位哈希函数是否全为1，若全为1，则权限查询通过；否则要求所述用户终端证明文件F的所有权，证明通过后更新布鲁姆过滤器，将所述权限SU对应的K位哈希函数全置为1；
待权限查询通过后，选择对应的权限密钥生成权限标签并发放给所述用户终端；
由用户终端持所述权限标签φi在数据去重用的动态布鲁姆过滤器阵列中按行的方式进行重复性检测，当发现有重复时，发放一个存储指针给所述用户终端，并分配相应的权限，不再上传数据块Fi到云存储服务器；当用户终端在所述动态布鲁姆过滤器阵列中遍历后，未发现有重复时则证明所述数据块Fi为一个新数据块；
所述用户终端随机选取r∈Zq作为盲化因子，对收敛密钥Ki进行盲化处理后发送至所述第三方服务器；
所述第三方服务器对盲化后的收敛密钥Ki进行二次加密得到Ki'并发送给所述用户终端；
所述用户终端对Ki'进行去盲处理得Ki”，采用Ki”对数据块Fi进行加密生成密文，并上传至所述云存储服务器。


2.根据权利要求1所述的一种云存储安全去重方法，其特征在于，在用户终端向第三方服务器发送权限验证请求之前，所述方法还包括：
对权限进行初始化处理，预设权限全集为S，用户总数为N个，每个用户的权限为SU，数据块Fi的访问权限为
对布鲁姆过滤器进行初始化处理，将数据块Fi的访问权限通过K个哈希函数映射到权限查询用的布鲁姆过滤器，将每个存储节点的数据块通过K个哈希函数映射到所述动态布鲁姆过滤器阵列对应的布鲁姆过滤器。


3.根据权利要求1所述的一种云存储安全去重方法，其特征在于，在用户终端向第三方服务器发送权限验证请求之前，所述方法还包括：
为权限查询构建一个布鲁姆过滤器，实现权限查询、身份认证；
对每个存储节点设计一种动态布鲁姆过滤器DBF，实现数据去重，所述动态布鲁姆过滤器DBF根据集合元素规模，由若干标准子过滤器动态构成，即DBF＝{DBF1，DBF2，DBF3，...DBFt-1，DBFt}；全局构成一个动态布鲁姆过滤器阵列。


4.根据权利要求3所述的一种云存储安全去重方法，其特征在于，对每个存储节点设计一种动态布鲁姆过滤器DBF，具体包括：
初始化标准布鲁姆过滤器，预设单个布鲁姆过滤器误判率为FPR，且FPR＝exp(Kln(1-e-Kn/m))，其中n表示集合S中元素的个数，m表示布鲁姆过滤器的位数，K表示哈希函数的个数，将FPR＝exp(Kln(1-e-Kn/m))进一步转变为
设定布鲁姆过滤器误判率的上限为f，根据式计算集合S中元素规模为n1，且
创建第一个布鲁姆过滤器向量DBF1；
如果n≤n1，将元素映射在第一个布鲁姆过滤器向量DBF1中；
如果n＞n1，创建第二个布鲁姆过滤器向量DBF2，且DBF2与DBF1同构，将元素映射在第二个布鲁姆过滤器向量DBF2中；
如果n＞2n1，创建第三个布鲁姆过滤器向量DBF3，且DBF3与DBF1同构，将元素映射在第三个布鲁姆过滤器向量DBF3中；
如果n＞(t-1)n1，其中创建第t个布鲁姆过滤器向量DBFt，且DBFt与DBF1同构，将元素映射在第t个布鲁姆过滤器向量DBFt中。


5.根据权利要求4所述的一种云存储安全去重方法，其特征在于，在全局构成一个动态布鲁姆过滤器阵列之后，所述方法还包括：
所述动态布鲁姆过滤器DBF在可控范围内能最多表示的元素个数n为：
用DFPR(n，n1m，K)表示所述动态布鲁姆过滤器DBF的误判率，最后一个布鲁姆过滤器元素个数为则DFPR(n，n1m，K)可表示为：
用GDFPR(n，n1m，K，w)表示动态布鲁姆过滤器阵列PDBFA的误判率，则GDFPR(n，n1m，K，w)...

【专利技术属性】
技术研发人员：鄢喜爱，史伟奇，田华，
申请(专利权)人：湖南警察学院，
类型：发明
国别省市：湖南;43