基于HDFS的安全存储系统技术方案

基于HDFS的安全的存储系统属于云存储技术领域。随着网络建设的不断发展，数据正在呈爆炸性的增长，而且现在网络攻击手段层出不穷，基于此，如何高效安全的存储这些数据成为一个急需解决的问题。本发明专利技术使用SHA256算法取代CRC32做数据校验，这样碰撞攻击的成功性就会极大的降低；然后，在数据安全性方面，HDFS则没有相关的处理，所以对于网络数据安全的问题，本发明专利技术提出了基于AES算法和RSA算法两种算法相结合的方法来确保数据的保密性，使用AES算法对数据进行加密，然后使用RSA算法对AES的秘钥进行加密，这样不仅提高了数据的安全性，而且在加密速度上并不会耗用太长的时间。实验结果表明，该方法能够有效的实现数据安全的传输以及存储。

Secure storage system based on HDFS

HDFS based secure storage system belongs to the field of cloud storage technology. With the continuous development of network construction, data is explosive growth, and now the network attack method based on this, how to emerge in an endless stream, efficient and safe storage of these data has become an urgent problem. The invention uses the SHA256 algorithm to replace the CRC32 data check, this collision attack success will be greatly reduced; then, in the aspect of data security, HDFS is not related to treatment, so for the network data security problem, the invention provides a method for AES algorithm and RSA algorithm based on the combination of two algorithms to ensure that the confidentiality of data, use the AES algorithm to encrypt the data, and then use the RSA algorithm to the AES secret key encryption, so that it not only improves the security of the data, but also in the encryption speed and does not consume too long. The experimental results show that this method can effectively realize the data transmission and storage.

【技术实现步骤摘要】

本专利技术属于云存储
，涉及一种基于HDFS的安全的存储系统。
技术介绍
在2015年12月的第二届世界互联网大会上，提到在“十三五”时期，中国将大力实施网络强国战略、国家大数据战略、“互联网+”行动计划，可以看到互联网以及大数据的重要性。如今，互联网已经深度介入人们的日常生活，在过去的一年中体现得尤其明显。一提网络，它不光是刷朋友圈、网购商品，还包括因为移动互联网而迎来大发展的数据经济。人们的网络行为会产生海量数据，而对这些数据进行分析会产生巨大的价值，所以对海量数据的存储是非常有必要的。云存储则为数据存储提供了非常便利的条件，它降低了存储海量数据的成本，因为其可以利用非常低廉的服务器，因此，云存储成为了国内外各大云服务商首先发展的一项服务。但是，伴随而来的便是数据安全的问题。Hadoop的云存储系统—HDFS，没有数据加密方面的功能，数据在传输到服务器的过程中往往以明文的形式出现，这在数据安全方面造成了极大的隐患。因此，现在急需一种加入保密算法的云存储系统。在网络环境中，信息安全面临两大基本攻击：被动攻击和主动攻击。对付被动攻击的主要方法是加密和解密技术，而对付主动攻击的方法就是认证技术。所以要实现安全的云存储系统必须同时考虑加密和认证两方面的问题。加密技术是提高网络通信系统的信息保密性，防止网络传输数据泄漏的主要技术手段。目前，广泛使用的两种加密体制是对称密钥加密体制和非对称密钥加密体制。对称密钥加密体制速度快，效率高，是网络通信系统中加密大量数据的行之有效的方法。采用对称密钥加密体制设计网络通信加密方案时，必须考虑到秘钥的安全性。认证技术是提供网络通信系统中通信双方身份和通信内容、过程可信度保证的技术手段。当前，在金融交易、电子商务、电子信件、手机用户信息的确认等领域，网络信息通信比较频繁，数据完整性确认和数据来源的真伪鉴定都是很重要的安全服务。因此，对认证技术的研究和实践是网络信息安全领域的一项重要内容。认证技术的应用主要包括身份认证，消息认证和数字签名。消息认证是验证信息来源和内容的基本技术，主要解决数据在通信和存储过程中的完整性问题，以确保信息不受非法攻击和篡改。所以不难看出，消息认证是认证技术最主要的应用，它对网络通信安全具有至关重要的意义，是网络信息安全领域中非常值得关注和研究的问题。
技术实现思路
针对现有HDFS无法保障用户数据的安全问题，本专利技术公开了一种改进的AES算法，本专利技术还公开了一种云存储加密方法，同时还公开了一种云存储数据完整性认证的方法，本专利技术还公开了结合加密方法和完整性认证相对应的云存储系统。通过上述方法，对传输的数据进行处理，极大的保证了数据的安全性。本专利技术的技术方案如下：本专利技术公开了一种云存储加密系统，其具体包括云存储安全客户端和云存储服务器端；所述云存储安全客户端用于在客户端上定义秘钥种子，根据秘钥种子得到对称加密算法的秘钥，然后通过对称加密算法的秘钥为文件进行加密，形成加密的用户文件。之后客户端接收服务器端传输过来的会话密钥，通过该会话密钥对对称加密算法的秘钥进行加密，形成对称加密算法的秘钥的密文形式，以便于安全的为服务器端传输；所述云存储服务器端用于与服务器端进行连接，连接成功后，服务器端为客户端传输会话密钥，也就是非对称加密算法的公钥或是私钥。更进一步地，上述文件对称加密算法采用改进的AES算法，非对称加密算法采用RSA算法，客户端和服务器端的连接采用Socket方法。1.其中AES算法涉及到4种操作：字节代换、行移位、列混淆和轮密钥加，其特征在于：字节代换是通过S盒完成一个字节到另外一个字节的映射，将S盒用一个16x16的字节组成的矩阵来表示，通过查表即可实现该步骤。2.如权利要求3所述的系统，对于行移位和列混淆这两个步骤合并为一个操作步骤；设经过字节代换后的状态为经过行移位和列混淆变换后的状态为那么，矩阵中的每个元素的计算过程如下：由此，将其写成一个向量变换的形式为在此计算过程中，只涉及到与运算，运算通过左移一位实现，运算通过后再与本身进行⊕实现；运算将明文分组后的16个字节循环左移一位，运算先将明文分组后的16个字节循环左移一位，之后再与本身数据进行异或操作。AES加密过程涉及到4种操作：字节代换、行移位、列混淆和轮密钥加，以AES-128为例，要进行10轮的轮变换，除了最后一轮不进行列混淆以外，其余前9轮都一次进行了4个变换，本专利技术针对其加密过程进行优化，目的是提高AES算法的加密速度。首先是对字节代换的优化，字节代换的主要功能是通过S盒完成一个字节到另外一个字节的映射，不同于固有的实现方式(由字节在GF(2N)域中求其乘法逆并外加一个仿射变换实现)，由于该步骤是一种非线性面向字节的变换，是将一个8位二进制数据转换为另一个不同的8位二进制数据，这里要求一一对应，具体实现时，将S盒用一个16x16的置换表来表示，通过查表即可实现该步骤，避免了复杂的乘法运算。本专利技术公开了一种云存储数据完整性认证的系统，其具体包括云存储安全客户端和云存储服务器端；所述云存储安全客户端用于在客户端上允许用户选定需要传送到服务器端的文件，使用哈希算法对该文件进行处理，以形成该文件的哈希值。之后，利用之前所得到的服务器端传输过来的会话密钥，对刚才形成的文件的哈希值进行加密，形成一个经过非对称加密算法处理过的哈希值，以保证在传输到服务器的过程中的安全性。所述云存储服务器端用于在服务器端每次在接收用户文件后，对其计算哈希值。然后通过与客户端发来的哈希值进行比较来验证消息的完整性，若验证成功，保存文件并上传至HDFS，若验证失败，则丢弃文件。本文还公开了一种结合云存储加密方案和云存储数据完整性认证方案的云存储安全系统。用户在云存储安全客户端上选定需要传送到服务器端的文件，使用哈希算法对该文件进行处理，以形成该文件的哈希值。之后，用户在云存储安全客户端上选择是否定制自己的秘钥种子，客户端根据用户的选择生成对称加密算法的秘钥，并且使用对称加密算法的秘钥对用户要上传的文件进行加密，形成一个加密的用户文件。随后，云存储安全客户端与云存储服务器端进行连接，连接成功后，服务器端为客户端传输会话秘钥。这时，云存储安全客户端接收服务器端传输过来的会话密钥，使用该会话密钥对对称加密算法的秘钥进行加密，形成对称加密算法的秘钥的密文文件，以便于安全的为服务器端传输。同时，云存储安全客户端通过该会话密钥对该文件的哈希值进行加密，形成哈希值的密文文件。此时将加密的用户文件、对称加密算法的秘钥的密文和哈希值的密文文件压缩为一个压缩包，将此压缩包通过云存储安全客户端上传到云存储服务器端。在云存储服务器端，每次在接收客户端传送过来的压缩包后，解压此压缩包，并且使用非对称加密算法的私钥或公钥对对称加密算法的秘钥的密文和哈希值的密文文件进行解密，得到对称加密算法的秘钥以及用户文件的哈希值。之后使用对称加密算法的秘钥对加密的用户文件进行解密，得到明文的文件，再使用哈希算法对明文的文件计算哈希值，通过与客户端发来的哈希值进行比较来验证消息的完整性。对两次的哈希值进行比较，若相匹配，则验证成功，保存文件并上传至HDFS，否则丢弃用户上传的文件。通过采用以上的技术方案，本专利技术的优势在于：本方法采用基于完整性和本文档来自技高网...

【技术保护点】
一种云存储加密系统，包括云存储安全客户端和云存储服务器端；其特征在于：所述云存储安全客户端用于在客户端上定义秘钥种子，根据秘钥种子得到对称加密算法的秘钥，然后通过对称加密算法的秘钥为文件进行加密，形成加密的用户文件；之后客户端接收服务器端传输过来的会话密钥，通过该会话密钥对对称加密算法的秘钥进行加密，形成对称加密算法的秘钥的密文形式，以便于安全的为服务器端传输；所述云存储服务器端用于与服务器端进行连接，连接成功后，服务器端为客户端传输会话密钥，也就是非对称加密算法的公钥或是私钥。

【技术特征摘要】
1.一种云存储加密系统，包括云存储安全客户端和云存储服务器端；其特征在于：所述云存储安全客户端用于在客户端上定义秘钥种子，根据秘钥种子得到对称加密算法的秘钥，然后通过对称加密算法的秘钥为文件进行加密，形成加密的用户文件；之后客户端接收服务器端传输过来的会话密钥，通过该会话密钥对对称加密算法的秘钥进行加密，形成对称加密算法的秘钥的密文形式，以便于安全的为服务器端传输；所述云存储服务器端用于与服务器端进行连接，连接成功后，服务器端为客户端传输会话密钥，也就是非对称加密算法的公钥或是私钥。2.如权利要求1所述的系统，其特征在于：对称加密算法采用AES算法，非对称加密算法采用RSA算法，客户端和服务器端的连接采用Socket方法。3.如权利要求2所述的系统，其中AES算法涉及到4种操作：字节代换、行移位、列混淆和轮密钥加，其特征在于：字节代换是通过S盒完成一个字节到另外一个字节的映射，将S盒用一个16x16的字节组成的矩阵来表示，通过查表即可实现该步骤。4.如权利要求3所述的系统，对于行移位和列混淆这两个步骤合并为一个操作步骤；设经过字节代换后的状态为S=s0s1s2s3s4s5s6s7s8s9s10s11s12s13s14s15]]>经过行移位和列混淆变换后的状态为S′=s0′s1′s2′s3′s4′s5′s6′s7′s8′s9′s10′s11′s12′s13′s14′s15′]]>那么，矩阵中的每个元素的计算过程如下：s0′=02s0+03s5+01s10+01s15s1′=02s1+03s6+01s11+01s12s2′=02s2+03s7+01s8+01s13s3′=02s3+03s4+01s9+01s14s4′=01s0+02s5+03s10+01s15s5′=01s1+02s6+03s11+01s12......s14′=03s2+01s7+01s8+02s13s15′=03s3+01s4+01s9+02s14]]>由此，将其写成一个向量变换的形式为s0′s1′s2′s3′s4′s5′s6′s7′s8′s9′s10′s11′s12′s13′s14′s15′=0200000000030000000001000000000100020000000003000000000101000000000002000000000301000000000100000000000203000000000100000000010001000000000200000000030000000001000100000000020000000003010000...

【专利技术属性】
技术研发人员：谢航，肖创柏，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11