一种基于广域网场景下的多用户的安全的加密去重方法技术

本发明专利技术公开了一种基于广域网场景下的多用户的安全的加密去重方法，发送端将待发送的明文消息进行预处理，再与本地缓存进行比对，替代可去重的信息；发送端建立端到端的可信连接来向接收端传输加密的处理后的信息；接收端收到加密信息，解密得到处理后的信息；接收端与本地局域网的去重代理交互通信，获得可去重的信息的收敛加密的密文，从而解密得到对应的明文信息，再与已收到的未能去重的信息组合得到原始信息。接收端发送端/接收端在每一次传输后与本地局域网的去重代理进行更新同步。本发明专利技术可以应用在加密流量上，既能够减轻广域网传输压力，有效节省广域网带宽，又能保证用户信息的安全性和隐私性。信息的安全性和隐私性。信息的安全性和隐私性。

【技术实现步骤摘要】
一种基于广域网场景下的多用户的安全的加密去重方法


[0001]本专利技术涉及广域网通信的冗余流量消除
，具体而言涉及一种基于广域网场景下的多用户的安全的加密去重方法。

技术介绍

[0002]广域网冗余流量消除系统涉及两个或者多个用广域网链路连接的局域网。此类系统中，每个局域网的边缘均节点部署了一个去重代理(例如网关路由器)。在待发送的信息进入广域网之前，发送端与本地的去重代理合作对信息进行冗余消除。发送端首先依据其数据特征对信息进行分块处理，然后在待发送的信息和已发送的信息中寻找匹配的块。所有已发送的块均存储在去重代理的缓存中，可以称之为字典。字典中同时还存储块所对应的指纹信息。然后信息中每个可匹配的块然后被指纹信息所替代，从而完成消息的去重处理，因此需要通过广域网传输的数据量有效减少。消除广域网流量中的冗余或者重复数据可以提升网络效率，节省带宽，因此对于大型企业，互联网服务提供商和网络设备供应商，冗余流量消除系统的应用价值非常大。
[0003]尽管冗余流量消除系统已经被成功部署应用在未加密的流量，然而将它们应用于加密流量并且支持多用户的去重仍然是非常大的挑战。特别是现有的安全传输协议例如TLS和IPSec均采用端到端加密，这要求信息在进入网络中前已经被发送端加密且只能在离开网络后被接收端解密。在发送端和接收端中间的去重代理只能看到加密后的无意义的字节，没有办法像在未加密的流量中那样寻找匹配的部分。此外，多用户的去重系统使得去重代理的任务更加复杂，因为不仅需要与发送端已发送的信息进行匹配，还需要与其他用户的历史信息进行匹配。
[0004]除了上述问题，在信息的传输过程中，恶意攻击者还可能发动投毒攻击。在一个多用户的冗余流量消除系统中，代理使用全局缓存来执行去重，同时所有的用户参与其中来更新维护该缓存。一个恶意的用户可能在缓存中插入错误的内容来发动投毒攻击，后续的用户在利用缓存中的内容来恢复去重过的信息时将无法得到正确的内容。事实上，局域网中存在大量用户，投毒攻击发生的概率很高而且哪怕只有一个用户被恶意攻击者控制，这也会对所有用户造成系统级的危害。一种简单的想法是发送端在信息上附加错误检测码以便接收端可以检测恢复的信息是否与之一致。然而这并不能解决投毒攻击，因为被篡改的内容仍旧存在于代理的缓存中并且继续影响后续用户。唯一的解决办法是将被篡改的内容从代理缓存中清除，但这也非常困难。具体来讲，用户需要使代理相信缓存中的某块信息被篡改了，同时又不能损害信息的机密性。

技术实现思路

[0005]本专利技术针对现有技术中存在的在广域网传输中存在重复的流量，而现在去重(RE)系统都是在非加密的场景的不足，提供一种基于广域网场景下的多用户的安全的加密去重方法，通过在加密环境下实现跨用户的去重，能够有效实现消息的安全性，同时减少带宽开
销；另外，还使系统能够防御恶意用户的投毒攻击，而这在已有的去重系统中尚未进行过研究。
[0006]为实现上述目的，本专利技术采用以下技术方案：
[0007]一种基于广域网场景下的多用户的安全的加密去重方法，所述加密去重方法包括以下步骤：
[0008]S1，对于每个待发送的原文信息，发送端依据数据特征将原有信息分解为一定量数据块组成的数组；
[0009]S2，针对每个数据块，发送端计算得到对应的密钥和独有的用于区分不同数据块的指纹；
[0010]S3，发送端将每个数据块的指纹与本地缓存中的所有指纹信息进行比对，采用对应的密钥替代可去重的数据块；
[0011]S4，发送端对去重后的数据块进行加密处理后发送至接收端，同时将所有发送数据块对应的<指纹，密文>集合更新至发送端的本地缓存和发送端局域网的去重代理；
[0012]S5，借助接收端局域网的去重代理，接收端结合替代密钥获取去重后的数据块，将获取结果与解密得到的发送端发送的数据块信息融合后，恢复得到原文信息；同时将所有发送数据块对应的<指纹，密文>集合更新至接收端和接收端局域网的去重代理。
[0013]为优化上述技术方案，采取的具体措施还包括：
[0014]进一步地，步骤S1中，所述发送端采用CDC算法依据数据特征将原有信息分解为一定量数据块组成的数组；所述数据块基于内容进行分块，每个数据块的长度在限定的最小值和最大值之间。
[0015]进一步地，步骤S4中，所述发送端上传所有发送数据块对应的<指纹，密文>集合至发送端局域网的去重代理，再将去重代理中的所有指纹信息集合更新至发送端的本地缓存；
[0016]其中，发送端的本地缓存仅通过指纹缓存表以维护发送端所在局域网下所有用户发送或接收的所有数据块对应的指纹信息；发送端的去重代理同时维护前述指纹缓存表和对应的密文表，密文表中存储有指纹缓存表中所有指纹对应的数据块的密文。
[0017]进一步地，步骤S5中，所述接收端将接收到的数据块对应的<指纹，密文>上传至接收端局域网的去重代理，接收端局域网的去重代理整合所有指纹信息集合后将整合结果返回接收端。
[0018]进一步地，步骤S3中，所述发送端将每个数据块的指纹与本地缓存中的所有指纹信息进行比对，采用对应的密钥替代可去重的数据块是指，
[0019]对于每个数据块，发送端检索本地缓存中的指纹表，查看其所对应的指纹是否存储在指纹表中；如果存在匹配的指纹，判定该数据块已经传输过，允许去重，采用步骤S2中生成的与数据块对应的密钥替代原来数据块；如果没有匹配的指纹，则保留原有的数据块。
[0020]进一步地，所述接收端和发送端采用TLS连接。
[0021]进一步地，步骤S5中，所述借助接收端局域网的去重代理，接收端结合替代密钥获取去重后的数据块，将获取结果与发送端发送的数据块融合后，恢复得到原文信息的过程包括以下步骤：
[0022]S51，接收端接收TLS加密后的数据块信息，解密得到步骤S3执行去重后的数据块
对应的密钥；
[0023]S52，针对每个去重后的数据块，接收端根据接收到的密钥计算数据块对应的指纹信息，上传计算得到的指纹信息至接收端局域网的去重代理，使接收端局域网的去重代理返回指纹信息对应的数据块的密文给接收端；
[0024]S53，接收端执行解密得到经过去重处理的数据块，将接收到的密文信息中的密钥替换为对应的数据块，恢复出原有的完整信息。
[0025]进一步地，所述发送端采用收敛加密算法对数据块进行加密。
[0026]进一步地，所述加密去重方法还包括以下步骤：
[0027]S6，接收端采用守卫解密算法来检测密文是否被投毒，利用密钥校验算法来确认当前用户是否诚实用户，并且去除被投毒的密文。
[0028]进一步地，所述加密去重方法还包括以下步骤：
[0029]基于双线性映射的MLEvd加密对数据块进行处理；对于任意一个对称确定加密算法SDE＝(SK，SE，S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于广域网场景下的多用户的安全的加密去重方法，其特征在于，所述加密去重方法包括以下步骤：S1，对于每个待发送的原文信息，发送端依据数据特征将原有信息分解为一定量数据块组成的数组；S2，针对每个数据块，发送端计算得到对应的密钥和独有的用于区分不同数据块的指纹；S3，发送端将每个数据块的指纹与本地缓存中的所有指纹信息进行比对，采用对应的密钥替代可去重的数据块；S4，发送端对去重后的数据块进行加密处理后发送至接收端，同时将所有发送数据块对应的<指纹，密文>集合更新至发送端的本地缓存和发送端局域网的去重代理；S5，借助接收端局域网的去重代理，接收端结合替代密钥获取去重后的数据块，将获取结果与解密得到的发送端发送的数据块信息融合后，恢复得到原文信息；同时将所有发送数据块对应的<指纹，密文>集合更新至接收端和接收端局域网的去重代理。2.根据权利要求1所述的基于广域网场景下的多用户的安全的加密去重方法，其特征在于，步骤S1中，所述发送端采用CDC算法依据数据特征将原有信息分解为一定量数据块组成的数组；所述数据块基于内容进行分块，每个数据块的长度在限定的最小值和最大值之间。3.根据权利要求1所述的基于广域网场景下的多用户的安全的加密去重方法，其特征在于，步骤S4中，所述发送端上传所有发送数据块对应的<指纹，密文>集合至发送端局域网的去重代理，再将去重代理中的所有指纹信息集合更新至发送端的本地缓存；其中，发送端的本地缓存仅通过指纹缓存表以维护发送端所在局域网下所有用户发送或接收的所有数据块对应的指纹信息；发送端的去重代理同时维护前述指纹缓存表和对应的密文表，密文表中存储有指纹缓存表中所有指纹对应的数据块的密文。4.根据权利要求1所述的基于广域网场景下的多用户的安全的加密去重方法，其特征在于，步骤S5中，所述接收端将接收到的数据块对应的<指纹，密文>上传至接收端局域网的去重代理，接收端局域网的去重代理整合所有指纹信息集合后将整合结果返回接收端。5.根据权利要求1所述的基于广域网场景下的多用户的安全的加密去重方法，其特征在于，步骤S3中，所述发送端将每个数据块的指纹与本地缓存中的所有指纹信息进行比对，采用对应的密钥替代可去重的数据块是指，对于每个数据块，发送端检索本地缓存中的指纹表，查看其所对应的指纹是否存储在指纹表中；如果存在匹配的指纹，判定该数据块已经传输过，允许去重，采用步骤S2中生成的与数据块对应的密钥替代原来数据块；如果没有匹配的指纹，则保留原有的数据块。6.根据权利要求1所述的基于广域网场景下的多用户的安全的加密去重方法，其特征在于，所述接收端和发送端采用TLS连接。7.根据权利要求1所述的基于广域网场景下的多用户的安全的加密去重方法，其特征在于，步骤S5中，所述借助接收端局域网的去重代理，接收端结合替代密钥获取去重后的数据块，将获取结果与发送端发送的数据块融合后，恢复得到原文信息的过程包括以下步骤：S51，接收端接收TLS加密后...

【专利技术属性】
技术研发人员：田臣，张渊，张紫薇，
申请(专利权)人：南京大学，
类型：发明
国别省市：