一种基于新型卷积数据安全保护方法技术

本发明专利技术涉及大数据处理技术领域，具体涉及一种基于新型卷积数据安全保护方法，通过构造计算任务调度安全验证算法设计新型YARN安全框架；将改进的CMHT引入所述的安全框架中，得到YARN数据安全保护框架。在混合云环境中私有云为可信的假设下，基于所述YARN数据安全保护框架在任务调度过程中，对计算数据的中间结果和最终结果分别进行验证，该方法先对计算数据构建成CMHT，并将其生成的Root值发送到私有云节点，作为初始数据记录的证明，私有云节点再根据随机采样的挑战数据向公有云节点发出计算数据的验证请求，检验任务执行过程数据的正确性和完整性，所述YARN数据安全保护框架只增加了少量额外计算开销，不影响Hadoop平台的处理效率。理效率。理效率。

【技术实现步骤摘要】
一种基于新型卷积数据安全保护方法


[0001]本专利技术涉及大数据处理
，尤其涉及一种基于新型卷积数据安全保护方法。

技术介绍

[0002]随着互联网服务的多样化和全球数据量以指数级增长，大数据技术在各行各业的应用愈发广泛。将数据计算和存储任务迁移到云计算平台，以提高效率和降低成本。但是，由于云计算生态系统的稳定性和可靠性不足，导致计算数据被篡改、用户数据泄露等问题频发，已引起工业界和学术界的高度重视。
[0003]YARN(Yet Another Resource Negotiator，另一种资源协调者)作为Hadoop2.0生态系统的重要核心，负责资源管理和调度以及监控运行在其上的各种计算引擎，如MapReduce、Spark、Storm、MPI等。从而可以降低系统架构的耦合性，提升大数据处理的效率，却仍无法避免恶意节点篡改数据、导致最终计算结果出错等问题。
[0004]目前，已经出现了许多保障数据完整性的技术手段，通过数据完整性检验技术的手段可以确保计算数据的完整性，其中，常见的计算数据安全验证方法为基于MHT(Merkle Hash Tree，Merkle哈希树)方法。MHT是一种哈希树的数据结构，主要的作用是确保数据的完整性，其高效性、安全性和可扩展性等优点而被广泛应用。由于MHT是一种二叉平衡树，当需要验证大量计算数据的完整性时所构造验证树的额外计算开销虽然比数字签名方法有所降低。
[0005]但是在构造MHT的过程中需要大量的额外计算和存储开销，存在计算数据验证效率低的问题，从而导致系统整体性能下降。

技术实现思路

[0006]本专利技术的目的在于提供一种基于新型卷积数据安全保护方法，旨在解决传统数据完整性验证方法需大量的额外计算开销，降低计算任务验证的效率，从而影响系统的性能问题。
[0007]为实现上述目的，本专利技术提供了一种基于新型卷积数据安全保护方法，包括以下步骤：
[0008]通过构造计算任务调度安全验证算法设计新型YARN安全框架；
[0009]将改进的CMHT引入所述安全框架中，得到新型的高效YARN数据安全保护框架；
[0010]在混合云环境中私有云为可信的假设下，基于所述数据安全保护框架在任务调度过程中，对计算数据的中间结果和最终结果分别进行验证。
[0011]其中，所述安全保护框架需要一个可信的环境执行验证计算，因此在混合云环境上的私有云必须是可信的；所述安全保护框架在验证过程中需要对采集数据重新计算，而随机算法会导致两次计算结果不一致，因此计算引擎算法必须是确定的；在Application Master节点分发计算任务前，将会随机采样部分计算数据进行验证。
[0012]其中，所述的基于新型卷积数据安全保护方法需要由检查者与证明者来完成，分别由私有云上的AM节点和公有云上的工作节点承担；证明者将待处理的数据构建成CMHT，并将生成的验证树根值发送给检查者；证明者在处理完任务后，根据检查者发出的验证请求生成相应的验证路径，并将路径相应给检查者；检查者接收到验证路径后依次对计算数据进行验证。
[0013]其中，所述的高效YARN数据安全保护框架的主节点和验证节点均部署在可信的私有云环境上，数据验证者将在任务调度的过程中对计算数据进行验证。
[0014]其中，所述的高效YARN数据安全保护框架在任务调度的过程中进行计算数据的验证；为了确保任务计算过程的可追溯性，将对任务的中间处理结果和最终的处理结果进行两次验证；执行任务计算的容器通过改进的CMHT生成证明根值，并返回给AM节点以作为初始数据记录的证明；AM通过随机采集的计算数据验证相应处理过程中是否保持数据完整性。
[0015]本专利技术的一种基于新型卷积数据安全保护方法，通过构造计算任务调度安全验证算法设计新型YARN安全框架；将改进的CMHT引入所述安全框架中，得到一种新型的高效YARN数据安全保护框架；在混合云环境中私有云为可信的假设下，基于所述数据安全保护框架在任务调度过程中，对计算数据的中间结果和最终结果分别进行验证；该方法先对计算数据构建成CMHT，并将其生成的Root值发送到私有云节点，作为初始数据记录的证明；私有云节点再根据随机采样的挑战数据向公有云节点发出计算数据的验证请求，检验任务执行过程数据的正确性和完整性，实现YARN调度任务程序的高度可靠性；该YARN数据安全保护框架只增加了少量额外计算开销，并不影响Hadoop平台的处理效率，不仅解决了计算数据被篡改而破坏其数据完整性的问题，并解决传统数据完整性验证方法需大量的额外计算开销，降低计算任务验证的效率，从而影响系统的性能问题。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本专利技术提供的一种基于新型卷积数据安全保护方法的流程图。
[0018]图2是本专利技术引入的新型Yarn安全保护框架结构图。
[0019]图3为本专利技术引入的CMTH结构图。
[0020]图4为本专利技术中MapReduce程序验证的详细过程图。
[0021]图5为本专利技术中Map验证阶段的工作流程图。
[0022]图6为本专利技术中Reduce验证阶段的工作流程图。
[0023]图7为本专利技术在真实集群上监测系统CPU使用率的实验图。
[0024]图8为本专利技术在真实集群上监测系统内存使用率的实验图。
[0025]图9为本专利技术在真实集群上监测系统磁盘使用率的实验图。
[0026]图10为本专利技术在真实集群上监测系统网络读速率的实验图。
[0027]图11为本专利技术在真实集群上监测系统网络写速率的实验图。
具体实施方式
[0028]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0029]请参阅图1至图11，下文对本专利技术的介绍将以大数据的经典计算模型MapReduce为例展开介绍；本专利技术提供一种基于新型卷积数据安全保护方法，包括以下步骤：
[0030]S1通过构造计算任务调度安全验证算法设计新型YARN安全框架。
[0031]具体的，所述的新型YARN安全保护框架需要一个可信的环境执行验证计算，因此在混合云环境上的私有云必须是可信的；该框架在验证过程中需要对采集数据重新计算，而随机算法会导致两次计算结果不一致，因此计算引擎算法必须是确定的；在AM节点分发计算任务前，将会随机采样部分计算数据进行验证。如图2所示，由于私有云上的资源有限，所以只将验证节点部署在私有云，而其他计算节点将部署在拥有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于新型卷积数据安全保护方法，其特征在于，包括以下步骤：通过构造计算任务调度安全验证算法设计新型YARN安全框架；将改进的CMHT引入所述安全框架中，得到新型的高效YARN数据安全保护框架；在混合云环境中私有云为可信的假设下，基于所述数据安全保护框架在任务调度过程中，对计算数据的中间结果和最终结果分别进行验证。2.如权利要求1所述的一种基于新型卷积数据安全保护方法，其特征在于，所述安全保护框架需要一个可信的环境执行验证计算，因此在混合云环境上的私有云必须是可信的；所述安全保护框架在验证过程中需要对采集数据重新计算，而随机算法会导致两次计算结果不一致，因此计算引擎算法必须是确定的；在ApplicationMaster节点分发计算任务前，将会随机采样部分计算数据进行验证。3.如权利要求1所述的一种基于新型卷积数据安全保护方法，其特征在于，所述的基于新型卷积数据安全保护方法需要由检查者与证明者来完成，分别由私...

【专利技术属性】
技术研发人员：邓钧忆，刘培浩，邓基凯，吴名帅，潘德儒，罗道杰，
申请(专利权)人：广西科技大学，
类型：发明
国别省市：