文件安全存储和内容保护方法技术

本发明专利技术提供了一种文件安全存储和内容保护方法，该方法包括：接收来自DataNode的划分单元的数据，并将接收到的数据放入以待处理业务名称命名的队列中；基于各待处理业务的优先级开启待处理业务，并将待处理业务发送给DataNode的计算单元；接收来自计算单元的结果数据，并转发给划分单元；所述划分单元，将接收到的数据根据数据块名划分，并将计算结果数据传输给对应的云存储服务器。本发明专利技术提出了一种文件安全存储和内容保护方法，实现了实时变化的大数据集合的高效实时处理。

File security storage and content protection methods

The invention provides a file security storage and content protection method, which includes: receiving data from a division unit of DataNode, placing the received data in a queue named after the service to be processed, opening the service to be processed based on the priority of each service to be processed, and sending the service to be processed to Dat. ANode's computing unit; receives and forwards the result data from the computing unit to the partitioning unit, which partitions the received data according to the data block name and transfers the result of the calculation to the corresponding cloud storage server. The invention provides a method for secure file storage and content protection, which realizes efficient real-time processing of large data sets with real-time changes.

【技术实现步骤摘要】
文件安全存储和内容保护方法
本专利技术涉及云存储，特别涉及一种文件安全存储和内容保护方法。
技术介绍
随着信息技术的飞速发展，大量数据源带来数据规模的爆发式增长，对大数据进行复杂计算已经远远超过单台计算机的处理能力，由此推动了对大数据云计算系统的改进。云计算系统中将需要进行复杂计算的大数据划分成小块后，分交由多台DataNode并行处理，并将局部计算结果整合得出最终结果。然而在异构的大数据环境中，存在实时传输的、持续产生的、非结构化数据。例如传感器实时产生的监控数据，社交网络产生的实时通信数据。面对这些始终变化着的大数据，如果不能对其进行高效率的实时处理，将错过数据块中携带的关键信息。现有的云计算系统无法整合来自多个异构数据源的数据，包括数值计算、数据挖掘和模型预测，实时地给出用户关心的结果，也无法跨不同服务器共享存储资源。即无法满足多路径环境和云计算系统多节点访问存储需求；包括对访问冲突的防止和资源均衡的实现。
技术实现思路
为解决上述现有技术所存在的问题，本专利技术提出了一种文件安全存储和内容保护方法，包括：接收来自DataNode的划分单元的数据，并将接收到的数据放入以待处理业务名称命名的队列中；基于各待处理业务的优先级开启待处理业务，并将待处理业务发送给DataNode的计算单元；接收来自计算单元的结果数据，并转发给划分单元；所述划分单元，将接收到的数据根据数据块名划分，并将计算结果数据传输给对应的云存储服务器；所述计算单元，用于基于开启的待处理业务，对输入数据进行计算，并输出处理之后的数据块。优选地，所述划分单元使DataNode的数据传输和内部的逻辑计算隔离，将输入数据按数据块名划分；根据数据和当前DataNode的待处理业务的关联关系，维护一个针对所有处于就绪状态的待处理业务的分层队列。优选地，每个DataNode还包括数据备份单元，当中心调度节点收到计算单元处理、计算完毕的结果数据时，通过对应的通道发送给数据备份单元，数据备份单元按结果数据名将结果数据保存在刀片磁盘上，按照结果数据和云存储服务器的关联关系，将结果数据发送到以云存储服务器命名的共享内存队列上，由所述划分单元统一发送。优选地，各个单元之间通过显式的进程间通信方法进行信息的共享和复用。本专利技术相比现有技术，具有以下优点：本专利技术提出了一种文件安全存储和内容保护方法，实现了实时变化的大数据集合的高效实时处理。附图说明图1是根据本专利技术实施例的文件安全存储和内容保护方法的流程图。具体实施方式下文与图示本专利技术原理的附图一起提供对本专利技术一个或者多个实施例的详细描述。结合这样的实施例描述本专利技术，但是本专利技术不限于任何实施例。本专利技术的范围仅由权利要求书限定，并且本专利技术涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本专利技术的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本专利技术。本专利技术的一方面提供了一种文件安全存储和内容保护方法。图1是根据本专利技术实施例的文件安全存储和内容保护方法流程图。本专利技术用于大数据处理的云计算系统包括多个DataNode。每个DataNode包括：划分单元，将接收到的数据根据数据块名划分，并通过与数据块名对应的通道传送给中继单元；还用于将来自中继单元的结果数据传输给对应的云存储服务器；中继单元，接收来自划分单元划分好的数据，并将接收到的数据放入以待处理业务名称命名的队列中，基于各待处理业务的优先级开启待处理业务，并将待处理业务发送给计算单元；接收来自计算单元的结果数据，并转发给划分单元；计算单元，用于基于开启的待处理业务，对来自中继单元的数据进行计算，并向中继单元输出处理之后的数据块。其中，划分单元实现DataNode与外界节点之间的数据转发。划分单元使DataNode的数据传输和内部的逻辑计算隔离。具体的，在划分单元中将输入数据按数据块名划分，并将数据传送给中继单元。中继单元根据数据和当前DataNode的待处理业务的关联关系，维护一个针对所有处于就绪状态的待处理业务的分层队列。中继单元根据DataNode的负载确定启动多少个业务，并从分层队列中选择相应数量的、优先级最高的待处理业务启动。此外，中继单元还将数据传送给执行待处理业务的计算单元，并接收经过计算单元处理后的结果数据。在包括上述DataNode的云计算系统中，对输入或结果数据的划分、融合和处理都在内存中完成，为保证系统计算结果的准确性，优选地，每个DataNode还包括数据备份单元。当中心调度节点收到计算单元处理、计算完毕的结果数据时，通过对应的通道发送给数据备份单元，数据备份单元按结果数据名将结果数据保存在刀片磁盘上，按照结果数据和云存储服务器的关联关系，将结果数据发送到以云存储服务器命名的共享内存队列上，由划分单元统一发送。上述四个单元之间通过显式的进程间通信方法进行信息的共享和复用，通过相互协作共同构成了云计算系统的节点。此外，中继单元还进一步地在端口上监听客户端的请求，建立连接，并将连接派发给合适的计算单元执行。每个DataNode管理客户端的多个连接请求，利用I/O复用接口。划分单元、中继单元和数据备份单元都是通过I/O复用接口管理多个事件源，并通过通道方式耦合。中继单元和数据备份单元通过I/O复用接口管理用于各单元之间数据传输的通道端口。所有单元并行处理并异步执行逻辑。中继单元还在DataNode启动时进行初始化和监听工作。中继单元监听指定端口并接收来自外部节点的连接请求并初始化计算单元的线程。中继单元根据每个计算单元的线程的负载情况确定将封装成业务的数据连接分配给哪一个线程执行。云计算系统采用自适应负载均衡的策略，确定中继单元启动多少个线程，以及接收到的新业务放入哪一个线程执行。具体的，中继单元实时监控DataNode的负载，当CPU占用率高于阈值时，随机选择线程，在其业务处理结束之后关闭线程，减少DataNode的并发量；将连接分配到具有最少连接的线程上去，分配的方式是将连接封装成业务发送到的业务队列中。划分单元用于对等节点的数据传输，包括接收来自客户端的数据和向云存储服务器推送的结果数据，划分单元使DataNode的数据传输和上层应用逻辑完全分离。为了管理多个I/O数据源，划分单元使用I/O复用接口模型。参与数据传送的双方在正式传送数据块前进行一次协议，云存储服务器通知客户端前一次数据块传送终止的位置。划分单元根据I/O复用接口异步读写的特性，实现一个数据传输状态机，为数据的断点续传提供支持。每个线程在初始化时启动划分单元，当线程的业务队列中有中继单元发送的业务时，划分单元取出业务中的连接端口，加入到自己的I/O复用接口事件循环中。划分单元从连接中读取数据并按数据的名称划分，当属于某数据的数据块第一次被划分单元接收时，划分单元建立数据块名对应的通道，以写标志打开该通道并传送数据；同时将数据块名通过套接字发送给中继单元，中继单元收到数据块名后，以读标志打开该数据块名对应的通道，接收划分单元发送的划分完毕的数据。中继单元根据DataNode负载确定启动的业务算子的数量，启动次序是依据业务优先级计算的，优先级的确定包括该业务在整个业务中的重要性、DataNode的运行状况。中继单本文档来自技高网...

【技术保护点】
1.一种文件安全存储和内容保护方法，其特征在于，包括：接收来自DataNode的划分单元的数据，并将接收到的数据放入以待处理业务名称命名的队列中；基于各待处理业务的优先级开启待处理业务，并将待处理业务发送给DataNode的计算单元；接收来自计算单元的结果数据，并转发给划分单元；所述划分单元，将接收到的数据根据数据块名划分，并将计算结果数据传输给对应的云存储服务器；所述计算单元，用于基于开启的待处理业务，对输入数据进行计算，并输出处理之后的数据块。

【技术特征摘要】
1.一种文件安全存储和内容保护方法，其特征在于，包括：接收来自DataNode的划分单元的数据，并将接收到的数据放入以待处理业务名称命名的队列中；基于各待处理业务的优先级开启待处理业务，并将待处理业务发送给DataNode的计算单元；接收来自计算单元的结果数据，并转发给划分单元；所述划分单元，将接收到的数据根据数据块名划分，并将计算结果数据传输给对应的云存储服务器；所述计算单元，用于基于开启的待处理业务，对输入数据进行计算，并输出处理之后的数据块。2.根据权利要求1所述的方法，其特征在于，所述划分单元使DataNode的数据传输和内部的逻辑计算隔离，将输入数据...

【专利技术属性】
技术研发人员：杨晓莹，吴伟杰，
申请(专利权)人：成都创信特电子技术有限公司，
类型：发明
国别省市：四川,51