【技术实现步骤摘要】
本专利技术涉及并行文件解析处理，具体为一种基于mcf系统的并行文件解析处理方法及系统。
技术介绍
1、随着信息技术的不断进步，分布式计算与存储技术在大规模数据处理领域得到了广泛应用。并行文件系统作为一种高效的文件存储与处理方式，通过多台计算机协同工作，实现数据的高效存储与访问。近年来，云计算、虚拟化技术和分布式计算平台的快速发展使得并行文件系统得到了更加广泛的应用，特别是在处理海量数据、视频数据、大型文件存储等领域。传统的并行文件处理方法在一定程度上提升了数据存储效率，但仍然面临着负载不均、数据恢复速度慢、存储冗余问题等挑战。因此，在保证数据安全性的同时，如何提高文件的解析效率和存储管理能力，尤其是在高负载和海量数据环境下，成为当前研究的热点问题。
2、现有的并行文件系统在文件解析与存储管理中存在多个局限性，尤其是在高负载环境下，系统的性能和效率受到很大影响。首先，传统的文件分片处理方法大多基于固定的分片大小和文件总量进行计算，缺乏对系统负载动态变化的适应性。这意味着在负载过高的情况下，系统往往无法智能地调整分片数，导致资源的浪费或控制器的过载，无法在不同负载场景下提供高效的文件处理能力。现有技术中大多采用静态的分片和负载均衡策略，这种方法未能有效结合控制器实时负载和任务需求，容易造成系统的性能瓶颈。
3、其次，传统的校验和数据冗余处理技术主要依赖于简单的线性校验码生成方法，这对于高负载系统中的大规模数据恢复带来了挑战。尽管现有技术采用了纠删码（erasurecoding）技术来增强冗余性，但在分布式环境
4、此外，现有的文件解析处理方法多依赖静态的解析策略，在面对不同类型和不同大小的文件时，缺乏灵活性和适应性。例如，处理文本、图像、视频等不同格式文件时，解析时间和处理方式往往固定，未能考虑文件类型、文件大小以及系统负载对解析效率的影响。这使得在高负载环境下，文件解析的速度和系统响应时间受到很大限制，导致系统的整体性能无法得到有效提升。
技术实现思路
1、鉴于上述存在的问题，提出了本专利技术。
2、因此，本专利技术解决的技术问题是：现有的并行文件处理方法存在负载不均、数据恢复效率低、文件解析过程静态、冗余存储不均等问题，以及如何在高负载环境下智能调整分片数、优化校验分片生成、提升文件解析效率的问题。
3、为解决上述技术问题，本专利技术提供如下技术方案：一种基于mcf系统的并行文件解析处理方法，包括接收文件数据，对文件进行分片；生成数据校验码并去除数据冗余，根据文件格式进行解析处理；进行数据储存，并优化控制器负载。
4、作为本专利技术所述的基于mcf系统的并行文件解析处理方法的一种优选方案，其中：所述接收文件数据包括用户通过客户端将文件发送至系统，文件通过主控制节点接收。
5、主控制节点检查文件的格式、文件大小及完整性，均符合预设要求的文件识别为符合处理要求确认文件是否符合处理要求。
6、提取文件元数据，包括文件类型和文件大小。
7、作为本专利技术所述的基于mcf系统的并行文件解析处理方法的一种优选方案，其中：所述对文件进行分片包括根据文件的总大小和默认分片大小，通过动态调节模型确定当前分片数，表示为：
8、；
9、其中，表示控制器的负载，表示控制器的最大处理能力。
10、作为本专利技术所述的基于mcf系统的并行文件解析处理方法的一种优选方案，其中：所述生成数据校验码并去除数据冗余包括每个数据分片会根据数据大小、存储位置和质量，生成一个相应的校验分片，校验分片由数据分片的特征和控制器当前的负载情况组成特征，生成的校验分片通过sigmoid激活函数根据每个数据分片的特征进行动态权重调整，校验分片生成后，存储在不同的控制器上，通过将校验分片分布在多个控制器上，在某个控制器或数据分片丢失的情况下，利用剩余的校验分片来恢复丢失的数据。
11、作为本专利技术所述的基于mcf系统的并行文件解析处理方法的一种优选方案，其中：所述根据文件格式进行解析处理包括根据文件格式，识别为文本文件、图像文件以及视频文件，并进行根据文件的大小和控制器的负载，调整解析过程中的解析时间，表示为：
12、；
13、其中，parsingtime为文件的解析时间，为分片大小，为基础解析时间系数，为控制文件大小影响指数，为负载调节系数，为文件类型影响系数，为文件类型权重。
14、作为本专利技术所述的基于mcf系统的并行文件解析处理方法的一种优选方案，其中：所述进行数据储存包括对每个文件分片，系统记录文件位置、类型、大小、分片哈希值。
15、为每个分片计算哈希值，并将存储在元数据中。
16、作为本专利技术所述的基于mcf系统的并行文件解析处理方法的一种优选方案，其中：所述优化控制器负载包括根据每个控制器的任务数和处理能力计算负载权重，表示为：
17、；
18、其中，为控制器的负载权重，为控制器当前的任务数，为控制器的处理能力，k为负载优化调节系数，为sigmoid激活函数。
19、本专利技术的另外一个目的是提供一种基于mcf系统的并行文件解析处理系统，其能通过校验分片的动态生成和分布式存储，解决了冗余存储的均衡问题，使得数据在存储过程中具有更高的可靠性和恢复能力。解决了目前的并行文件处理方法含有冗余存储不均的问题。
20、作为本专利技术所述的基于mcf系统的并行文件解析处理系统的一种优选方案，其中：包括数据处理模块，数据解析模块，数据存储模块。所述数据处理模块用于接收文件数据，对文件进行分片。所述数据解析模块用于生成数据校验码并去除数据冗余，根据文件格式进行解析处理。所述数据存储模块用于进行数据储存，并优化控制器负载。
21、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序是实现基于mcf系统的并行文件解析处理方法的步骤。
22、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于mcf系统的并行文件解析处理方法的步骤。
23、本专利技术的有益效果：本专利技术提供的基于mcf系统的并行文件解析处理方法通过对文件类型、大小和控制器负载的动态调整，系统能够智能地管理不同类型文件的解析过程，提高了解析效率。通过动态调节分片数和分布式存储，确保了在高负载情况下系统的高效运行，避免了单点过载并优化了存储资源的分配。通过高效的元数据管理，可以快速检索文件分片，尤其是在进行文件恢复或迁移时，元数据的精确记录使得定位文件分片变得更加高效，有效提高了文件存储和管理的速度，并确保了在大规模数据处理场景下的存储效率和访问效率。本专利技术在处理效率、适用本文档来自技高网...
【技术保护点】
1.一种基于MCF系统的并行文件解析处理方法，其特征在于，包括：
2.如权利要求1所述的基于MCF系统的并行文件解析处理方法，其特征在于：所述接收文件数据包括用户通过客户端将文件发送至系统，文件通过主控制节点接收；
3.如权利要求2所述的基于MCF系统的并行文件解析处理方法，其特征在于：所述对文件进行分片包括根据文件的总大小和默认分片大小，通过动态调节模型确定当前分片数，表示为：
4.如权利要求3所述的基于MCF系统的并行文件解析处理方法，其特征在于：所述生成数据校验码并去除数据冗余包括每个数据分片会根据数据大小、存储位置和质量，生成一个相应的校验分片，校验分片由数据分片的特征和控制器当前的负载情况组成特征，生成的校验分片通过Sigmoid激活函数根据每个数据分片的特征进行动态权重调整，校验分片生成后，存储在不同的控制器上，通过将校验分片分布在多个控制器上，在某个控制器或数据分片丢失的情况下，利用剩余的校验分片来恢复丢失的数据。
5.如权利要求4所述的基于MCF系统的并行文件解析处理方法，其特征在于：所述根据文件格式进行解析处理包括
6.如权利要求5所述的基于MCF系统的并行文件解析处理方法，其特征在于：所述进行数据储存包括对每个文件分片，系统记录文件位置、类型、大小、分片哈希值；
7.如权利要求6所述的基于MCF系统的并行文件解析处理方法，其特征在于：所述优化控制器负载包括根据每个控制器的任务数和处理能力计算负载权重，表示为：
8.一种采用如权利要求1~7任一所述的基于MCF系统的并行文件解析处理方法的系统，其特征在于：包括数据处理模块，数据解析模块，数据存储模块；
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于MCF系统的并行文件解析处理方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于MCF系统的并行文件解析处理方法的步骤。
...【技术特征摘要】
1.一种基于mcf系统的并行文件解析处理方法，其特征在于，包括：
2.如权利要求1所述的基于mcf系统的并行文件解析处理方法，其特征在于：所述接收文件数据包括用户通过客户端将文件发送至系统，文件通过主控制节点接收；
3.如权利要求2所述的基于mcf系统的并行文件解析处理方法，其特征在于：所述对文件进行分片包括根据文件的总大小和默认分片大小，通过动态调节模型确定当前分片数，表示为：
4.如权利要求3所述的基于mcf系统的并行文件解析处理方法，其特征在于：所述生成数据校验码并去除数据冗余包括每个数据分片会根据数据大小、存储位置和质量，生成一个相应的校验分片，校验分片由数据分片的特征和控制器当前的负载情况组成特征，生成的校验分片通过sigmoid激活函数根据每个数据分片的特征进行动态权重调整，校验分片生成后，存储在不同的控制器上，通过将校验分片分布在多个控制器上，在某个控制器或数据分片丢失的情况下，利用剩余的校验分片来恢复丢失的数据。
5.如权利要求4所述的基于mcf系统的并行文件解析处理方法，其特征在于：所述根据文件格式进行解析处理...
【专利技术属性】
技术研发人员：宋勇华，罗新，李亚权，杨明智，
申请(专利权)人：深圳灿态信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。