【技术实现步骤摘要】
本专利技术涉及数据处理，具体为分布式存储资源调度建模方法。
技术介绍
1、多域任务行动过程中，任务行动端采用分布式存储通过网络将各类存储设备qi进行连接，将数据汇聚形成数据池，假定某次任务行动的机动边缘存储设备集合为ω＝{q1,q2,q3,....qn}，n为存储设备的总数量，对某个存储设备qi而言，存储设备吞吐数据的速度有两个，分别为顺序读写速度ui和随机读写速度vi，仅从数据存储的角度区分文件的类型可以将文件分类为“大文件”和“小文件”，“大文件”d^采用顺序读写速度ui，“小文件”d*采用随机读写速度vi，判断文件的类型不是依据文件的容量大小，而是根据数据文件有无内部逻辑。
2、在现代任务行动环境中，数据的实时、高效、安全存储对于任务行动决策的制定和执行至关重要。随着任务行动信息化程度的不断提升，任务行动产生的数据量急剧增加，且数据类型多样化，包括大文件(如高清视频、大型图像等)和小文件(如传感器数据、文本信息等)。这些数据对存储资源的需求各不相同，大文件需要高速、大容量的存储设备来保障其完整性和可用性，而小文件则更注重存储的灵活性和访问速度。
3、然而，传统的集中式存储方案在任务行动环境下存在诸多局限性，如单点故障风险高、扩展性差、难以适应动态变化的任务行动需求等。因此，分布式存储系统因其高可用性、可扩展性和容错性成为任务行动机动伴随保障的理想选择。分布式存储系统通过在网络中部署多个存储节点，将数据分散存储在多个节点上，从而实现数据的冗余备份和负载均衡。然而，分布式存储系统也面临着资源调度和管理的
技术实现思路
1、本专利技术的目的在于提供分布式存储资源调度建模方法，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：分布式存储资源调度建模方法，所述方法包括以下步骤：
3、数据分类：将待存储数据分为大文件数据和小文件数据；
4、设备定义：定义数据采集和传输设备集合以及存储设备集合，存储设备具有基于数据类型的存储速度函数；
5、分配矩阵构建：构建表示数据在存储设备间分配情况的矩阵；
6、目标函数设定：定义综合考虑存储时间和数据价值的目标函数；
7、约束条件设定：为存储设备和数据总量设置存储限制；
8、求解优化：采用数学规划方法求解最优的数据分配策略。
9、优选的，所述存储设备集合中的每个设备具有独立的存储速度和容量特性。
10、优选的，所述分配矩阵包括大文件分配矩阵和小文件分配矩阵，分别详细记录每种类型文件在各存储设备上的存储情况。
11、优选的，所述目标函数通过加权方式平衡存储时间和数据价值的重要性，权重系数可调整以适应不同任务行动需求。
12、优选的，所述约束条件包括存储设备的最小和最大存储容量限制，以及整个任务行动所需存储数据的总量限制。
13、优选的，还包括对存储设备性能的实时监控，以动态调整数据分配策略。
14、优选的，所述数据价值系数函数根据数据的时效性、重要性和敏感度因素动态调整。
15、优选的，还包括一个故障恢复机制，当某个存储设备发生故障时，自动将存储在该设备上的数据迁移到其他可用设备上。
16、优选的，还包括一个用户接口，允许用户根据实际需求调整模型参数，如权重系数、价值系数函数。
17、优选的，所述方法被集成到一个分布式存储管理系统中，该系统自动执行数据存储、分配、监控和优化任务，以提高数据存储效率和数据价值利用率。
18、与现有技术相比，本专利技术的有益效果是：
19、本专利技术提出的分布式存储资源调度建模方法，通过优化数据在存储设备间的分配策略，减少数据迁移和复制的开销，提高存储资源的利用率和整体存储效率；通过引入数据价值系数函数，根据数据的时效性、重要性和敏感度等因素动态调整其存储优先级，确保关键数据得到及时、有效的存储和保护，从而提升数据的整体价值；通过分布式存储和冗余备份机制，降低单点故障对系统的影响，提高系统的可靠性和稳定性。同时，实时监控系统性能和数据存储情况，及时发现并处理潜在问题，进一步增强系统的鲁棒性。
20、支持根据任务行动环境的变化和任务行动需求的变化，动态调整模型参数和调度策略，以适应不同的存储需求和优化目标。这种灵活性使得该方法在复杂多变的任务行动环境中具有更强的适应性和实用性；通过提供用户接口，允许用户根据实际需求调整模型参数和查看系统运行状态，提升用户的参与度和满意度。同时，自动化的数据存储、分配、监控和优化任务减少了人工干预和错误的可能性，提高了系统的易用性和可靠性。
本文档来自技高网...【技术保护点】
1.分布式存储资源调度建模方法，其特征在于：所述方法包括以下步骤：
2.根据权利要求1所述的分布式存储资源调度建模方法，其特征在于：所述存储设备集合中的每个设备具有独立的存储速度和容量特性。
3.根据权利要求2所述的分布式存储资源调度建模方法，其特征在于：所述分配矩阵包括大文件分配矩阵和小文件分配矩阵，分别详细记录每种类型文件在各存储设备上的存储情况。
4.根据权利要求1所述的分布式存储资源调度建模方法，其特征在于：所述目标函数通过加权方式平衡存储时间和数据价值的重要性，权重系数可调整以适应不同任务行动需求。
5.根据权利要求1所述的分布式存储资源调度建模方法，其特征在于：所述约束条件包括存储设备的最小和最大存储容量限制，以及整个任务行动所需存储数据的总量限制。
6.根据权利要求1所述的分布式存储资源调度建模方法，其特征在于：还包括对存储设备性能的实时监控，以动态调整数据分配策略。
7.根据权利要求4所述的分布式存储资源调度建模方法，其特征在于：所述数据价值系数函数根据数据的时效性、重要性和敏感度因素动态调整
8.根据权利要求1所述的分布式存储资源调度建模方法，其特征在于：还包括一个故障恢复机制，当某个存储设备发生故障时，自动将存储在该设备上的数据迁移到其他可用设备上。
9.根据权利要求1所述的分布式存储资源调度建模方法，其特征在于：还包括一个用户接口，允许用户根据实际需求调整模型参数，如权重系数、价值系数函数。
10.根据权利要求1所述的分布式存储资源调度建模方法，其特征在于：所述方法被集成到一个分布式存储管理系统中，该系统自动执行数据存储、分配、监控和优化任务，以提高数据存储效率和数据价值利用率。
...【技术特征摘要】
1.分布式存储资源调度建模方法，其特征在于：所述方法包括以下步骤：
2.根据权利要求1所述的分布式存储资源调度建模方法，其特征在于：所述存储设备集合中的每个设备具有独立的存储速度和容量特性。
3.根据权利要求2所述的分布式存储资源调度建模方法，其特征在于：所述分配矩阵包括大文件分配矩阵和小文件分配矩阵，分别详细记录每种类型文件在各存储设备上的存储情况。
4.根据权利要求1所述的分布式存储资源调度建模方法，其特征在于：所述目标函数通过加权方式平衡存储时间和数据价值的重要性，权重系数可调整以适应不同任务行动需求。
5.根据权利要求1所述的分布式存储资源调度建模方法，其特征在于：所述约束条件包括存储设备的最小和最大存储容量限制，以及整个任务行动所需存储数据的总量限制。
6.根据权利要求1所述的分布式存储资...
【专利技术属性】
技术研发人员：曹江，秦潜聪，吴冠霖，贡岩，王双双，孔德照，李朋，
申请(专利权)人：中国人民解放军军事科学院战争研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。