【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种算力网络数据传输控制系统、方法、设备及存储介质。
技术介绍
1、超算、智算等算力网络主要用于执行计算密集型任务，用户在部署应用前需要将海量数据传输到超算存储资源中。在采用互联网传输情况下，数据传输时间通常在天到周的粒度范围内，造成用户等待时间较长，而采用专网等会导致前期部署投入和用户的使用成本较高。海量数据传输时延长、成本高是超算、智算等服务在计算密集型应用中面临的主要问题之一。
2、算力网络的数据传输需要满足多方面的目标，包括降低传输时延和数据体量、满足用户的业务需求、降低对底层网络和计算资源的要求以及满足传输成本要求等。目前，传统的算力网络的数据传输控制中，优化策略通常采用单点优化的方式，且重点在于优化路由策略，降低数据传输时延。一方面没有跟业务质量相结合，导致投入与产出不成正比，当数据体量过大时，会导致服务质量下降；另一方面单点资源增强会导致数据传输成本进一步增加，无法实现数据传输的全局优化。
技术实现思路
1、本专利技术提供一种算力网络数据传输控制系统、方法、设备及存储介质，用以解决现有的单点优化方式没有与业务质量相结合，在数据体量较大的情况下会导致服务质量下降，以及单点资源增强导致数据传输成本增加，且无法实现数据传输的全局优化的缺陷。
2、本专利技术提供一种算力网络数据传输控制系统，包括：
3、感知模块，用于采集算力网络数据传输全流程的感知数据；所述感知数据包括传输质量、资源性能、网络指标和服务指标；
4、决策模块，用于根据所述感知数据对所述算力网络的资源状态和业务质量进行综合评估，并根据评估结果生成数据传输的控制优化策略；所述资源状态包括资源利用率和资源运行状态；
5、执行模块，用于对所述控制优化策略进行转译和下发，以对所述算力网络进行数据传输优化。
6、根据本专利技术提供的算力网络数据传输控制系统，所述感知模块与所述算力网络的底层设备对接，用于采集所述底层设备的感知数据；
7、所述底层设备包括数据采集设备、网络传输设备和数据存储/应用设备。
8、根据本专利技术提供的算力网络数据传输控制系统，所述控制优化策略包括所述数据采集设备的第一控制优化策略、所述网络传输设备的第二控制优化策略以及所述数据存储/应用设备的第三控制优化策略；
9、所述第一控制优化策略包括压缩算法选择策略、有/无损策略、算力资源分配策略、压缩算法的参数优化策略和传输流量控制策略；
10、所述第二控制优化策略包括网络资源优化策略、转发路径策略和网络配置策略；
11、所述第三控制优化策略包括资源分配策略和任务控制策略。
12、根据本专利技术提供的算力网络数据传输控制系统，所述感知模块包括部署在所述底层设备中的感知代理，所述感知代理用于对所述底层设备以及所述底层设备的接口进行抽象，形成所述底层设备对应的抽象层。
13、根据本专利技术提供的算力网络数据传输控制系统，所述执行模块在根据所述控制优化策略确定所述底层设备中存在待部署应用软件的目标设备时，还用于向所述目标设备下发所述应用软件的部署脚本；
14、所述感知代理还用于执行所述部署脚本，以将所述应用软件部署到所述目标设备中。
15、根据本专利技术提供的算力网络数据传输控制系统，所述感知模块还用于：
16、对所述感知数据进行数据预处理；所述数据预处理包括数据清洗、关键字段提取和接口数据解析；所述数据清洗包括数据去重和数据去噪。
17、根据本专利技术提供的算力网络数据传输控制系统，还包括辅助模块，用于向所述决策模块和所述执行模块提供资源；
18、所述辅助模块包括数据传输控制所需的基础软件、算法库和策略库。
19、本专利技术还提供一种算力网络数据传输控制方法，应用于如上述任一种所述的算力网络数据传输控制系统，所述方法包括：
20、采集算力网络数据传输全流程的感知数据；所述感知数据包括传输质量、资源性能、网络指标和服务指标；
21、根据所述感知数据对所述算力网络的资源状态和业务质量进行综合评估，并根据评估结果生成数据传输的控制优化策略；所述资源状态包括资源利用率和资源运行状态；
22、对所述控制优化策略进行转译和下发，以对所述算力网络进行数据传输优化。
23、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述算力网络数据传输控制方法的步骤。
24、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述算力网络数据传输控制方法的步骤。
25、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述算力网络数据传输控制方法的步骤。
26、本专利技术提供的一种算力网络数据传输控制系统、方法、设备及存储介质，通过感知-决策-执行等模块的持续闭环迭代和自动调节，实现对算力网络数据传输过程的整体优化，达到降低时延和资源损耗、保障服务质量的目的。
本文档来自技高网...【技术保护点】
1.一种算力网络数据传输控制系统，其特征在于，包括：
2.根据权利要求1所述的算力网络数据传输控制系统，其特征在于：
3.根据权利要求2所述的算力网络数据传输控制系统，其特征在于，所述控制优化策略包括所述数据采集设备的第一控制优化策略、所述网络传输设备的第二控制优化策略以及所述数据存储/应用设备的第三控制优化策略；
4.根据权利要求2所述的算力网络数据传输控制系统，其特征在于，所述感知模块包括部署在所述底层设备中的感知代理，所述感知代理用于对所述底层设备以及所述底层设备的接口进行抽象，形成所述底层设备对应的抽象层。
5.根据权利要求4所述的算力网络数据传输控制系统，其特征在于，所述执行模块在根据所述控制优化策略确定所述底层设备中存在待部署应用软件的目标设备时，还用于向所述目标设备下发所述应用软件的部署脚本；
6.根据权利要求1所述的算力网络数据传输控制系统，其特征在于，所述感知模块还用于：
7.根据权利要求1所述的算力网络数据传输控制系统，其特征在于，还包括辅助模块，用于向所述决策模块和所述执行模块提供资源；
8.一种算力网络数据传输控制方法，其特征在于，应用于如权利要求1至7任一项所述的算力网络数据传输控制系统，所述方法包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求8所述的算力网络数据传输控制方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求8所述的算力网络数据传输控制方法的步骤。
...【技术特征摘要】
1.一种算力网络数据传输控制系统，其特征在于，包括：
2.根据权利要求1所述的算力网络数据传输控制系统，其特征在于：
3.根据权利要求2所述的算力网络数据传输控制系统，其特征在于，所述控制优化策略包括所述数据采集设备的第一控制优化策略、所述网络传输设备的第二控制优化策略以及所述数据存储/应用设备的第三控制优化策略；
4.根据权利要求2所述的算力网络数据传输控制系统，其特征在于，所述感知模块包括部署在所述底层设备中的感知代理，所述感知代理用于对所述底层设备以及所述底层设备的接口进行抽象，形成所述底层设备对应的抽象层。
5.根据权利要求4所述的算力网络数据传输控制系统，其特征在于，所述执行模块在根据所述控制优化策略确定所述底层设备中存在待部署应用软件的目标设备时，还用于向所述目标设备下发所述应...
【专利技术属性】
技术研发人员：沈林江，崔超，仇树卿，许俊东，李兆滨，
申请(专利权)人：浪潮通信信息系统有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。