System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据迁移方法、装置、电子设备和存储介质制造方法及图纸_技高网

一种数据迁移方法、装置、电子设备和存储介质制造方法及图纸

技术编号:44303784 阅读:0 留言:0更新日期:2025-02-18 20:20
本发明专利技术实施例提供了一种数据迁移方法、装置、电子设备和存储介质,该方法包括:采集样本数据,并对样本数据进行预处理,得到预处理后的数据集;根据预设深度学习模型和预处理后的数据集,确定预设深度学习模型的更新门的输出样本数据,以及预设深度学习模型的重置门的输出值,并根据更新门的输出样本数据和重置门的输出值,确定时序特征;根据时序特征和预设时序卷积神经网络,确定特征数据集;根据特征数据集对预设模型进行训练,得到目标预测模型;获取系统的实时数据,并根据实时数据和目标预测模型,确定系统的数据迁移的调度策略。从而使得根据训练得到的目标预测模型在进行数据迁移预测时,提高其预测的效率和可靠性。

【技术实现步骤摘要】

本专利技术涉及计算机,特别是涉及一种数据迁移方法、一种数据迁移装置、一种电子设备和一种计算机可读存储介质。


技术介绍

1、在大数据处理和云计算环境中,数据迁移与同步是一个至关重要的任务,随着数据量的迅速增长和数据源的多样化,传统的数据迁移的调度方法面临着诸多挑战。而深度学习技术的快速发展为数据迁移与同步中的智能调度提供了新的解决方案,利用深度学习模型在数据迁移与同步中进行系统负载和数据变化趋势的预测,实现对数据迁移与同步任务的智能化调度。而相关技术中的深度学习模型,在对数据进行迁移与同步时,其效率和可靠性欠佳。


技术实现思路

1、鉴于上述问题,提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据迁移方法、一种数据迁移装置、一种电子设备和一种计算机可读存储介质。

2、为了解决上述问题,本专利技术实施例公开了一种数据迁移方法,该方法包括:

3、采集样本数据,并对样本数据进行预处理,得到预处理后的数据集;

4、根据预设深度学习模型和所述预处理后的数据集,确定所述预设深度学习模型的更新门的输出样本数据,以及所述预设深度学习模型的重置门的输出值,并根据所述更新门的输出样本数据和所述重置门的输出值,确定时序特征;

5、根据所述时序特征和预设时序卷积神经网络,确定特征数据集;

6、根据所述特征数据集对预设模型进行训练,得到目标预测模型;

7、获取系统的实时数据,并根据所述实时数据和所述目标预测模型,确定所述系统的数据迁移的调度策略。

8、可选地,所述根据预设深度学习模型和所述预处理后的数据集,确定所述预设深度学习模型的更新门的输出样本数据,以及所述预设深度学习模型的重置门的输出值,并根据所述更新门的输出样本数据和所述确定时序特征,包括:

9、通过预设深度学习模型从所述预处理后的数据集中,确定当前时间步骤的数据样本和上一个时间步骤的隐藏状态;

10、根据所述预设深度学习模型的更新门的第一权重矩阵、所述更新门的偏置项、所述当前时间步骤的数据样本,以及所述上一个时间步骤的隐藏状态,确定所述更新门的输出样本数据;

11、根据所述更新门的第二权重矩阵、所述更新门的偏置项、所述当前时间步骤的数据样本,以及所述上一个时间步骤的隐藏状态,确定所述预设深度学习模型的重置门的输出值;

12、根据所述预设深度学习模型的重置门的输出值、所述当前时间步骤的数据样本,以及所述上一个时间步骤的隐藏状态,确定当前时间步骤的候选隐藏状态;

13、根据所述当前时间步骤的候选隐藏状态、所述更新门的输出样本数据,以及所述上一个时间步骤的隐藏状态,确定下一时间步骤的隐藏状态;

14、根据所述下一时间步骤的隐藏状态和所述预设深度学习模型,确定时序特征。

15、可选地,所述根据所述特征数据集对预设模型进行训练,得到目标预测模型,包括:

16、根据预设维度聚合函数、预设训练权重和预设训练偏置,将所述特征数据集聚合为四维立体特征;

17、根据所述四维立体特征,对预设模型进行训练,得到目标预测模型。

18、可选地,所述根据所述四维立体特征,对预设模型进行训练,得到目标预测模型,包括:

19、根据所述四维立体特征,确定样本转置数据信息、正样本信息和负样本信息;

20、根据所述样本转置数据信息、所述正样本信息和所述负样本信息,对预设模型进行训练,得到目标预测模型。

21、可选地,所述对样本数据进行预处理,得到预处理后的数据集,包括:

22、确定所述样本数据中的缺失值;

23、采用均值填补方式对所述缺失值进行填补,得到清洗后的数据集;

24、对所述清洗后的数据集进行数据增强处理,得到增强后的数据集;

25、对所述增强后的数据集进行数据转换处理,得到转换后的数据集;

26、对所述转换后的数据集进行数据聚合处理,得到预处理后的数据集。

27、可选地,所述对所述增强后的数据集进行数据转换处理,得到转换后的数据集,包括:

28、确定所述增强后的数据集中的数据最大值和数据最小值;

29、根据所述增强后的数据集、所述数据最大值和所述数据最小值,得到归一化后的数据集;

30、确定所述增强后的数据集中的时序数据,并对所述时序数据采用时间滑动窗口方式进行处理,生成输入输出样本数据;

31、根据所述归一化后的数据集和所述输入输出样本数据,得到转换后的数据集。

32、可选地,所述对所述清洗后的数据集进行数据增强处理,得到增强后的数据集,包括:

33、设置策略搜索空间;

34、通过预设搜索算法从所述策略搜索空间中确定目标增强策略;

35、通过所述目标增强策略,对所述清洗后的数据集进行数据增强处理,得到增强后的数据集。

36、本专利技术实施例还公开了一种数据迁移装置,所述装置包括:

37、预处理模块,用于采集样本数据,并对样本数据进行预处理,得到预处理后的数据集;

38、第一确定模块,用于根据预设深度学习模型和所述预处理后的数据集,确定所述预设深度学习模型的更新门的输出样本数据,以及所述预设深度学习模型的重置门的输出值,并根据所述更新门的输出样本数据和所述重置门的输出值,确定时序特征;

39、第二确定模块,用于根据所述时序特征和预设时序卷积神经网络,确定特征数据集;

40、训练模块,用于根据所述特征数据集对预设模型进行训练,得到目标预测模型;

41、第三确定模块,用于获取系统的实时数据,并根据所述实时数据和所述目标预测模型,确定所述系统的数据迁移的调度策略。

42、可选地,所述第一确定模块,包括:

43、第一确定子模块,用于通过预设深度学习模型从所述预处理后的数据集中,确定当前时间步骤的数据样本和上一个时间步骤的隐藏状态;

44、第二确定子模块,用于根据所述预设深度学习模型的更新门的第一权重矩阵、所述更新门的偏置项、所述当前时间步骤的数据样本,以及所述上一个时间步骤的隐藏状态,确定所述更新门的输出样本数据;

45、第三确定子模块,用于根据所述更新门的第二权重矩阵、所述更新门的偏置项、所述当前时间步骤的数据样本,以及所述上一个时间步骤的隐藏状态,确定所述预设深度学习模型的重置门的输出值;

46、第四确定子模块,用于根据所述预设深度学习模型的重置门的输出值、所述当前时间步骤的数据样本,以及所述上一个时间步骤的隐藏状态,确定当前时间步骤的候选隐藏状态;

47、第五确定子模块,用于根据所述当前时间步骤的候选隐藏状态、所述更新门的输出样本数据,以及所述上一个时间步骤的隐藏状态,确定下一时间步骤的隐藏状态;

48、第六确定子模块,用于根据所述下一时间本文档来自技高网...

【技术保护点】

1.一种数据迁移方法,其特征在于,所述方法包括:

2.根据权利要求1所述的数据迁移方法,其特征在于,所述根据预设深度学习模型和所述预处理后的数据集,确定所述预设深度学习模型的更新门的输出样本数据,以及所述预设深度学习模型的重置门的输出值,并根据所述更新门的输出样本数据和所述确定时序特征,包括:

3.根据权利要求1所述的数据迁移方法,其特征在于,所述根据所述特征数据集对预设模型进行训练,得到目标预测模型,包括:

4.根据权利要求3所述的数据迁移方法,其特征在于,所述根据所述四维立体特征,对预设模型进行训练,得到目标预测模型,包括:

5.根据权利要求1所述的数据迁移方法,其特征在于,所述对所述样本数据进行预处理,得到预处理后的数据集,包括:

6.根据权利要求5所述的数据迁移方法,其特征在于,所述对所述增强后的数据集进行数据转换处理,得到转换后的数据集,包括:

7.根据权利要求5所述的数据迁移方法,其特征在于,所述对所述清洗后的数据集进行数据增强处理,得到增强后的数据集,包括:

8.一种数据迁移装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,包括:处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1-7中任一项所述的数据迁移方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的数据迁移方法的步骤。

...

【技术特征摘要】

1.一种数据迁移方法,其特征在于,所述方法包括:

2.根据权利要求1所述的数据迁移方法,其特征在于,所述根据预设深度学习模型和所述预处理后的数据集,确定所述预设深度学习模型的更新门的输出样本数据,以及所述预设深度学习模型的重置门的输出值,并根据所述更新门的输出样本数据和所述确定时序特征,包括:

3.根据权利要求1所述的数据迁移方法,其特征在于,所述根据所述特征数据集对预设模型进行训练,得到目标预测模型,包括:

4.根据权利要求3所述的数据迁移方法,其特征在于,所述根据所述四维立体特征,对预设模型进行训练,得到目标预测模型,包括:

5.根据权利要求1所述的数据迁移方法,其特征在于,所述对所述样本数据进行预处理,得到预处理后的数据集,包括:

<...

【专利技术属性】
技术研发人员:何自力
申请(专利权)人:中电信人工智能科技北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1