【技术实现步骤摘要】
本专利技术涉及计算机应用，特别是涉及一种数据传输方法、装置、设备及计算机可读存储介质。
技术介绍
1、在模型训练时需要使用大量内存和计算资源。有些模型训练过程中仅仅是单次计算迭代内同步梯度需要的通信量就达到了百gb量级。各计算节点间通讯速度及效率成为模型训练最大的瓶颈。
2、量化（quantization）在数学和数字信号处理中，是指将一个大集合中的输入值映射到一个较小集合中的过程。在机器学习领域，这个映射通常是从浮点值到整数值。
3、自动混合精度（automatic mixed precision，amp）训练，是在训练模型时，将一部分算子的操作的精度降低，其余算子的操作精度保持不变。这样在保证模型训练精度满足要求的前提下，可以缩短训练时间，因而能支持更大的模型和尺寸更大的输入进行训练。目前采用的量化方式是在软件层面根据神经网络的收敛状态进行量化与否判断，由判断结果进而决定是否进行量化，再根据量化与否传输相应数据，数据量化速度慢，数据传输耗时长。
4、综上所述，如何有效地解决数据量化速度慢，数据传输耗时长等问题，是目前本领域技术人员急需解决的问题。
技术实现思路
1、本专利技术的目的是提供一种数据传输方法，该方法较大地提高了数据量化速度，降低了传输耗时；本专利技术的另一目的是提供一种数据传输装置、设备及计算机可读存储介质。
2、为解决上述技术问题，本专利技术提供如下技术方案：
3、一种数据传输方法，包括：
4
5、利用所述发送端智能网卡对所述浮点型模型训练数据集中的各浮点型模型训练数据进行量化操作，得到各量化后模型训练数据；
6、分别对各量化后模型训练数据进行损失度计算，得到损失度计算结果；
7、利用所述发送端智能网卡将所述损失度计算结果满足预设损失度允许范围的量化后模型训练数据发送给接收端智能网卡，并将所述损失度计算结果超出所述预设损失度允许范围的量化后模型训练数据对应的浮点型模型训练数据发送给所述接收端智能网卡；
8、利用所述接收端智能网卡对所述量化后模型训练数据进行反量化，得到还原后的浮点型模型训练数据，并将还原后的浮点型模型训练数据和接收到的原始的浮点型模型训练数据均上传至接收端。
9、在本专利技术的一种具体实施方式中，利用所述发送端智能网卡对所述浮点型模型训练数据集中的各浮点型模型训练数据进行量化操作，包括：
10、获取所述浮点型模型训练数据集中的最大浮点型模型训练数据和最小浮点型模型训练数据；
11、获取量化范围中的最大量化值和最小量化值；
12、根据所述最大浮点型模型训练数据、所述最小浮点型模型训练数据、所述最大量化值和所述最小量化值，计算缩放因子；
13、根据所述最大浮点型模型训练数据和所述最小浮点型模型训练数据计算零点值；
14、利用所述发送端智能网卡根据所述缩放因子和所述零点值对所述浮点型模型训练数据集中的各浮点型模型训练数据进行量化操作。
15、在本专利技术的一种具体实施方式中，获取量化范围中的最大量化值和最小量化值，包括：
16、根据所述最大浮点型模型训练数据和所述最小浮点型模型训练数据确定目标量化范围；
17、获取所述目标量化范围中的最大量化值和最小量化值。
18、在本专利技术的一种具体实施方式中，利用所述发送端智能网卡将所述损失度计算结果满足预设损失度允许范围的量化后模型训练数据发送给接收端智能网卡，包括：
19、利用所述发送端智能网卡将所述损失度计算结果满足预设损失度允许范围的量化后模型训练数据、所述缩放因子和所述零点值发送给所述接收端智能网卡；
20、相应的，利用所述接收端智能网卡对所述量化后模型训练数据进行反量化，包括：
21、利用所述接收端智能网卡根据所述缩放因子和所述零点值对所述量化后模型训练数据进行反量化。
22、在本专利技术的一种具体实施方式中，利用所述接收端智能网卡对所述量化后模型训练数据进行反量化，包括：
23、利用所述接收端智能网卡获取接收到的各数据的标志位；
24、当根据所述标志位确定为量化后模型训练数据时，利用所述接收端智能网卡对所述量化后模型训练数据进行反量化。
25、在本专利技术的一种具体实施方式中，利用所述发送端智能网卡将所述损失度计算结果满足预设损失度允许范围的量化后模型训练数据发送给接收端智能网卡，并将所述损失度计算结果超出所述预设损失度允许范围的量化后模型训练数据对应的浮点型模型训练数据发送给所述接收端智能网卡，包括：
26、利用所述发送端智能网卡对所述损失度计算结果满足预设损失度允许范围的量化后模型训练数据进行压缩，得到压缩量化后模型训练数据；
27、利用所述发送端智能网卡对所述损失度计算结果超出所述预设损失度允许范围的量化后模型训练数据对应的浮点型模型训练数据进行压缩，得到压缩浮点型模型训练数据；
28、将所述压缩量化后模型训练数据和所述压缩浮点型模型训练数据发送给所述接收端智能网卡。
29、在本专利技术的一种具体实施方式中，利用所述接收端智能网卡对所述量化后模型训练数据进行反量化，包括：
30、利用所述接收端智能网卡对所述压缩量化后模型训练数据进行解压缩，得到解压后的量化后模型训练数据；
31、利用所述接收端智能网卡对所述解压后的量化后模型训练数据进行反量化。
32、在本专利技术的一种具体实施方式中，将还原后的浮点型模型训练数据和接收到的原始的浮点型模型训练数据均上传至接收端，包括：
33、利用所述接收端智能网卡对所述压缩浮点型模型训练数据进行解压缩，得到解压后的浮点型模型训练数据；
34、将还原后的浮点型模型训练数据和解压后的浮点型模型训练数据均上传至所述接收端。
35、在本专利技术的一种具体实施方式中，利用发送端智能网卡接收待传输的浮点型模型训练数据集，包括：
36、利用所述发送端智能网卡接收数据传输请求，并对所述数据传输请求进行解析，得到待传输的浮点型模型训练数据集和目标地址；
37、根据所述目标地址确定所述接收端智能网卡。
38、在本专利技术的一种具体实施方式中，对所述数据传输请求进行解析，得到待传输的浮点型模型训练数据集和目标地址，包括：
39、对所述数据传输请求进行解析，得到待传输的浮点型模型训练数据集、所述目标地址和数据批次；
40、相应的，利用所述发送端智能网卡将所述损失度计算结果满足预设损失度允许范围的量化后模型训练数据发送给接收端智能网卡，并将所述损失度计算结果超出所述预设损失度允许范围的量化后模型训练数据对应的浮点型模型训练数据发送给所述接收端智能网卡，包括：
41、利用所述发送端智能网卡根据所述数据批次将所本文档来自技高网...
【技术保护点】
1.一种数据传输方法，其特征在于，包括：
2.根据权利要求1所述的数据传输方法，其特征在于，利用所述发送端智能网卡对所述浮点型模型训练数据集中的各浮点型模型训练数据进行量化操作，包括：
3.根据权利要求2所述的数据传输方法，其特征在于，获取量化范围中的最大量化值和最小量化值，包括：
4.根据权利要求2或3所述的数据传输方法，其特征在于，利用所述发送端智能网卡将所述损失度计算结果满足预设损失度允许范围的量化后模型训练数据发送给接收端智能网卡，包括：
5.根据权利要求1所述的数据传输方法，其特征在于，利用所述接收端智能网卡对所述量化后模型训练数据进行反量化，包括：
6.根据权利要求1所述的数据传输方法，其特征在于，利用所述发送端智能网卡将所述损失度计算结果满足预设损失度允许范围的量化后模型训练数据发送给接收端智能网卡，并将所述损失度计算结果超出所述预设损失度允许范围的量化后模型训练数据对应的浮点型模型训练数据发送给所述接收端智能网卡，包括：
7.根据权利要求6所述的数据传输方法，其特征在于，利用所述接收端智能网卡
8.根据权利要求6所述的数据传输方法，其特征在于，将还原后的浮点型模型训练数据和接收到的原始的浮点型模型训练数据均上传至接收端，包括：
9.根据权利要求1所述的数据传输方法，其特征在于，利用发送端智能网卡接收待传输的浮点型模型训练数据集，包括：
10.根据权利要求9所述的数据传输方法，其特征在于，对所述数据传输请求进行解析，得到待传输的浮点型模型训练数据集和目标地址，包括：
11.根据权利要求1所述的数据传输方法，其特征在于，利用所述发送端智能网卡对所述浮点型模型训练数据集中的各浮点型模型训练数据进行量化操作，包括：
12.根据权利要求1所述的数据传输方法，其特征在于，利用所述接收端智能网卡对所述量化后模型训练数据进行反量化，包括：
13.一种数据传输设备，其特征在于，包括：
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述数据传输方法的步骤。
15.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至12任一项所述数据传输方法的步骤。
...【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：
2.根据权利要求1所述的数据传输方法，其特征在于，利用所述发送端智能网卡对所述浮点型模型训练数据集中的各浮点型模型训练数据进行量化操作，包括：
3.根据权利要求2所述的数据传输方法，其特征在于，获取量化范围中的最大量化值和最小量化值，包括：
4.根据权利要求2或3所述的数据传输方法，其特征在于，利用所述发送端智能网卡将所述损失度计算结果满足预设损失度允许范围的量化后模型训练数据发送给接收端智能网卡，包括：
5.根据权利要求1所述的数据传输方法，其特征在于，利用所述接收端智能网卡对所述量化后模型训练数据进行反量化，包括：
6.根据权利要求1所述的数据传输方法，其特征在于，利用所述发送端智能网卡将所述损失度计算结果满足预设损失度允许范围的量化后模型训练数据发送给接收端智能网卡，并将所述损失度计算结果超出所述预设损失度允许范围的量化后模型训练数据对应的浮点型模型训练数据发送给所述接收端智能网卡，包括：
7.根据权利要求6所述的数据传输方法，其特征在于，利用所述接收端智能网卡对所述量化后模型训练数据进行反量化，包括：
8.根据权...
【专利技术属性】
技术研发人员：戴钰桀，王彦伟，朱克峰，黄伟，李兵兵，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。