【技术实现步骤摘要】
本专利技术涉及人工智能，特别涉及异构设备之间数据传输，尤其涉及一种数据格式转换方法、设备、介质和程序产品。
技术介绍
1、随着人工智能技术的飞速发展和大语言模型（large language model，llm）的广泛应用，模型的参数规模和训练数据量不断增加，导致对计算资源的需求越来越大，所需要的计算设备数量也随之增加。因此，多设备异构混训（也称“异构训练”）已成为不可或缺的模型训练方式。基于流水线并行的异构混训又是目前异构混训的主流模式，它将模型的不同层分配到多个设备上，使得这些层可以并行处理数据，从而提高训练效率。
2、然而，这些设备可能来自不同厂商或者同一厂商的不同产品型号，具有不同的硬件特性，形成了异构设备集群。在该集群中，由于不同设备间硬件特性的差异，导致设备之间的数据格式存在差异，这种差异性使得训练数据在设备间传输时会出现格式不匹配的问题，从而影响训练过程的正常进行。
技术实现思路
1、本专利技术提供一种数据格式转换方法、设备、介质和程序产品，用以解决相关技术中异构设备间数据格式不匹配，影响模型训练的缺陷。
2、本专利技术提供一种数据格式转换方法，包括：
3、基于源端设备和目标端设备的数据传输信息，从格式检测结果表中查找所述源端设备和所述目标端设备的数据格式检测结果；
4、在未查找到所述数据格式检测结果的情况下，基于所述源端设备的数据形状和所述目标端设备的数据形状，进行数据格式匹配检测，得到检测结果，并将所述检测结果作为所
5、在所述检测结果为不匹配的情况下，对所述源端设备的输出数据进行格式转换，得到目标数据，并将所述目标数据作为所述目标端设备的输入数据进行数据传输，所述目标数据的格式与所述目标端设备的数据格式相匹配。
6、根据本专利技术提供的一种数据格式转换方法，所述对所述源端设备的输出数据进行格式转换，得到目标数据，包括：
7、对所述源端设备输出的各切片数据执行全收集操作，得到输出数据；
8、对所述输出数据进行数据序转换，并对转换得到的数据执行散发操作，得到所述目标数据。
9、根据本专利技术提供的一种数据格式转换方法，还包括：
10、在所述检测结果为匹配的情况下，将所述源端设备的输出数据作为所述目标端设备的输入数据进行数据传输。
11、根据本专利技术提供的一种数据格式转换方法，还包括：
12、在查找到所述数据格式检测结果的情况下，若所述数据格式检测结果为匹配，则将所述源端设备的输出数据作为所述目标端设备的输入数据进行数据传输；
13、若所述数据格式检测结果为不匹配，则对所述源端设备的输出数据进行格式转换，得到目标数据，并将所述目标数据作为所述目标端设备的输入数据进行数据传输。
14、根据本专利技术提供的一种数据格式转换方法，所述基于所述源端设备的数据形状和所述目标端设备的数据形状，进行数据格式匹配检测，得到检测结果，包括：
15、基于所述源端设备的数据形状，确定所述源端设备的数据大小和数据序；
16、基于所述目标端设备的数据形状，确定所述目标端设备的数据大小和数据序；
17、将所述源端设备的数据大小和所述目标端设备的数据大小进行比较，得到第一比较结果，并将所述源端设备的数据序和所述目标端设备的数据序进行比较，得到第二比较结果；
18、基于所述第一比较结果和所述第二比较结果，确定所述检测结果。
19、根据本专利技术提供的一种数据格式转换方法，所述将所述检测结果作为所述源端设备和所述目标端设备的数据格式检测结果存储至所述格式检测结果表中，包括：
20、将所述源端设备和所述目标端设备的数据传输信息作为键，并将所述检测结果作为值，存储至所述格式检测结果表中；
21、所述数据传输信息包括所述源端设备的数据形状、所述源端设备和所述目标端设备共同所属的通信组标识、以及所述目标端设备的编号。
22、根据本专利技术提供的一种数据格式转换方法，所述对所述源端设备的输出数据进行格式转换，包括：
23、基于目标设备，对所述源端设备的输出数据进行格式转换，所述目标设备是基于设备性能从所述源端设备和所述目标端设备中选定的。
24、本专利技术还提供一种数据格式转换系统，包括：
25、查找单元，用于基于源端设备和目标端设备的数据传输信息，从格式检测结果表中查找所述源端设备和所述目标端设备的数据格式检测结果；
26、检测单元，用于在未查找到所述数据格式检测结果的情况下，基于所述源端设备的数据形状和所述目标端设备的数据形状，进行数据格式匹配检测，得到检测结果，并将所述检测结果作为所述源端设备和所述目标端设备的数据格式检测结果存储至所述格式检测结果表中；
27、转换单元，用于在所述检测结果为不匹配的情况下，对所述源端设备的输出数据进行格式转换，得到目标数据，并将所述目标数据作为所述目标端设备的输入数据进行数据传输，所述目标数据的格式与所述目标端设备的数据格式相匹配。
28、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述数据格式转换方法。
29、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据格式转换方法。
30、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据格式转换方法。
31、本专利技术提供的数据格式转换方法、设备、介质和程序产品，通过基于源端设备和目标端设备的数据传输信息，可以从格式检测结果表中查找源端设备和目标端设备的数据格式检测结果，并在未查找到数据格式检测结果的情况下，通过基于源端设备的数据形状和目标端设备的数据形状进行数据格式匹配检测，可以自动地、准确地判断源端设备和目标端设备的数据格式是否匹配，以便做出后续的处理决策。当检测结果为不匹配时，通过对源端设备的输出数据进行格式转换，可以使转换得到的目标数据的格式与目标端设备的数据格式相匹配，从而确保异构设备间数据传输的顺利进行，避免了因数据格式不匹配而导致的传输错误或失败，实现了高效、灵活的跨设备通信，进而确保模型训练的正常进行。此外，通过将检测结果存储至格式检测结果表中，可以在后续的数据传输过程中避免重复检测，从而提高数据传输效率。
本文档来自技高网...【技术保护点】
1.一种数据格式转换方法，其特征在于，包括：
2.根据权利要求1所述的数据格式转换方法，其特征在于，所述对所述源端设备的输出数据进行格式转换，得到目标数据，包括：
3.根据权利要求1所述的数据格式转换方法，其特征在于，还包括：
4.根据权利要求1所述的数据格式转换方法，其特征在于，还包括：
5.根据权利要求1所述的数据格式转换方法，其特征在于，所述基于所述源端设备的数据形状和所述目标端设备的数据形状，进行数据格式匹配检测，得到检测结果，包括：
6.根据权利要求1至5任一项所述的数据格式转换方法，其特征在于，所述将所述检测结果作为所述源端设备和所述目标端设备的数据格式检测结果存储至所述格式检测结果表中，包括：
7.根据权利要求1至5任一项所述的数据格式转换方法，其特征在于，所述对所述源端设备的输出数据进行格式转换，包括：
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述数据格式转换方法
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据格式转换方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据格式转换方法。
...【技术特征摘要】
1.一种数据格式转换方法，其特征在于，包括：
2.根据权利要求1所述的数据格式转换方法，其特征在于，所述对所述源端设备的输出数据进行格式转换，得到目标数据，包括：
3.根据权利要求1所述的数据格式转换方法，其特征在于，还包括：
4.根据权利要求1所述的数据格式转换方法，其特征在于，还包括：
5.根据权利要求1所述的数据格式转换方法，其特征在于，所述基于所述源端设备的数据形状和所述目标端设备的数据形状，进行数据格式匹配检测，得到检测结果，包括：
6.根据权利要求1至5任一项所述的数据格式转换方法，其特征在于，所述将所述检测结果作为所述源端设备和所述目标端设备的数据格式检测结果存储至所述...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：上海壁仞科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。