【技术实现步骤摘要】
【国外来华专利技术】
本申请涉及机器学习，并且更为具体地，涉及一种模型训练方法、终端设备及网络设备。
技术介绍
1、随着通信技术的发展，某些业务在智能模型的支持下可以显著减轻无线网络中的数据传输负担。例如，面向任务的语义通信结合基于深度学习的语义编解码器模型可以支持多种终端设备的智能连接。
2、但是，不同类型或不同架构的终端设备存在较大的能力差异，对同一模型进行训练所需的时间也就不同。因此，当多种终端设备共同训练模型时，如何高效地进行模型训练是亟需解决的问题。
技术实现思路
1、本申请提供一种模型训练方法、终端设备及网络设备。下面介绍本申请实施例涉及的各个方面。
2、第一方面，提供一种模型训练方法，包括：第一终端设备接收网络设备发送的第一模型和第一信息；所述第一终端设备根据所述第一信息在多种训练模式中选择第一训练模式；其中，所述多种训练模式共同用于对所述第一模型进行训练，所述第一训练模式用于所述第一终端设备执行与所述第一模型相关的上行传输和/或模型训练。
3、第二方面，提供一种模型训练方法，包括：网络设备向第一终端设备发送第一模型和第一信息；其中，所述第一信息用于所述第一终端设备在多种训练模式中选择第一训练模式，所述多种训练模式共同用于对所述第一模型进行训练，所述第一训练模式用于所述第一终端设备执行与所述第一模型相关的上行传输和/或模型训练。
4、第三方面，提供一种终端设备，所述终端设备为第一终端设备，所述终端设备包括：第一接收单元，用于接收网络设备发送的
5、第四方面，提供一种网络设备，所述网络设备包括：第一发送单元，用于发送第一模型和第一信息；其中，所述第一信息用于所述第一终端设备在多种训练模式中选择第一训练模式，所述多种训练模式共同用于对所述第一模型进行训练，所述第一训练模式用于所述第一终端设备执行与所述第一模型相关的上行传输和/或模型训练。
6、第五方面，提供一种通信装置，包括存储器和处理器，所述存储器用于存储程序，所述处理器用于调用所述存储器中的程序，以执行如第一方面或第二方面所述的方法。
7、第六方面，提供一种装置，包括处理器，用于从存储器中调用程序，以执行如第一方面或第二方面所述的方法。
8、第七方面，提供一种芯片，包括处理器，用于从存储器调用程序，使得安装有所述芯片的设备执行如第一方面或第二方面所述的方法。
9、第八方面，提供一种计算机可读存储介质，其上存储有程序，所述程序使得计算机执行如第一方面或第二方面所述的方法。
10、第九方面，提供一种计算机程序产品，包括程序，所述程序使得计算机执行如第一方面或第二方面所述的方法。
11、第十方面，提供一种计算机程序，所述计算机程序使得计算机执行如第一方面或第二方面所述的方法。
12、本申请实施例第一终端设备根据第一信息在多种训练模式中确定对应的训练模式。其中，多种训练模式用于多个终端设备和网络设备协作训练第一模型。第一终端设备可以根据确定的训练模式参与对第一模型进行的训练。由此可见，本申请实施例的模型训练方法包括多种训练模式，以便于第一终端设备选择与其匹配的训练模式，从而提升多个终端设备共同对第一模型进行训练的效率。
本文档来自技高网...【技术保护点】
1.一种模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一信息被用于确定所述第一训练模式是否包括所述网络设备对所述第一模型中的部分或全部模型进行的集中式训练，所述方法还包括：
3.根据权利要求1或2所述的方法，其特征在于，第一信息包括与终端设备能力相关的第一阈值，当所述第一终端设备的能力低于所述第一阈值时，所述第一训练模式包括网络设备对所述第一模型中的部分或全部模型进行的集中式训练。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述多种训练模式与多个终端设备组一一对应，所述第一信息包括所述多个终端设备组的分组策略，所述分组策略用于所述第一终端设备根据所属的终端设备组确定所述第一训练模式。
5.根据权利要求4所述的方法，其特征在于，所述第一终端设备为训练所述第一模型的多个终端设备中的之一，所述分组策略基于所述多个终端设备的能力和/或信道系数确定。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述方法
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述方法还包括：
9.根据权利要求8所述的方法，其特征在于，所述资源分配策略用于确定所述第一终端设备执行所述第一训练模式的上行传输功率、能量消耗预算和/或处理器频率。
10.根据权利要求1-9中任一项所述的方法，其特征在于，所述第一模型包括编码器模型和解码器模型，所述多种训练模式包括：
11.根据权利要求10所述的方法，其特征在于，当所述第一训练模式为所述分布式训练时，所述方法还包括：
12.根据权利要求10所述的方法，其特征在于，当所述第一训练模式为所述集中式训练时，所述方法还包括：
13.根据权利要求10-12中任一项所述的方法，其特征在于，所述分布式训练用于确定在当前训练周期对多个本地模型梯度进行聚合后的聚合模型梯度，所述集中式训练用于确定在当前训练周期对所述解码器模型进行训练后的集中式模型梯度，所述聚合模型梯度和所述集中式模型梯度被共同用于确定在下一个训练周期进行训练的第二模型。
14.根据权利要求13所述的方法，其特征在于，所述第一模型中的编码器模型为φt，所述第一模型中的解码器模型为θt，所述第二模型中的编码器模型φt+1和解码器模型θt+1表示为：
15.根据权利要求1-14中任一项所述的方法，其特征在于，所述第一模型为用于语义通信的编解码器模型。
16.一种模型训练方法，其特征在于，包括：
17.根据权利要求16所述的方法，其特征在于，所述第一信息被用于确定所述第一训练模式是否包括所述网络设备对所述第一模型中的部分或全部模型进行的集中式训练，所述方法还包括：
18.根据权利要求16或17所述的方法，其特征在于，第一信息包括与终端设备能力相关的第一阈值，当所述第一终端设备的能力低于所述第一阈值时，所述第一训练模式包括网络设备对所述第一模型中的部分或全部模型进行的集中式训练。
19.根据权利要求16-18中任一项所述的方法，其特征在于，所述多种训练模式与多个终端设备组一一对应，所述第一信息包括所述多个终端设备组的分组策略，所述分组策略用于所述第一终端设备根据所属的终端设备组确定所述第一训练模式。
20.根据权利要求19所述的方法，其特征在于，所述第一终端设备为训练所述第一模型的多个终端设备中的之一，所述分组策略基于所述多个终端设备的能力和/或信道系数确定。
21.根据权利要求16-20中任一项所述的方法，其特征在于，所述方法还包括：
22.根据权利要求21所述的方法，其特征在于，所述方法还包括：
23.根据权利要求16-22中任一项所述的方法，其特征在于，所述方法还包括：
24.根据权利要求23所述的方法，其特征在于，所述资源分配策略用于确定所述第一终端设备执行所述第一训练模式的上行传输功率、能量消耗预算和/或处理器频率。
25.根据权利要求16-24中任一项所述的方法，其特征在于，所述第一模型包括编码器模型和解码器模型，所述多种训练模式包括：
26.根据权利要求25所述的方法，其特征在于，当所述第一训练模式为所述分布式训练时，所述方法还包括：
27.根据权利要求25所述的方法，其特征在于，当所述第一训练模式为所述集中式训练时，所述方法还包括：
28.根据权利要求25-27中任一项所述的方法，其特征在于，所述方法还包括：...
【技术特征摘要】
【国外来华专利技术】
1.一种模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一信息被用于确定所述第一训练模式是否包括所述网络设备对所述第一模型中的部分或全部模型进行的集中式训练，所述方法还包括：
3.根据权利要求1或2所述的方法，其特征在于，第一信息包括与终端设备能力相关的第一阈值，当所述第一终端设备的能力低于所述第一阈值时，所述第一训练模式包括网络设备对所述第一模型中的部分或全部模型进行的集中式训练。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述多种训练模式与多个终端设备组一一对应，所述第一信息包括所述多个终端设备组的分组策略，所述分组策略用于所述第一终端设备根据所属的终端设备组确定所述第一训练模式。
5.根据权利要求4所述的方法，其特征在于，所述第一终端设备为训练所述第一模型的多个终端设备中的之一，所述分组策略基于所述多个终端设备的能力和/或信道系数确定。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述方法还包括：
9.根据权利要求8所述的方法，其特征在于，所述资源分配策略用于确定所述第一终端设备执行所述第一训练模式的上行传输功率、能量消耗预算和/或处理器频率。
10.根据权利要求1-9中任一项所述的方法，其特征在于，所述第一模型包括编码器模型和解码器模型，所述多种训练模式包括：
11.根据权利要求10所述的方法，其特征在于，当所述第一训练模式为所述分布式训练时，所述方法还包括：
12.根据权利要求10所述的方法，其特征在于，当所述第一训练模式为所述集中式训练时，所述方法还包括：
13.根据权利要求10-12中任一项所述的方法，其特征在于，所述分布式训练用于确定在当前训练周期对多个本地模型梯度进行聚合后的聚合模型梯度，所述集中式训练用于确定在当前训练周期对所述解码器模型进行训练后的集中式模型梯度，所述聚合模型梯度和所述集中式模型梯度被共同用于确定在下一个训练周期进行训练的第二模型。
14.根据权利要求13所述的方法，其特征在于，所述第一模型中的编码器模型为φt，所述第一模型中的解码器模型为θt，所述第二模型中的编码器模型φt+1和解码器模型θt+1表示为：
15.根据权利要求1-14中任一项所述的方法，其特征在于，所述第一模型为用于语义通信的编解码器模型。
16.一种模型训练方法，其特征在于，包括：
17.根据权利要求16所述的方法，其特征在于，所述第一信息被用于确定所述第一训练模式是否包括所述网络设备对所述第一模型中的部分或全部模型进行的集中式训练，所述方法还包括：
18.根据权利要求16或17所述的方法，其特征在于，第一信息包括与终端设备能力相关的第一阈值，当所述第一终端设备的能力低于所述第一阈值时，所述第一训练模式包括网络设备对所述第一模型中的部分或全部模型进行的集中式训练。
19.根据权利要求16-18中任一项所述的方法，其特征在于，所述多种训练模式与多个终端设备组一一对应，所述第一信息包括所述多个终端设备组的分组策略，所述分组策略用于所述第一终端设备根据所属的终端设备组确定所述第一训练模式。
20.根据权利要求19所述的方法，其特征在于，所述第一终端设备为训练所述第一模型的多个终端设备中的之一，所述分组策略基于所述多个终端设备的能力和/或信道系数确定。
21.根据权利要求16-20中任一项所述的方法，其特征在于，所述方法还包括：
22.根据权利要求21所述的方法，其特征在于，所述方法还包括：
23.根据权利要求16-22中任一项所述的方法，其特征在于，所述方法还包括：
24.根据权利要求23所述的方法，其特征在于，所述资源分配策略用于确定所述第一终端设备执行所述第一训练模式的上行传输功率、能量消耗预算和/或处理器频率。
25.根据权利要求16-24中任一项所述的方法，其特征在于，所述第一模型包括编码器模型和解码器模型，所述多种训练模式包括：
26.根据权利要求25所述的方法，其特征在于，当所述第一训练模式为所述分布式训练时，所述方法还包括：
27.根据权利要求25所述的方法，其特征在于，当所述第一训练模式为所述集中式训练时，所述方法还包括：
28.根据权利要求25-27中任一项所述的方法，其特征在于，所述方法还包括：
29.根据权利要求28所述的方法，其特征在于，所述第一模型中的编码器模型为φt，所述第一模型中的解码器模型为θt，所述第二模型中的编码器模型φt+1和解码器模型θt+1表示为：
30.根据权利要求16-29中任一项所述的方法，其特征在于，所述第一模型为用于语义通信的编解码器模型。
31.一种终端设备，其特征在于，所述终端设备为第一终端设备，所述终端设备包括：
32.根据权利要求31所述的终端设备，其特征在于，所述第一信息被用于确定所述第一训练模式是否包括所述网络设备对所述第一模型中的部分或全部模型进行的集中式训练，所述终端设备还包括：
33.根据权利要求31或32所述的终端设备，其特征在于，第一信息包括与终端设备能力相关的第一阈值，当所述第一终端设备的能力低于所述第一阈值时，所述第一训练模式包括网络设备对所述第一模型中的部分或全部模型进行的集中式训练。
<...【专利技术属性】
技术研发人员：吕玲，赵铮，黄曲芳，刘瑾，
申请(专利权)人：上海移远通信技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。