通信系统中的端到端学习技术方案

一种装置、方法和计算机程序被描述，包括：初始化传输系统的参数，其中传输系统包括发射器、信道和接收器，其中发射器包括具有至少一些可训练权重的发射器算法，并且接收器包括具有至少一些可训练权重的接收器算法；基于损失函数来更新传输系统的可训练参数，其中可训练参数包括发射器的可训练权重和接收器的可训练权重，并且其中损失函数包括惩罚项；量化所述可训练参数，以使得所述权重只能采用具有有限数目的条目的码本内的值，有限数目的条目是在更新期间可用的可能值的子集；以及重复更新和量化直到第一条件被达到。

【技术实现步骤摘要】
【国外来华专利技术】通信系统中的端到端学习
本说明书涉及通信系统中的学习。
技术介绍
简单的通信系统包括发射器、传输信道和接收器。这样的通信系统的设计可能涉及系统的每个部分的单独设计和优化。一种替代方法是将整个通信系统考虑为单个系统并且寻求优化整个系统。尽管在现有技术中已经进行了一些尝试，但是在该领域中仍然存在进一步发展的机会。
技术实现思路
在第一方面，本说明书提供了一种装置，该装置包括：用于初始化传输系统的参数的部件(诸如初始化或控制模块)，其中传输系统包括发射器、信道和接收器，其中发射器包括具有至少一些可训练权重的发射器算法，并且接收器包括具有至少一些可训练权重的接收器算法；用于基于损失函数来更新传输系统的可训练参数的部件(诸如训练模块)，其中可训练参数包括发射器的可训练权重和接收器的可训练权重，并且其中损失函数包括惩罚项；用于量化所述可训练参数以使得所述权重只能采用具有有限数目的条目的码本内的值的部件(诸如量化模块)，有限数目的条目是在更新(或训练)期间可用的可能值的子集；以及用于重复更新和量化直到第一条件被达到的部件(诸如控制模块)。考虑到任何硬件实现仅供给有限的精度，在第一方面中对码本的使用可以被认为涉及选择由系统在其上被训练的硬件所提供的较低精度。惩罚项可以包括变量，该变量在更新和量化的每次重复时被调节(例如，被增大)，以使得在每次重复时，更大权重在损失函数中被给予可训练参数与经量化的可训练参数之间的差异。以这种方式，可训练参数可以逐步地被迫使采用接近于(或在其内)受限集合(也即，码本)的值。<br>用于量化所述可训练参数的部件可以使用定点算术来表达经量化的所述权重。当与神经网络实现中经常使用的浮点算术相比时，定点算术(例如，k位固定算术)可以减少存储器需求并且简化算术运算。一些实施例还可以包括用于在每次重复时更新变量的控制模块或某个其他部件。当可训练参数与经量化的可训练参数之间的差异低于阈值水平时，第一条件可以被满足。替代地或另外地，第一条件可以包括所定义的(例如，预设的)迭代次数。一些实施例还可以包括用于以缩放因子来缩放(例如，在由接收器处理之前)在接收器处接收的信号的乘法器(或某个其他部件)。缩放因子可以是输入的函数。缩放因子可以被学习。在一些实施例中，缩放因子可以使得所接收的信号的动态范围匹配到码本。在一些实施例中，发射器可以被实现为查找表。损失函数可以与块错误率、比特错误率和分类交叉熵中的一项或多项有关。用于更新传输系统的可训练参数的部件可以包括优化以下一项或多项：发射器训练消息序列的批量大小、学习速率、以及应用到发射器训练消息序列的受扰动版本的扰动的分布。发射器算法和接收器算法的至少一些权重可以使用随机梯度下降而被训练。发射器算法可以包括发射器神经网络。替代地或另外地，接收器算法可以包括接收器神经网络。所述部件可以包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序被配置为与至少一个处理器一起引起装置的执行。在第二方面，本说明书提供了一种方法，该方法包括：初始化传输系统的参数，其中传输系统包括发射器、信道和接收器，其中发射器包括具有至少一些可训练权重的发射器算法，并且接收器包括具有至少一些可训练权重的接收器算法；基于损失函数来更新传输系统的可训练参数，其中可训练参数包括发射器的可训练权重和接收器的可训练权重，并且其中损失函数包括惩罚项；量化所述可训练参数，以使得所述权重只能采用具有有限数目的条目的码本内的值，有限数目的条目是在更新(或训练)期间可用的可能值的子集；以及重复更新和量化直到第一条件被达到。惩罚项可以包括变量，该变量在更新和量化的每次重复时被调节(例如，被增大)，以使得在每次重复时，更大权重在损失函数中被给予可训练参数与经量化的可训练参数之间的差异。经量化的可训练参数可以使用定点算术来表达经量化的所述权重。当可训练参数与经量化的可训练参数之间的差异低于阈值水平时，第一条件可以被满足。替代地或另外地，第一条件可以包括所定义的迭代次数。在一些实施例中，发射器可以被实现为查找表。发射器算法和接收器算法的至少一些权重可以使用随机梯度下降而被训练。在第三方面，本说明书描述了被配置为执行如参考第二方面描述的任何方法的任何装置。在第四方面，本说明书描述了一种工作产品，该工作产品包括通过如参考第二方面描述的任何方法创建的查找表或数组。在第五方面，本说明书描述了计算机可读指令，这些计算机可读指令在由计算装置执行时，使计算装置执行如参考第二方面描述的任何方法。在第六方面，本说明书描述了一种计算机程序，该计算机程序包括指令，这些指令用于使装置至少执行以下：初始化传输系统的参数，其中传输系统包括发射器、信道和接收器，其中发射器包括具有至少一些可训练权重的发射器算法，并且接收器包括具有至少一些可训练权重的接收器算法；基于损失函数来更新传输系统的可训练参数，其中可训练参数包括发射器的可训练权重和接收器的可训练权重，并且其中损失函数包括惩罚项；量化所述可训练参数，以使得所述权重只能采用具有有限数目的条目的码本内的值，有限数目的条目是在更新期间可用的可能值的子集；以及重复更新和量化直到第一条件被达到。惩罚项可以包括变量，该变量在更新和量化的每次重复时被调节(例如，被增大)，以使得在每次重复时，更大权重在损失函数中被给予可训练参数与经量化的可训练参数之间的差异。在第七方面，本说明书描述了一种计算机可读介质(诸如非瞬态计算机可读介质)，该计算机可读介质包括存储在其上的程序指令，这些程序指令用于至少执行以下：初始化传输系统的参数，其中传输系统包括发射器、信道和接收器，其中发射器包括具有至少一些可训练权重的发射器算法，并且接收器包括具有至少一些可训练权重的接收器算法；基于损失函数来更新传输系统的可训练参数，其中可训练参数包括发射器的可训练权重和接收器的可训练权重，并且其中损失函数包括惩罚项；量化所述可训练参数，以使得所述权重只能采用具有有限数目的条目的码本内的值，有限数目的条目是在更新期间可用的可能值的子集；以及重复更新和量化直到第一条件被达到。在第八方面，本说明书描述了一种装置，该装置包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，计算机程序代码在由至少一个处理器执行时使该装置：初始化传输系统的参数，其中传输系统包括发射器、信道和接收器，其中发射器包括具有至少一些可训练权重的发射器算法，并且接收器包括具有至少一些可训练权重的接收器算法；基于损失函数来更新传输系统的可训练参数，其中可训练参数包括发射器的可训练权重和接收器的可训练权重，并且其中损失函数包括惩罚项；量化所述可训练参数，以使得所述权重只能采用具有有限数目的条目的码本内的值，有限数目的条目是在更新期间可用的可能值的子集；以及重复更新和量化直到第一条件被达到。在第九方面，本说明书描述了一种装置，该装置包括：用于初始化传输系统的参数的初始化模块，其中传输系统包括发射器本文档来自技高网...

【技术保护点】
1.一种装置，包括：/n用于初始化传输系统的参数的部件，其中所述传输系统包括发射器、信道和接收器，其中所述发射器包括具有至少一些可训练权重的发射器算法，并且所述接收器包括具有至少一些可训练权重的接收器算法；/n用于基于损失函数来更新所述传输系统的可训练参数的部件，其中所述可训练参数包括所述发射器的所述可训练权重和所述接收器的所述可训练权重，并且其中所述损失函数包括惩罚项；/n用于量化所述可训练参数以使得所述权重只能采用具有有限数目的条目的码本内的值的部件，所述有限数目的条目是在更新期间可用的可能值的子集；以及/n用于重复所述更新和所述量化直到第一条件被达到的部件。/n

【技术特征摘要】
【国外来华专利技术】1.一种装置，包括：
用于初始化传输系统的参数的部件，其中所述传输系统包括发射器、信道和接收器，其中所述发射器包括具有至少一些可训练权重的发射器算法，并且所述接收器包括具有至少一些可训练权重的接收器算法；
用于基于损失函数来更新所述传输系统的可训练参数的部件，其中所述可训练参数包括所述发射器的所述可训练权重和所述接收器的所述可训练权重，并且其中所述损失函数包括惩罚项；
用于量化所述可训练参数以使得所述权重只能采用具有有限数目的条目的码本内的值的部件，所述有限数目的条目是在更新期间可用的可能值的子集；以及
用于重复所述更新和所述量化直到第一条件被达到的部件。


2.根据权利要求1所述的装置，其中所述惩罚项包括变量，所述变量在所述更新和所述量化的每次重复时被调节，以使得在每次重复时，更大权重在所述损失函数中被给予所述可训练参数与经量化的所述可训练参数之间的差异。


3.根据权利要求1或权利要求2所述的装置，其中用于量化所述可训练参数的所述部件使用定点算术来表达经量化的所述权重。


4.根据权利要求1至3中任一项所述的装置，还包括：用于在每次重复时更新变量的部件。


5.根据前述权利要求中任一项所述的装置，其中当所述可训练参数与经量化的所述可训练参数之间的差异低于阈值水平时，所述第一条件被满足。


6.根据前述权利要求中任一项所述的装置，其中所述第一条件包括所定义的迭代次数。


7.根据前述权利要求中任一项所述的装置，还包括：用于以缩放因子来缩放在所述接收器处接收的信号的部件。


8.根据权利要求7所述的装置，其中所述缩放因子使得所接收的所述信号的动态范围匹配于所述码本。


9.根据前述权利要求中任一项所述的装置，其中所述发射器被实现为查找表。


10.根据前述权利要求中任一项所述的装置，其中所述损失函数与块错误率、比特错误率和分类交叉熵中的一项或多项有关。


11.根据前述权利要求中任一项所述的装置，其中用于更新所述传输系统的可训练参数的所述部件包括优化以下一项或多项：发射器训练消息序列的批量大小、学习速率、以及应用到所述发射器训练消息序列的受扰动版本的扰动的分布。


12....

【专利技术属性】
技术研发人员：F·艾特·奥迪亚，J·霍伊迪斯，A·奇寇，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：芬兰;FI