预训练模型、无线感知模型的训练方法及电子设备技术

本发明专利技术提供了一种预训练模型、无线感知模型的训练方法及电子设备，该方法包括：获取N个第一无线信号样本，每个第一无线信号样本对应维度不同的M个无线信号表征信息；将M个无线信号表征信息分别输入特征提取模块，得到维度不同的M个特征表征信息；将M个特征表征信息分别输入转换器模块，得到维度相同的M个目标特征表征信息；将第m1个第一目标特征表征信息输入第m1个预测器模块，得到与M

【技术实现步骤摘要】
预训练模型、无线感知模型的训练方法及电子设备


[0001]本专利技术涉及计算机、信号处理领域，更具体地，涉及一种预训练模型、无线感知模型的训练方法及电子设备。

技术介绍

[0002]学习式无线感知任务性能提升的最大障碍是获取一个大规模、高质量的人工标记数据集。然而无线信号缺乏可解释性与直观性，导致无线信号无法像视觉图像数据一样进行人工标记。此外，由于无线信号与数据采集环境的高度相关性，迫使数据集不得不在各种环境中进行大规模数据采集，进一步加大了数据集获取的难度。为解决上述问题，一种常见的解决方式是采用其它模态的传感器进行同步采集，例如视觉相机等。通过对其他模态的数据进行标记来间接实现无线信号数据的人工标记任务。然而不同模态之间的同步、校准等问题带来的额外开销仍限制了无线系统在现实世界的部署应用。
[0003]虽然大规模、高质量的人工标记无线信号数据获取困难，但是大规模、无标记的无线数据获取是相对容易的。近年来，采用无监督方法对模型进行预训练，来获取输入数据的一种通用的信息表征，并采用少量的标记数据对预训练模型进行微调，即可获得高效的性能的预训练方法，在计算机视觉和自然语言处理领域引起了广泛的关注。对比学习是其中发展最为迅速的方法之一。然而直接采用以基于数据增强（中心裁剪、添加噪声、颜色失真等）的正负样本为基础的对比学习方法，容易使得神经网络模型学习到的是某些捷径信息，导致数据增强式对比学习方法不适用于无线信号，同时使得该预训练模型不具有实际价值。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种预训练模型、无线感知模型的训练方法及电子设备。
[0005]本专利技术的一个方面提供了一种无线信号表征预训练模型的训练方法，包括：获取N个第一无线信号样本，每个所述第一无线信号样本对应维度不同的M个无线信号表征信息，其中，N为大于1的整数，M为大于1的整数；针对每个所述第一无线信号样本，将与所述第一无线信号样本相关的M个无线信号表征信息分别输入与所述无线信号表征信息相对应的特征提取模块，得到维度不同的M个特征表征信息；将所述M个特征表征信息分别输入与所述特征表征信息相对应的转换器模块，得到维度相同的M个目标特征表征信息；针对所述M个目标特征表征信息中的第m1个第一目标特征表征信息和其它M
‑
1个第二目标特征表征信息，将所述第m1个第一目标特征表征信息输入与所述第m1个第一目标特征表征信息相对应的第m1个预测器模块，得到与所述M
‑
1个第二目标特征表征信息相对应的M
‑
1个预测特征表征信息，其中，m1为大于等于1且小于等于M的整数；根据与所述N个第一无线信号样本相对应的N
×
M个目标特征表征信息以及与所述N个第一无线信号样本相对应的N
×
M
×
（M
‑
1）个预测特征表征信息，对所述特征提取模块、所述转换器模块和所述预测器模块进行训练，得到无线信号表征预训练模型。
[0006]本专利技术的另一个方面提供了一种无线感知模型的训练方法，其中，所述无线感知模型包括功能模块和基于本专利技术所述的无线信号表征预训练模型的训练方法训练得到的无线信号表征预训练模型中的特征提取模块，所述功能模块设置于所述特征提取模块之后，所述方法包括：利用第二无线信号样本，对所述特征提取模块和所述功能模块进行微调训练。
[0007]本专利技术的另一方面提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据本专利技术所述的无线信号表征预训练模型的训练方法和无线感知模型的训练方法其中至少之一。
[0008]根据本专利技术的实施例，通过采用了根据与N个第一无线信号样本相对应的N
×
M个目标特征表征信息以及与N个第一无线信号样本相对应的N
×
M
×
（M
‑
1）个预测特征表征信息，对特征提取模块、转换器模块和预测器模块进行训练，得到无线信号表征预训练模型的技术手段，由于目标特征表征信息可以通过对第一无线信号样本对应的无线信号表征信息进行特征提取和转换得到，预测特征表征信息可以在目标特征表征信息的基础上预测得到。结合N个第一无线信号样本对应的目标特征表征信息和预测特征表征信息，依据无线信号的特征，可以设计高效、通用的无线信号正负样本对构造方法。进一步结合M个由特征提取模块、转换器模块和预测器模块构成的支路，可以设计得到符合正负样本对的形式的网络框架，并可设计相应的训练策略，实现获取高效的无线信号表征预训练模型，对大规模无线感知应用具有广泛且重大的意义。
附图说明
[0009]通过以下参照附图对本专利技术实施例的描述，本专利技术的上述以及其他目的、特征和优点将更为清楚，在附图中：图1示出了根据本专利技术实施例的可以应用无线信号表征预训练模型的训练方法和无线感知模型的训练方法其中至少之一的示例性系统架构；图2示出了根据本专利技术实施例的无线信号表征预训练模型的训练方法的流程图；图3示出了根据本专利技术实施例的正负样本对的示意图；图4示出了根据本专利技术实施例的无线信号表征预训练模型的示例性架构；图5示出了根据本专利技术的实施例的无线信号表征预训练模型的训练装置的框图；图6示出了根据本专利技术的实施例的无线感知模型的训练装置的框图；图7示出了根据本专利技术实施例的适于实现上文描述的方法的计算机系统的框图。
具体实施方式
[0010]以下，将参照附图来描述本专利技术的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本专利技术实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。
[0011]在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本专利技术。在此使用
的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
[0012]在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
[0013]在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B或C中至本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无线信号表征预训练模型的训练方法，包括：获取N个第一无线信号样本，每个所述第一无线信号样本对应维度不同的M个无线信号表征信息，其中，N为大于1的整数，M为大于1的整数；针对每个所述第一无线信号样本，将与所述第一无线信号样本相关的M个无线信号表征信息分别输入与所述无线信号表征信息相对应的特征提取模块，得到维度不同的M个特征表征信息；将所述M个特征表征信息分别输入与所述特征表征信息相对应的转换器模块，得到维度相同的M个目标特征表征信息；针对所述M个目标特征表征信息中的第m1个第一目标特征表征信息和其它M
‑
1个第二目标特征表征信息，将所述第m1个第一目标特征表征信息输入与所述第m1个第一目标特征表征信息相对应的第m1个预测器模块，得到与所述M
‑
1个第二目标特征表征信息相对应的M
‑
1个预测特征表征信息，其中，m1为大于等于1且小于等于M的整数；根据与所述N个第一无线信号样本相对应的N
×
M个目标特征表征信息以及与所述N个第一无线信号样本相对应的N
×
M
×
（M
‑
1）个预测特征表征信息，对所述特征提取模块、所述转换器模块和所述预测器模块进行训练，得到无线信号表征预训练模型。2.根据权利要求1所述的方法，其中，所述根据与所述N个第一无线信号样本相对应的N
×
M个目标特征表征信息以及与所述N个第一无线信号样本相对应的N
×
M
×
（M
‑
1）个预测特征表征信息，对所述特征提取模块、所述转换器模块和所述预测器模块进行训练包括：基于第一损失函数，根据所述N
×
M
×
（M
‑
1）个预测特征表征信息以及与每个所述预测特征表征信息相对应的第二目标特征表征信息，得到第一损失函数值；基于第二损失函数，根据所述N
×
M个目标特征表征信息，得到第二损失函数值；根据所述第一损失函数值和所述第二损失函数值，调整所述特征提取模块、所述转换器模块和所述预测器模块的模型参数。3.根据权利要求2所述的方法，其中，所述预测器模块的数目为M个；所述基于第一损失函数，根据所述N
×
M
×
（M
‑
1）个预测特征表征信息以及与每个所述预测特征表征信息相对应的第二目标特征表征信息，得到第一损失函数值包括：根据第m2个预测器模块预测得到的第m2’
个预测特征表征信息以及与所述第m2’
个预测特征表征信息相对应的第二目标特征表征信息，计算第一距离，其中，m2∈{1,2,
…
,M
‑
1}，m2’
∈{1,2,
…
,M
‑
1}，且m2’
≠m2；根据第m2+1个预测器模块预测得到的第m2’
+1个预测特征表征信息以及与所述第m2...

【专利技术属性】
技术研发人员：陈彦，宋瑞源，张东恒，张冬，孙启彬，李厚强，张勇东，陆军，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：