本发明专利技术公开了一种基于信息瓶颈的语义通信方法，主要解决现有技术在语义通信时未考虑通信开销和带宽需求导致在资源约束场景下难部署的问题。其实现方案为：在发送端和接收端分别构建语义信道联合编码器和语义信道联合解码器；根据发送端和接收端在通信传输中的词语构建词典；利用词典获得文本向量；对文本向量进行语义信道联合编码得到语义特征向量；对语义特征向量进行语义信道联合解码输出接收文本语句；设计并计算基于信息瓶颈的目标函数；最小化目标函数，迭代更新编码器和解码器中各模块的权值，输出最终接收文本语句。本发明专利技术能降低语义通信开销和带宽需求，提高在语义通信资源约束下的通信性能，可用于物联网场景下资源受限时的数据通信。下资源受限时的数据通信。下资源受限时的数据通信。
【技术实现步骤摘要】
基于信息瓶颈的语义通信方法
[0001]本专利技术属于无线通信
，更进一步涉及一种语义通信方法，可用于物联网场景下资源受限时的数据通信。
技术介绍
[0002]随着无线通信和人工智能的发展，用户的智能需求将被进一步挖掘和实现，“万物智联”产生的庞大数据将为无线通信带来严峻挑战，无线通信系统迫切需要技术突破。香农和韦弗提出了通信的三个层次，第一个层次为通信的技术问题，主要研究如何准确传输通信的符号，第二个层次为通信的语义问题，主要研究所传输的符号是否准确地表达了预期含义，第三个层次为通信的有效性问题，主要解决收到的语义如何按照期望方式有效影响行为的问题。语义通信是一种全新的通信架构，扩展信息研究的层次，从语法信息深入到语义信息，通过提取用户语义信息来压缩数据，为通信系统优化提供新的研究角度。
[0003]北京邮电大学在申请号为：202210658290的专利文献中公开了“一种面向智能任务的语义通信方法”。其实现方案是：首先，通过发送端的设备采集图像数据，经卷积神经网络提取特征图，利用语义概念对应神经元激活值对特征图求梯度后取平均，得到特征图相对于语义概念的重要性权重，将语义概念和特征图排序关系起来；其次，利用得到的语义关系，对特征图进行裁剪压缩，进而保留重要性权重高的特征图，将压缩后的特征图经无线信道进行传输；然后由接收端对接收到的信号进行解调，恢复特征图数据，并输入后续神经网络，完成智能任务，返回结果给发送端设备。该方法采用语义编码和信道编码分离的方案，由于没有考虑语义信道联合编码，使得语义编码和信道编码的性能没有达到联合最优，从而限制了语义通信的性能。
[0004]秦志金和Geoffrey Ye Li在其发表的论文“Deep Learning Enabled Semantic Communication Systems”(IEEE Transactions on Signal Processing,vol.69,pp.2663
‑
2675,2021)中提出了一种基于深度学习的语义通信系统。其由发送端、信道与接收端三个部分组成，发送端包括语义编码器和信道编码器，接收端包括信道解码器和语义解码器。其中，语义编码器和语义解码器分别由多个Transformer编码层和Transformer解码层构成，信道编码器和信道解码器由具有不同神经元的全连接层构成，通信信道建模成一个不可训练的神经网络层。该方法在句子层面明确了语义信息的概念，首先基于最大化互信息训练信道编解码器以最大化传输速率，然后在基于最小化交叉熵训练整个系统以最小化语义误差。但由于没有考虑语义通信的开销和带宽需求，因而在资源约束情况下难以部署，无法广泛应用于万物智联的场景。
技术实现思路
[0005]本专利技术的目的在于针对上述现有技术的不足，提出一种基于信息瓶颈的语义通信方法，以提高在语义通信资源约束情况下的通信性能，扩大应用场景。
[0006]实现本专利技术目的的技术思路是：通过构建的语义信道联合编码模块，对输入文本
语句进行文本向量化、语义编码和信道编码，并对编码后的语义特征向量进行选择和压缩，剪枝冗余的语义特征向量维度，以降低语义通信开销和带宽需求；通过构建的语义信道联合解码模块对语义特征向量进行信道解码、语义解码和文本恢复，输出接收文本语句；通过设计基于信息瓶颈的目标函数，对语义信道联合编码器和语义信道联合解码器进行优化，降低语义通信开销和带宽需求，提升在语义通信资源约束情况下的通信性能。
[0007]根据上述思路，本专利技术的技术方案包括如下步骤：
[0008](1)在发送端构建由文本嵌入模块、语义编码模块、信道编码模块、特征选择模块级联组成的语义信道联合编码器；
[0009](2)在接收端构建由信道解码模块、语义解码模块、文本恢复模块级联组成的语义信道联合解码器：
[0010](3)根据发送端和接收端在通信过程可能传输的词语，构建词典；
[0011](4)利用词典得到待传输的文本语句的文本序列，通过发送端的文本嵌入模块对该文本语句的文本序列进行词嵌入和位置嵌入，得到文本向量；
[0012](5)将步骤(4)得到的文本向量依次通过发送端的语义编码模块和信道编码模块进行编码，并通过特征选择模块对其进行选择、压缩，剪枝冗余的语义特征，得到待传输的语义特征向量；
[0013](6)将待传输的语义特征向量通过无线信道传输到接收端的语义信道联合解码器中，依次通过该解码器中的信道解码模块和语义解码模块对语义特征向量进行解码，并通过文本恢复模块转化为对应的词语，输出接收文本语句；
[0014](7)基于信息瓶颈理论设计由语义误差和语义冗余这两个互信息项加权和组成的目标函数L
IB
，并根据待传输的文本语句和接收文本语句计算语义误差L
e
和语义冗余L
r
，得到目标函数值；
[0015](8)基于梯度下降法减小目标函数，迭代更新语义信道联合编码器和语义信道联合解码器中各模块的权值，每轮更新权值后返回步骤(5)，通过特征选择模块剪枝冗余的语义特征，降低语义通信开销和带宽需求，再通过步骤(6)得到接收文本语句，直到目标函数达到最小值时停止迭代过程，得到最终接收文本语句。
[0016]本专利技术与现有技术相比有以下优点：
[0017]第一，本专利技术由于构建了语义信道联合编码器，并基于深度学习的方法进行语义编码和信道编码，通过端到端的反向传播联合优化，克服了现有技术在语义通信时分离的语义编码和信道编码误差传播造成系统性能降低的问题，使得联合优化语义编码模块和信道编码模块可达到最优，提升了语义通信的性能。
[0018]第二，由于本专利技术设计了基于信息瓶颈理论的系统优化方案，使用互信息刻画语义通信性能和开销之间的平衡得到目标函数，通过最小化目标函数在保证通信性能的同时降低通信开销，克服了现有技术在语义通信时未考虑通信开销和带宽需求难以广泛部署的问题，使得在语义通信资源约束的情况下仍能保证通信性能，扩大了应用场景。
附图说明
[0019]图1是本专利技术的实现流程图；
[0020]图2是本专利技术中构建的语义信道联合编码器结构示意图；
[0021]图3是本专利技术中构建的语义信道联合解码器结构示意图；
[0022]图4是分别用本专利技术和现有的三种方法进行数据通信仿真的对比性能图。
具体实施方式
[0023]下面结合附图对本专利技术的实施例和效果，做进一步的详细描述。
[0024]参照图1，本实例的实现步骤如下：
[0025]步骤1，构建语义信道联合编码器。
[0026]参照图2，本步骤具体实现如下：
[0027]1.1)建立文本嵌入模块，其由词嵌入层和位置嵌入层级联组成，该词嵌入层的输出维度设置为128，该位置嵌入层采用如下正余弦函数实现：
[0028][0029][0030]其中，PE(pos,2i)表示词向量偶数维度的位置信息，PE(pos,本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于信息瓶颈的语义通信方法，其特征在于，包括如下步骤：(1)在发送端构建由文本嵌入模块、语义编码模块、信道编码模块、特征选择模块级联组成的语义信道联合编码器；(2)在接收端构建由信道解码模块、语义解码模块、文本恢复模块级联组成的语义信道联合解码器：(3)根据发送端和接收端在通信过程可能传输的词语，构建词典；(4)利用词典得到待传输的文本语句的文本序列，通过发送端的文本嵌入模块对该文本语句的文本序列进行词嵌入和位置嵌入，得到文本向量；(5)将步骤(4)得到的文本向量依次通过发送端的语义编码模块和信道编码模块进行编码，并通过特征选择模块对其进行选择、压缩，剪枝冗余的语义特征，得到待传输的语义特征向量；(6)将待传输的语义特征向量通过无线信道传输到接收端的语义信道联合解码器中，依次通过该解码器中的信道解码模块和语义解码模块对语义特征向量进行解码，并通过文本恢复模块转化为对应的词语，输出接收文本语句；(7)基于信息瓶颈理论设计由语义误差和语义冗余这两个互信息项加权和组成的目标函数L
IB
，并根据待传输的文本语句和接收文本语句计算语义误差L
e
和语义冗余L
r
，得到目标函数值；(8)基于梯度下降法减小目标函数，迭代更新语义信道联合编码器和语义信道联合解码器中各模块的权值，每轮更新权值后返回步骤(5)，通过特征选择模块剪枝冗余的语义特征，降低语义通信开销和带宽需求，再通过步骤(6)得到接收文本语句，直到目标函数达到最小值时停止迭代过程，得到最终接收文本语句。2.根据权利要求1所述的方法，其特征在于，所述步骤(1)构建语义信道联合编码器中的各模块的结构及参数如下：所述文本嵌入模块，其由词嵌入层和位置嵌入层级联组成，该词嵌入层的输出维度设置为128，该位置嵌入层采用如下正余弦函数实现：置为128，该位置嵌入层采用如下正余弦函数实现：其中，PE(pos,2i)表示词向量偶数维度的位置信息，PE(pos,2i+1)表示词向量奇数维度的位置信息，pos表示文本语句中词语的位置，i表示词向量的维度序号，d
model
表示词向量的维度数值；所述语义编码模块，其由N个多头自注意力层和前馈神经网络级联组成，该前馈神经网络包括两层全连接层，这两层全连接层的输出维度分别为512和128，该多头自注意力层采用如下自注意力函数实现：其中，Q、K、V分别表示输入的文本向量经过不同线性变换后的查询矩阵、键矩阵和值矩阵，T表示转置操作，QK
T
表示查询矩阵Q和转置操作后键矩阵K的相关性矩阵，d
K
表示键矩阵K的列数，softmax(
·
)表示softmax函数；
所述信道编码模块，其由多层感知器组成，该多层感知器包括两层全连接层，这两层全连接层输出维度分别设置为256和16；所述特征选择模块，其由输出维度为16的自定义全连接层组成，该模块的表达式如下；其中，e和z分别表示特征选择前后的语义特征向量，γ表示引入待更新的语义特征重要性向量，表示自定义全连接层的增广权值矩阵，||
·
||2表示矩阵二范数运算，Tanh(<...
【专利技术属性】
技术研发人员：刘伟，王孟洋，白宝明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。