【技术实现步骤摘要】
本专利技术属于无线通信，涉及一种面向图像超分辨率任务的语义通信方法。
技术介绍
1、面向任务的语义通信是一种新兴的沟通范式，旨在实现“万物智联”。这种范式强调数据“意义”的传输，而不是数据本身，具有减少无关信息传递和提高通信效率的潜力。图像超分辨率(super-resolution，sr)技术是指从低分辨率(low-resolution，lr)图像中恢复高分辨率(high-resolution，hr)细节和纹理，这可以显著提高图像可视化，并且可能降低图像采集设备的成本。语义通信中的图像sr任务传输语义信息，可以直接应用于下游任务，具有重要的研究价值。然而，面向图像sr任务的语义通信研究面临两大挑战：1)如何构建能够高效提取lr图像语义信息的联合信源信道编码(joint source-channel coding，jscc)方法用于hr图像重建；2)如何减轻通信信道的不利影响，确保通信的可靠性。
2、目前有关语义通信的研究主要集中在任务相关的jscc模型的设计上，面向语义通信的图像sr任务的研究仍存在空白。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供面向图像超分辨率任务的语义通信方法，能高效地从低分辨率图像中提取语义信息用于高分辨率图像重建，同时保证通信可靠性。
2、为达到上述目的，本专利技术提供如下技术方案：
3、一种面向图像超分辨率任务的语义通信方法，包括以下步骤：
4、s1：建立面向图像超分辨率任务的语义通信联合信源信道
5、s2：在发送端利用联合信源信道编码器网络提取低分辨率图像的浅层语义信息；
6、s3：在发送端利用联合信源信道编码器网络提取低分辨率图像的深层语义信息，同时对抗信道的不利影响；
7、s4：将发送端编码得到的语义信息通过无线信道传输到接收端，随后利用接收端的联合信源信道解码器网络生成高分辨率图像。
8、进一步，所述发送端包含一个使用深度神经网络设计的联合信源信道编码网络所述接收端包含一个使用深度神经网络设计的联合信源信道解码网络所述无线信道被构建为不可更新层；联合信源信道编码器和解码器的完整深度神经网络定义为整体模型通过联合训练实现从发送端到接收端的联合优化。
9、进一步，所述步骤s2具体包括：
10、用表示低分辨率图像，其中表示实数集合，h、w和c分别表示高度、宽度和颜色通道；
11、在编码阶段，联合信源信道编码器将i映射为一个θ维复向量其中表示复数集；带宽压缩比r用以下公式计算：
12、
13、r越小，压缩越大；
14、联合信源信道编码器网络利用两个3×3卷积层和从i中提取低分辨率图像的浅层语义信息fs，其表示为：
15、
16、进一步，所述步骤s3具体包括以下步骤：
17、s31：在发送端，编码器网络从i中提取低分辨率图像的浅层语义信息fs后，利用m个渐进式细化注意力特征(progressive refinement attention feature，praf)模块从fs中提取深层语义信息fd，同时对抗信道的不利影响；
18、s32：利用m个praf模块从fs中提取深层语义信息fd后，使用两个卷积层和对fd进行增强，再与fs融合得到融合信息fu：
19、s33：最后，为了减轻无线信道的不利影响，将fu的关键信息与无线信道的当前状态信息结合。
20、进一步，所述praf模块由多个语义信息细化块(semantic informationrefinement blocks，sirbs)和卷积层组成，在功能上分为两个部分：语义提取和语义调整；
21、语义提取：基于特征提炼原理，利用k个sirbs提取深层语义信息，同时降低计算复杂性；sirb由一个3×3的卷积层和一个特征通道分割(feature channel split，fcs)操作组成；卷积层提取的语义信息定义为其中，hs、ws和cs表示卷积层输出图像的高度、宽度和特征通道的数量；在特征通道的γ处被fcs分割成两部分；其中一部分称为保留的语义信息，用来进行后续计算，记为而另一部分称为被挑选的语义信息，用来作为连接操作concat(·)的输入，记为分割过程表述为concat(·)的输出结果记为该过程表示为：
22、
23、语义调整：语义调整部分基于信道的当前状态，动态增强中的关键信息；首先使用标准差和均值之和操作sdm(·)来捕获中的全局信息；对于输入语义调整部分的向量第k个特征通道的输出zk表示为：
24、
25、随后，concat(·)操作将向量μ与获取的全局信息zk沿特征通道维度连接；接着使用两个1×1的卷积层和来计算权重因子；这些因子随后应用于来生成一个调整后的输出，表示为：
26、
27、最后，的维度由调整，随后与输入端建立跳转连接，从而获得第i个praf模块的输出，表示为：
28、
29、进一步，步骤32包括以下步骤：
30、将m个praf模块的输出结果沿特征通道维度进行连接，得到深层语义信息fd；此过程表示如下：
31、
32、
33、为丰富的图像信息，fd使用两个卷积层(和)进行增强，然后与fs融合，得到融合信息fu，该过程表示为：
34、
35、进一步，步骤s33具体包括以下步骤：
36、全局信息g(fu)是通过一个全局平均池化运算(由g(·)表示)得出的，然后与μ整合；随后，两个1×1卷积层和预测权重因子，从而增强fu中的突出特征，得到已编码的语义信息x，过程表示为：
37、
38、进一步，所述步骤s4具体包括以下步骤：
39、s41：通过无线信道传输已编码的语义信息x会产生输出向量y，表示为：
40、
41、其中表示通道系数，假设遵循圆对称复高斯分布具有零均值和单位方差；噪声项的特征为复高斯噪声，均值为零，方差为利用上述公式，信噪比μ的计算结果为：
42、
43、其中p为发送端的发送功率；
44、s42：解码器网络从无线信道输出向量y生成高分辨率图像其中表示图像的高分辨率倍数；根据无线信道的当前状态对y进行微调，y的全局信息首先通过g(·)获得，然后使用concat(·)对g(y)和μ进行连接，并通过两个1×1的卷积层和预测权重因子，最后利用该权重因子来调整y得到其计算公式为：
45、
46、随后，利用三个卷积层将重构为图像首先使用3×3卷积层减少特征通道的数量并提取相关的语义信息；随后亚像素卷积层负责上采样，将重建图像恢复到原始分辨率，与源图像的分辨率相匹配；最后的3×3卷积层用于微调通道数，最终得到重建后的图像。这一过程表示为：本文档来自技高网...
【技术保护点】
1.一种面向图像超分辨率任务的语义通信方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的面向图像超分辨率任务的语义通信方法，其特征在于：所述发送端包含一个使用深度神经网络设计的联合信源信道编码网络所述接收端包含一个使用深度神经网络设计的联合信源信道解码网络所述无线信道被构建为不可更新层；联合信源信道编码器和解码器的完整深度神经网络定义为整体模型通过联合训练实现从发送端到接收端的联合优化。
3.根据权利要求1所述的面向图像超分辨率任务的语义通信方法，其特征在于：所述步骤S2具体包括：
4.根据权利要求1所述的面向图像超分辨率任务的语义通信方法，其特征在于：所述步骤S3具体包括以下步骤：
5.根据权利要求4所述的面向图像超分辨率任务的语义通信方法，其特征在于：所述PRAF模块由多个语义信息细化块(Semantic Information Refinement Blocks，SIRBs)和卷积层组成，在功能上分为两个部分：语义提取和语义调整；
6.根据权利要求5所述的面向图像超分辨率任务的语义通信方法，其特征在于：步骤
7.根据权利要求5所述的面向图像超分辨率任务的语义通信方法，其特征在于：步骤S33具体包括以下步骤：
8.根据权利要求1所述的面向图像超分辨率任务的语义通信方法，其特征在于：所述步骤S4具体包括以下步骤：
...【技术特征摘要】
1.一种面向图像超分辨率任务的语义通信方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的面向图像超分辨率任务的语义通信方法，其特征在于：所述发送端包含一个使用深度神经网络设计的联合信源信道编码网络所述接收端包含一个使用深度神经网络设计的联合信源信道解码网络所述无线信道被构建为不可更新层；联合信源信道编码器和解码器的完整深度神经网络定义为整体模型通过联合训练实现从发送端到接收端的联合优化。
3.根据权利要求1所述的面向图像超分辨率任务的语义通信方法，其特征在于：所述步骤s2具体包括：
4.根据权利要求1所述的面向图像超分辨率任务的语义通信方法，其特征在于：所述步骤s3具体包...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。