【技术实现步骤摘要】
本专利技术设计了一种基于u-net网络进行图像语义分割、分别将感兴趣区域与非感兴趣区域图像通过两个不同的通信模型传输的图像传输语义通信系统，可适用于图像语义通信领域、计算机视觉领域。
技术介绍
1、随着深度学习和物联网
的不断融合发展，各种新颖的智能物联网技术也蓬勃发展起来，导致图片、文字、音频、视频等各种信息量呈爆炸型增长，这些现状为传统通信技术的改进带来了新的思考。
2、香农曾给出了通信的基本模型以及著名的香农公式，将通信分为三个层级，即语法通信、语义通信和语用通信。长期以来，经典信息论局限在语法通信层级，只关注比特流数据传输的正确率，而忽略了对传递符号的意义的正确理解与传输。而如今随着人工智能的兴起，自然语言处理和计算机视觉技术不断发展，可以从信息中提取语义信息，保留主要语义的同时进行数据压缩，从而实现语义通信。与传统通信相比，语义通信具有低带宽、低延迟和高吞吐量的优势，在噪声干扰较大的环境中表现出了较高的准确性。
3、深度学习技术可以准确、高效地提取图像特征，整个过程不需要人为干预，因此在计算机视觉领域和语义通信领域中已经得到了广泛的融合与应用。目前，已有相关的基于深度学习技术的语义通信系统，例如，基于注意力机制的语音信号语义通信系统deepsc-s、基于transformer的图像识别算法vit等，这些网络提升了语义通信的准确率，但需要大量的数据完成模型训练，通信开销较大，尤其是在信噪比较低的环境中鲁棒性不好。
技术实现思路
1、本专利技术为
2、本专利技术是采用如下技术方案实现的：一种基于u-net的图像传输语义通信优化方法，包括如下步骤：将某个待传输的图像通过u-net网络结构进行语义分割，得到前景图和背景图两个特征矩阵，其中一个特征矩阵通过语义编码1进行编码，另一个特征矩阵通过语义编码2进行编码，编码后的两个特征矩阵分别进行数据压缩，压缩后的数据通过信道增加仿真背景噪声后再进行数据恢复，恢复后的数据分别输入至语义解码1和语义解码2进行解码，解码后得到的两个特征矩阵通过特征融合后输出一个图像，完成基于语义通信的图像传输；语义编码1比语义编码2多一个最大池化层，数据压缩采用稀疏矩阵压缩算法，数据恢复采用数据压缩的逆过程。
3、进一步的，所述u-net网络采用编码器-解码器结构，编码部分做特征提取，解码部分为上采样，使用拼接作为特征图的融合方式，并最终输出前景图和背景图两个特征矩阵；其网络结构包括左侧压缩路径和右侧拓展路径，左侧压缩路径由4个块（block）组成，右侧扩展路径由4个块（block）组成；左侧4个块（block），完成由浅层到深层的局部特征提取与特征压缩，产生的特征图经过两次3×3的卷积进行特征提取后得到解码结构的输入，然后经过右侧4个块（block）完成上采样操作；左侧4个块与右侧4个块一一对应，且左侧块在进行下采样时还通过复制与粘贴将该块的信息传递至对应的右侧块。
4、进一步的，左侧压缩路径每个块（block）使用两个3×3的卷积层再加上一个2×2的最大池化层组成一个下采样的模块；右侧扩展路径每个块（block）由一个上采样的卷积层和两个3×3的卷积层重复构成，同时进行特征拼接完成特征图融合。
5、u-net的上采样有大量的通道，这使得网络将上下文信息向更高分辨率传播，使用弹性形变对数据进行增强，既可以解决训练数据不足的问题，也可以提高算法的鲁棒性。
6、进一步的，数据压缩所用算法如下：首先，向语义编码1或语义编码2中输入一张黑色图像，即可得到语义编码1或语义编码2中所输出特征矩阵中的相应元素，记为n；然后记录除n以外的所有元素，记为e，并记录e的起始和结束索引位置i；在传输过程中，只需传递e、i和n，而无需传输整个特征矩阵，减少了通信开销。
7、进一步的，数据恢复为数据压缩的逆运算，具体如下：首先，根据从信道接收到的信息得到e，i和n，按照i所指示的起始位置和终止位置恢复e的值，然后在矩阵剩余位置补上n，得到数据恢复后的特征矩阵。
8、本专利技术将深度学习中用于图像分割的u-net网络应用于图像语义通信中，同时提出了一种数据压缩算法来减小通信开销，将其应用于发射机和接收机端的信号处理过程，与通信信道一起构成了一个完整的图像传输语义通信系统，解决了现有技术中存在的需要大量数据完成模型训练导致通信开销大、信道资源利用率不高以及在信噪比较低的环境中鲁棒性不好的技术问题。
本文档来自技高网...【技术保护点】
1.一种基于U-Net的图像传输语义通信优化方法，其特征在于，包括如下步骤：将某个待传输的图像通过U-Net网络结构进行语义分割，得到前景图和背景图两个特征矩阵，其中一个特征矩阵通过语义编码1进行编码，另一个特征矩阵通过语义编码2进行编码，编码后的两个特征矩阵分别进行数据压缩，压缩后的数据通过信道增加仿真背景噪声后再进行数据恢复，恢复后的数据分别输入至语义解码1和语义解码2进行解码，解码后得到的两个特征矩阵通过特征融合后输出一个图像，完成基于语义通信的图像传输；语义编码1比语义编码2多一个最大池化层，数据压缩采用稀疏矩阵压缩算法，数据恢复采用数据压缩的逆过程。
2.如权利要求1所述的一种基于U-Net的图像传输语义通信优化方法，其特征在于，所述U-Net网络采用编码器-解码器结构，编码部分做特征提取，解码部分为上采样，使用拼接作为特征图的融合方式，并最终输出前景图和背景图两个特征矩阵；其网络结构包括左侧压缩路径和右侧拓展路径，左侧压缩路径由4个块组成，右侧扩展路径由4个块组成；左侧4个块，完成由浅层到深层的局部特征提取与特征压缩，产生的特征图经过两次3×3的卷积进行特
3.如权利要求2所述的一种基于U-Net的图像传输语义通信优化方法，其特征在于，左侧压缩路径每个块使用两个3×3的卷积层再加上一个2×2的最大池化层组成一个下采样的模块；右侧扩展路径每个块由一个上采样的卷积层和两个3×3的卷积层重复构成，同时进行特征拼接完成特征图融合。
4.如权利要求3所述的一种基于U-Net的图像传输语义通信优化方法，其特征在于，U-Net网络搭建好后，设定训练网络的相关参数：损失函数：交叉熵损失函数；优化器：SGD；学习率：0.001；学习率下降因子：0.94；训练批次大小：150；当网络收敛到预设值时，就可以对网络进行微调，学习率缩小至0.00001，批次大小更改为32。
5.如权利要求1-4任一项所述的一种基于U-Net的图像传输语义通信优化方法，其特征在于，数据压缩所用算法如下：首先，向语义编码1或语义编码2中输入一张黑色图像，即可得到语义编码1或语义编码2中所输出特征矩阵中的相应元素，记为n；然后记录除n以外的所有元素，记为e，并记录e的起始和结束索引位置i；在传输过程中，只需传递e、i和n，而无需传输整个特征矩阵。
6.如权利要求5所述的一种基于U-Net的图像传输语义通信优化方法，其特征在于，数据恢复为数据压缩的逆运算，具体如下：首先，根据从信道接收到的信息得到e，i和n，按照i所指示的起始位置和终止位置恢复e的值，然后在矩阵剩余位置补上n，得到数据恢复后的特征矩阵。
7.如权利要求1-4任一项所述的一种基于U-Net的图像传输语义通信优化方法，其特征在于，语义编码1依次包括Conv2D、Batch Norm、Conv2D、Batch Norm四层，每个层对应的激活函数分别为ReLU、Max Pooling、ReLU和Max Pooling；语义编码2依次包括Conv2D、BatchNorm、Conv2D、Batch Norm四层，前三个层对应的激活函数分别为ReLU、Max Pooling和ReLU，第四层无激活函数；语义解码1和语义解码2结构相同，均依次包括ConvTrans2D、Batch Norm、ConvTrans2D、Batch Norm、ConvTrans2D五个层，其中第1、3、5层的激活函数均为ReLU，第2、4层无激活函数。
8.如权利要求1-4任一项所述的一种基于U-Net的图像传输语义通信优化方法，其特征在于，信道使用的仿真噪声为高斯白噪声AWGN。
...【技术特征摘要】
1.一种基于u-net的图像传输语义通信优化方法，其特征在于，包括如下步骤：将某个待传输的图像通过u-net网络结构进行语义分割，得到前景图和背景图两个特征矩阵，其中一个特征矩阵通过语义编码1进行编码，另一个特征矩阵通过语义编码2进行编码，编码后的两个特征矩阵分别进行数据压缩，压缩后的数据通过信道增加仿真背景噪声后再进行数据恢复，恢复后的数据分别输入至语义解码1和语义解码2进行解码，解码后得到的两个特征矩阵通过特征融合后输出一个图像，完成基于语义通信的图像传输；语义编码1比语义编码2多一个最大池化层，数据压缩采用稀疏矩阵压缩算法，数据恢复采用数据压缩的逆过程。
2.如权利要求1所述的一种基于u-net的图像传输语义通信优化方法，其特征在于，所述u-net网络采用编码器-解码器结构，编码部分做特征提取，解码部分为上采样，使用拼接作为特征图的融合方式，并最终输出前景图和背景图两个特征矩阵；其网络结构包括左侧压缩路径和右侧拓展路径，左侧压缩路径由4个块组成，右侧扩展路径由4个块组成；左侧4个块，完成由浅层到深层的局部特征提取与特征压缩，产生的特征图经过两次3×3的卷积进行特征提取后得到解码结构的输入，然后经过右侧4个块完成上采样操作；左侧4个块与右侧4个块一一对应，且左侧块在进行下采样时还通过复制与粘贴将该块的信息传递至对应的右侧块。
3.如权利要求2所述的一种基于u-net的图像传输语义通信优化方法，其特征在于，左侧压缩路径每个块使用两个3×3的卷积层再加上一个2×2的最大池化层组成一个下采样的模块；右侧扩展路径每个块由一个上采样的卷积层和两个3×3的卷积层重复构成，同时进行特征拼接完成特征图融合。
4.如权利要求3所述的一种基于u-net的图像传输语义通信优化方法，其特征在于，u-net网络搭建好后，设定训练网络的相关参数：损失函数：交叉熵损失函数；优化器：sgd；学习率：0....
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。