System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术实施例涉及语义通信,尤其涉及一种具有多尺度视觉变换器的鲁棒图像语义通信系统及方法。
技术介绍
1、语义通信作为一种可以克服传输瓶颈的技术,已经得到了极大的重视。与传统的通信不同,语义通信偏离了传统的对字符级准确性的强调,而是优先考虑语义信息的忠实传递。通过实现这一创新的优化目标,语义通信可以有效地减少要传输的数据量,从而成功地缓解通信网络内数据快速增长带来的挑战。语义作为语义通信的传输内容,可以表示为语义单元的集合,给定语义集θ,它包含图像的所有语义单元,未损坏的图像语义可以表示为us={u1,u2,…,un-1,un},其中ui是语义集中的第i个语义单元。这得益于深度神经网络(dnn)的发展,它是语义通信不可或缺的。语义通信能够通过信道传输单模态数据,如文本、语音、图像和视频。语义通信系统也可以处理多模式数据。
2、然而尽管语义通信能够处理各种模态数据并完成相应的下游任务,但它们可能容易受到语义损伤的影响,语义损伤被定义为在发射机和接收机之间引入语义失配的信号。损坏的图像语义由语义集中的不同语义单元表示,表示为cs={trl u1,trl u2,…,trl un-1,trl un},其中trl ui表示第i个损坏的语义单元。这种失真是由语义损伤引起的,并可能导致语义表示和解释的偏差。语义损伤可分为两类:源语义损伤和对抗性语义污染,其中,源语义损伤是指源中的扰动。例如,具有对抗性扰动的图像可能会混淆接收器处的分类模型,并导致语义差异。对抗性语义污染通过语义通道干扰语义通信,与物理信道不同,语义通道是处理语义
3、1)对抗性训练:第一种方法涉及对抗性训练,它利用梯度信息生成用于训练的语义损伤,并准确掌握正确的语义。例如,通过使用符号函数对梯度进行归一化来生成语义损伤,又例如,利用l2归一化来搜索语义损伤,又例如,采用多次迭代来搜索有效的对抗性示例。
4、2)对抗性净化:增强对语义损伤的鲁棒性的第二种方法是对抗性净化,例如,对清晰图像和损坏图像的分布进行建模,以提高生成图像的语义保真度,又例如,通过结合监督和自我监督学习方法来解决净化问题,又例如,基于能量的模型和蒙特卡洛采样的后训练方法,以保护分类器免受语义损伤引起的潜在失真的影响。
5、3)通信中的鲁棒性增强:对抗性扰动也可以通过开放信道引入无线通信,这需要大量的努力来消除。例如,具有对抗性训练的语义通信框架,以增强系统抵御来自物理层的对抗性攻击的能力。例如,使用生成对抗性网络的防御机制,以实现鲁棒的端到端通信。尽管相关技术中,对对抗语义损伤的鲁棒传输做出了重大贡献,但其局限性需要进一步研究。对抗性训练方法涉及搜索语义损伤和重新训练,导致计算复杂度高,而对抗性净化技术不仅倾向于忽略关键的通信约束,如信道效应,而且忽略了净化过程中重新提取语义所需的重要计算需求。此外,发射机处受约束的计算资源使得纠正语义损伤或从该点获取和传输下游任务的结果不切实际。因此,对抗性净化主要在接收器处执行,这进一步限制了其实用性和效率。在许多语义通信系统中,一个重要的疏忽是它们对语义损伤的影响和系统在不同任务中的鲁棒性关注不足。
6、因此,目前亟需一种新的鲁棒图像语义通信系统。
技术实现思路
1、本专利技术实施例提供了一种具有多尺度视觉变换器的鲁棒图像语义通信系统及方法,以提高图像语义通信的鲁棒性。
2、本专利技术实施例第一方面提供了一种具有多尺度视觉变换器的鲁棒图像语义通信系统,所述系统包括语义编码端、信道编码器、信道解码器和语义解码端;
3、通过所述语义编码端按照第一尺度对语义信息受损图像进行划分并提取多个语义重要性较高的图像块的语义信息,得到第一尺度语义信息;按照第二尺度对语义信息受损图像进行划分并提取第二尺度语义信息,将所述第一尺度语义信息和所述第二尺度语义信息融合得到第一融合语义信息;所述第一尺度小于所述第二尺度;
4、通过信道编码器对所述第一融合语义信息进行编码得到第一信号;将所述第一信号传输至接收端,在传输过程中,所述第一信号转换为第二信号;
5、通过信道解码器对接收到的第二信号进行解码得到第二融合语义信息;
6、通过语义解码端对所述第二融合语义信息进行还原,得到语义信息重建图像。
7、可选地,所述语义编码端包括:第一尺度语义提取器,所述第一尺度语义提取器包括语义重要性评估模块;通过所述语义编码端按照第一尺度对语义信息受损图像进行划分并提取多个语义重要性较高的图像块的语义信息,得到第一尺度语义信息,包括:
8、所述第一尺度语义提取器按照第一尺度对语义信息受损图像进行划分,得到多个第一图像块,并提取每个第一图像块的语义信息;
9、语义重要性评估模块根据所述每个第一图像块的语义信息评估每个第一图像块的语义重要性;
10、根据每个第一图像块的语义重要性确定动态掩码中各个第一图像块的位置对应的值;语义重要性较高的预设数量个第一图像块对应的位置的值为零;
11、根据各个第一图像块的语义信息,基于自注意模块确定各个第一图像块的注意力得分;
12、所述第一尺度语义提取器基于动态掩码中各个第一图像块的位置对应的值及各个第一图像块的注意力得分确定各个第一图像块的基于语义重要性的自注意得分;
13、所述第一尺度语义提取器基于所述各个第一图像块的基于语义重要性的自注意得分,确定所述语义信息受损图像的第一尺度语义信息。
14、可选地,所述语义编码端还包括:第二尺度语义提取器,所述第二尺度语义提取器包括多尺度语义提取模块;按照第二尺度对语义信息受损图像进行划分并提取第二尺度语义信息,包括:
15、所述第二尺度语义提取器按照第二尺度对语义信息受损图像进行划分,得到多个第二图像块,并提取每个第二图像块的语义信息;
16、所述多尺度语义提取模块按照n个池化尺度分别对所述多个第二图像块的语义信息进行池化,得到n个池化语义信息,对所述n个池化语义信息进行拼接,得到第二尺度语义信息。
17、可选地,所述语义编码端还包括:语义融合模块,所述语义融合模块,包括基于交叉注意机制的特征融合模块,将所述第一尺度语义信息和所述第二尺度语义信息融合得到第一融合语义信息,包括:
18、分别基于两个独立的投影层对第一尺度语义信息和第二尺度语义信息进行处理,得到处理后的第一尺度语义信息和处理后的第二尺度语义信息;
19、基于特征融合模块对所述处理后的第一尺度语义信息和处理后的第二尺度本文档来自技高网...
【技术保护点】
1.一种具有多尺度视觉变换器的鲁棒图像语义通信系统,其特征在于,所述系统包括语义编码端、信道编码器、信道解码器和语义解码端;
2.根据权利要求1所述的具有多尺度视觉变换器的鲁棒图像语义通信系统,其特征在于,所述语义编码端包括:第一尺度语义提取器,所述第一尺度语义提取器包括语义重要性评估模块;通过所述语义编码端按照第一尺度对语义信息受损图像进行划分并提取多个语义重要性较高的图像块的语义信息,得到第一尺度语义信息,包括:
3.根据权利要求2所述的具有多尺度视觉变换器的鲁棒图像语义通信系统,其特征在于,所述语义编码端还包括:第二尺度语义提取器,所述第二尺度语义提取器包括多尺度语义提取模块;按照第二尺度对语义信息受损图像进行划分并提取第二尺度语义信息,包括:
4.根据权利要求2所述的具有多尺度视觉变换器的鲁棒图像语义通信系统,其特征在于,所述语义编码端还包括:语义融合模块,所述语义融合模块,包括基于交叉注意机制的特征融合模块,将所述第一尺度语义信息和所述第二尺度语义信息融合得到第一融合语义信息,包括:
5.根据权利要求1所述的具有多尺度视觉
6.根据权利要求5所述的具有多尺度视觉变换器的鲁棒图像语义通信系统,其特征在于,在训练过程中,以最小化语义解码端输出的样本重建图像和原始图像之间的差异、以及最小化信道编码器得到的第一信号和信道解码器接收到的第二信号之间的差异为目标,对语义编码端、信道编码器、信道解码器和语义解码端的参数进行更新。
7.根据权利要求4所述的具有多尺度视觉变换器的鲁棒图像语义通信系统,其特征在于,在训练完成后,基于不同图像语义损伤强度的测试样本集对训练得到的具有多尺度视觉变换器的鲁棒图像语义通信系统进行测试,所述不同图像语义损伤强度的测试样本集是基于每个测试样本的图像语义损伤强度划分得到的,所述测试样本的图像语义损伤强度是基于测试样本的原始图像和受损图像在语义上的差异确定的。
8.一种具有多尺度视觉变换器的鲁棒图像语义通信方法,其特征在于,所述方法应用于具有多尺度视觉变换器的鲁棒图像语义通信系统,所述系统包括语义编码端、信道编码器、信道解码器和语义解码端;所述方法包括:
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-7任一项所述的具有多尺度视觉变换器的鲁棒图像语义通信系统。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-7任一项所述的具有多尺度视觉变换器的鲁棒图像语义通信系统。
...【技术特征摘要】
1.一种具有多尺度视觉变换器的鲁棒图像语义通信系统,其特征在于,所述系统包括语义编码端、信道编码器、信道解码器和语义解码端;
2.根据权利要求1所述的具有多尺度视觉变换器的鲁棒图像语义通信系统,其特征在于,所述语义编码端包括:第一尺度语义提取器,所述第一尺度语义提取器包括语义重要性评估模块;通过所述语义编码端按照第一尺度对语义信息受损图像进行划分并提取多个语义重要性较高的图像块的语义信息,得到第一尺度语义信息,包括:
3.根据权利要求2所述的具有多尺度视觉变换器的鲁棒图像语义通信系统,其特征在于,所述语义编码端还包括:第二尺度语义提取器,所述第二尺度语义提取器包括多尺度语义提取模块;按照第二尺度对语义信息受损图像进行划分并提取第二尺度语义信息,包括:
4.根据权利要求2所述的具有多尺度视觉变换器的鲁棒图像语义通信系统,其特征在于,所述语义编码端还包括:语义融合模块,所述语义融合模块,包括基于交叉注意机制的特征融合模块,将所述第一尺度语义信息和所述第二尺度语义信息融合得到第一融合语义信息,包括:
5.根据权利要求1所述的具有多尺度视觉变换器的鲁棒图像语义通信系统,其特征在于,所述语义编码端、信道编码器、信道解码器和语义解码端是基于端到端训练得到的,训练样本包括:样本原始图像及对应的样本语义信息受损图像。
6.根据权利要求5所述的具有多尺度视觉变换器的鲁...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。