【技术实现步骤摘要】
本申请涉及图像压缩，更具体地，涉及一种语义信息辅助的任务导向图像压缩方法、系统及设备。
技术介绍
1、无人机通常利用航空相机和遥感系统进行各种场景的图像采集，在航拍过程中，无人机必须将图像数据实时转发给控制端进行分析和监视。然而，随着空中覆盖范围的扩大以及图像质量和精度的提高，图像数据量急剧增加。
2、为了解决无人机通信中带宽有限的问题，适用于无人机通信的图像压缩算法应运而生，通过实时图像压缩，大大减小了数据量，降低了对无线通信带宽的需求。传统的图像压缩算法，例如jpeg和jpeg2000，由于无法获取图像中更深层的语义信息，已经达到了性能瓶颈。此外，高分辨率的图像传感器的广泛应用要求在不影响图像重建质量的前提下获得较高的压缩比。
3、传统的图像压缩方法通常以实现像素级的一致性为目标，而没有关注到后续任务的性能。以无人机航拍为例，回传的图像往往用于目标检测、图像分类等智能任务。在高压缩率下，传统压缩方案可能会出现图像结构、颜色的失真，极有可能导致后续任务性能的急剧下降。因此，传统的图像压缩算法难以满足无人机图像的处理需求，这对无人机通信提出了挑战。
4、近年来，随着人工智能和计算机硬件的发展，提出了语义分割算法，可以通过分析图像内部的各种语义特征如对象、背景、关系信息等，提取语义信息。基于语义信息对图像中不同区域进行不同压缩率的处理，可以有效保留图像中任务相关的语义信息，实现语义级的图像一致性，可以有效地保证后续任务的效率。因此，有潜力解决无人机无线通信系统中可用通信带宽受限条件下的高质量图像
5、但是，这种基于智能算法的图像语义通信方法仍然存在以下缺陷：无法满足动态变化的任务需求，比如，无人机航拍任务的具体需求(关注的目标)可能会随着航拍进程而改变，即任务需求是动态变化的，可能导致图像语义通信方法无法正确传输与新任务需求相关的信息。
技术实现思路
1、为了解决无人机通信中带宽有限的问题，本专利技术提供了一种语义信息辅助的任务导向图像压缩方法、系统及设备，在保留原始图像的关键语义的同时提高图像压缩率，在任务需求是动态变化时也能够正确传输与新的任务需求相关的信息。
2、为实现上述目的，按照本专利技术的第一个方面，提供了一种语义信息辅助的任务导向图像压缩方法，该方法包括：
3、根据任务知识库，对原始图像进行语义分割，得到若干任务相关信息单元和背景信息单元，任务知识库包括任务背景、任务名称、任务需求和任务相关性分数；
4、根据每个任务相关信息单元的任务相关性分数和数据大小，计算各任务相关信息单元的权重；
5、根据各任务相关信息单元的权重，对各任务相关信息单元和背景信息单元进行带宽分配；
6、根据带宽分配结果，对各任务相关信息单元和背景信息单元进行图像压缩，得到多尺度压缩图像。
7、进一步地，根据各任务相关信息单元的权重，对各任务相关信息单元和背景信息单元进行带宽分配，包括将信号传输总带宽的预设比例，分配给背景信息单元；根据各任务相关信息单元的权重，将除预设比例之外的剩余比例的信号传输总带宽，分配给各任务相关信息单元。
8、进一步地，根据各任务相关信息单元的权重，将除预设比例之外的剩余比例的信号传输总带宽，分配给各任务相关信息单元，包括计算各任务相关信息单元的权重与剩余比例的信号传输总带宽的乘积，得到各任务相关信息单元的带宽；在各任务相关信息单元的带宽不小于其数据大小的情况下，保持任务相关信息单元的带宽不变；在各任务相关信息单元的带宽小于其数据大小的情况下，将任务相关信息单元的数据大小与其带宽的差值，分配给背景信息单元。
9、进一步地，根据每个任务相关信息单元的任务相关性分数和数据大小，计算各任务相关信息单元的权重，包括计算每个任务相关信息单元的任务相关性分数和数据大小的乘积；计算每个任务相关信息单元的乘积与若干乘积的和的比值，得到每个任务相关信息单元的权重。
10、进一步地，根据任务知识库，对原始图像进行语义分割，得到若干任务相关信息单元和背景信息单元，包括通过图像语义分割模型，根据任务知识库提供的任务需求，对原始图像进行语义分割，将原始图像解构为若干任务相关信息单元和背景信息单元。
11、进一步地，图像语义分割模型由yolo-world算法和segment anything model算法联合组成，通过图像语义分割模型，根据任务知识库提供的任务需求，对原始图像进行语义分割，将原始图像解构为若干任务相关信息单元和背景信息单元，包括将领域知识库作为yolo-world算法的训练集，对yolo-world算法进行训练，领域知识库包括属于不同领域的、标注类别标签后的图像数据；通过训练好的yolo-world算法，根据任务知识库提供的任务需求，对原始图像进行目标检测，获取检测结果，检测结果包括任务相关的目标区域；通过segment anything model算法，将目标区域中的目标分割成独立的信息单元，得到若干任务相关信息单元；将原始图像中除若干任务相关信息单元之外的部分作为背景信息单元。
12、进一步地，根据带宽分配结果，对各任务相关信息单元和背景信息单元进行图像压缩，得到多尺度压缩图像，包括通过图像压缩算法，根据带宽分配结果，对各任务相关信息单元和背景信息单元采用不同压缩率进行图像压缩，得到多尺度压缩图像。
13、按照本专利技术的第二个方面，还提供了一种语义信息辅助的任务导向图像压缩系统，包括：
14、语义分割模块，用于根据任务知识库，对原始图像进行语义分割，得到若干任务相关信息单元和背景信息单元，任务知识库包括任务背景、任务名称、任务需求和任务相关性分数；
15、权重计算模块，用于根据每个任务相关信息单元的任务相关性分数和数据大小，计算各任务相关信息单元的权重；
16、带宽分配模块，用于根据各任务相关信息单元的权重，对各任务相关信息单元和背景信息单元进行带宽分配；
17、图像压缩模块，用于根据带宽分配结果，对各任务相关信息单元和背景信息单元进行图像压缩，得到多尺度压缩图像。
18、按照本专利技术的第三个方面，还提供了一种语义信息辅助的任务导向图像压缩设备，其包括存储器、处理器及存储在该存储器上的计算机程序，该处理器执行该计算机程序以实现上述任一项方法的步骤。
19、按照本专利技术的第四个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一项方法的步骤。
20、总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
21、本专利技术提供的一种语义信息辅助的任务导向图像压缩方法，通过建立任务知识库，在图像压缩中嵌入任务需求；根据任务需求，对原始图像进行语义分割，得本文档来自技高网...
【技术保护点】
1.一种语义信息辅助的任务导向图像压缩方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述根据所述各任务相关信息单元的权重，对各任务相关信息单元和背景信息单元进行带宽分配，包括：
3.如权利要求2所述的方法，其特征在于，所述根据所述各任务相关信息单元的权重，将除预设比例之外的剩余比例的所述信号传输总带宽，分配给各任务相关信息单元，包括：
4.如权利要求1所述的方法，其特征在于，所述根据每个任务相关信息单元的任务相关性分数和数据大小，计算各任务相关信息单元的权重，包括：
5.如权利要求1所述的方法，其特征在于，所述根据任务知识库，对原始图像进行语义分割，得到若干任务相关信息单元和背景信息单元，包括：
6.如权利要求5所述的方法，其特征在于，所述图像语义分割模型由Yolo-World算法和Segment Anything Model算法联合组成，所述通过图像语义分割模型，根据任务知识库提供的任务需求，对原始图像进行语义分割，将原始图像解构为若干任务相关信息单元和背景信息单元，包括：
7.如权利要
8.一种语义信息辅助的任务导向图像压缩系统，其特征在于，包括：
9.一种语义信息辅助的任务导向图像压缩设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种语义信息辅助的任务导向图像压缩方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述根据所述各任务相关信息单元的权重，对各任务相关信息单元和背景信息单元进行带宽分配，包括：
3.如权利要求2所述的方法，其特征在于，所述根据所述各任务相关信息单元的权重，将除预设比例之外的剩余比例的所述信号传输总带宽，分配给各任务相关信息单元，包括：
4.如权利要求1所述的方法，其特征在于，所述根据每个任务相关信息单元的任务相关性分数和数据大小，计算各任务相关信息单元的权重，包括：
5.如权利要求1所述的方法，其特征在于，所述根据任务知识库，对原始图像进行语义分割，得到若干任务相关信息单元和背景信息单元，包括：
6.如权利要求5所述的方法，其特征在于，所述图像语义分割模型由yolo-world...
【专利技术属性】
技术研发人员：杨君刚，郭畅，惠军华，何占豪，刘嘉琦，黄潮钦，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。