基于语义感知交互的场景文本图像超分辨率方法及系统技术方案

技术编号：44142083 阅读：5 留言：0更新日期：2025-01-29 10:18

本发明专利技术属于计算机图像处理技术领域，公开了一种基于语义感知交互的场景文本图像超分辨率方法及系统，包括采集图像；对图像进行分割操作，获得文本区域，对其进行特征提取，获得文本区域特征，对文本区域进行映射操作，对映射后的文本区域进行筛选，对筛选后的文本区域进行操作，获得文本概率序列，基于文本概率序列获得文本概率特征；提取图像特征，对图像特征和文本区域特征进行信息交换，将信息交换后的两个特征相加，得到交互融合后的特征，基于交互融合后的特征和文本概率特征获得超分辨率图像；定义损失函数，优化模型参数。本有效解决了在高噪声条件下文本定位和处理不精准的问题，能够更好的适应不断变化的分辨率图像。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及计算机图像处理，特别是涉及一种基于语义感知交互的场景文本图像超分辨率方法及系统。

技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。

2、在数字图像处理的快速发展中，场景文本图像超分辨率技术成为了一个至关重要的研究方向。它不仅能够提升场景文本的清晰度和可读性，确保信息的准确传达，还显著增强了图像的细节展示能力。场景文本图像超分辨率能够帮助解决在不同环境下文本识别的挑战，如光照变化、文本模糊和背景复杂性等问题，推动了计算机视觉技术的创新和应用。更重要的是，这项技术对于提升智能交通、自动翻译、增强现实等领域的实用性具有重要意义。它不仅推动了信息提取技术的进步，也促进了数据分析和处理能力的提高，从而支撑了智能城市和智慧生活的全面发展。通过不断优化场景文本图像超分辨率技术，我们可以实现更高效、更准确的文本识别，助力科技进步和社会发展。

3、在当前的场景文本图像处理领域，提升图像的分辨率以增强文本的可读性和突出性是一项关键任务。现有的超分辨率方法在处理噪声干扰严重的环境中往往难以准确定位和提取文本区域，这限制了它们在特定场景下的应用效果。目前，许多场景文本图像超分辨率模型是通过文本先验来指导超分辨率图片的生成，这种方法在处理高噪声的图片时往往是力不从心的。模型在高噪声的图片中往往是很难区分和定位文本位置的，这种局限性在极低的分辨率图片中会更加的明显，因此往往得到的文本先验是不准确的，并且会严重的影响模型的性能。

技术实现思路</p>

1、为了解决上述问题，本专利技术提出了一种基于语义感知交互的场景文本图像超分辨率方法及系统，利用预先训练的文本区域分割网络来提取和标记文本区域信息，通过在语义层面指导模型，有效解决了在高噪声条件下文本定位和处理不精准的问题，能够更好的适应不断变化的分辨率图像。

2、为了实现上述目的，本专利技术采用如下技术方案：

3、第一方面，本专利技术提供一种基于语义感知交互的场景文本图像超分辨率方法，包括以下步骤：

4、采集不同场景下的文本图像，并对图像进行预处理；

5、对图像进行分割操作，获得文本区域，对文本区域进行特征提取，获得文本区域特征，对文本区域进行映射操作，对映射后的文本区域进行筛选，对筛选后的文本区域进行操作，获得文本概率序列，基于文本概率序列获得文本概率特征；

6、对图像进行特征提取，获得图像特征，对图像特征和文本区域特征进行信息交换，将信息交换后的两个特征相加，得到交互融合后的特征，基于交互融合后的特征和文本概率特征获得超分辨率图像；

7、定义损失函数，优化模型参数。

8、作为可选择的实施方式，对图像进行预处理，具体为：

9、对图像进行裁剪操作，对裁剪后的图像进行文本区域标注，将数据集按照设定比例划分为训练集和测试集。

10、作为可选择的实施方式，利用基于特征金字塔网络的文本区域分割器来对图像进行分割操作，所述文本区域分割器为预训练的模型。

11、作为可选择的实施方式，利用交叉注意力机制对图像特征和文本区域特征进行信息交换，将信息交换后的两个特征相加，得到交互融合后的特征。

12、作为可选择的实施方式，对交互融合后的特征进行细化操作，增强特征表达能力，得到最终的交互融合后的特征，利用最终的交互融合后的特征和文本概率特征获得超分辨率图像。

13、作为可选择的实施方式，损失函数为：

14、

15、其中， sri是生成的超分辨率图像， hri是真实高分辨率图像， n是图像的总像素数。

16、第二方面，本专利技术提供一种基于语义感知交互的场景文本图像超分辨率系统，包括：

17、数据采集和预处理模块，被配置为：采集不同场景下的文本图像，并对图像进行预处理；

18、文本概率生成模块，被配置为：对图像进行分割操作，获得文本区域，对文本区域进行特征提取，获得文本区域特征，对文本区域进行映射操作，对映射后的文本区域进行筛选，对筛选后的文本区域进行操作，获得文本概率序列，基于文本概率序列获得文本概率特征；

19、超分辨率模块，被配置为：对图像进行特征提取，获得图像特征，对图像特征和文本区域特征进行信息交换，将信息交换后的两个特征相加，得到交互融合后的特征，基于交互融合后的特征和文本概率特征获得超分辨率图像；

20、模型训练模块，被配置为：定义损失函数，优化模型参数。

21、第三方面，本专利技术提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。

22、第四方面，本专利技术提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

23、第五方面，本专利技术提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现完成第一方面所述的方法。

24、与现有技术相比，本专利技术的有益效果为：

25、本公开提出一种基于语义感知交互的场景文本图像超分辨率方法及系统，利用预先训练的文本区域分割网络来提取和标记文本区域信息，通过在语义层面指导模型，有效解决了在高噪声条件下文本定位和处理不精准的问题。创建了多模态语义信息交互模块，致力于将文本区域特征与图像特征进行语义交互融合，实现更准确和高效的信息整合。通过引入语义分割和多模态信息交互，显著提高了图像中文本区域的清晰度和可识别性，能够更好的适应不断变化的分辨率图像。不仅能够在高噪声和复杂背景下准确提取和增强文本区域，还能在多样化的场景中保持优异的泛化能力和稳定的性能。不仅推动了场景文本图像处理技术的发展，还为智能文档处理、增强现实应用和其他需要高质量文本识别的领域提供了核心技术支持，助力提升用户体验和应用的准确性。

26、本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。

本文档来自技高网...

【技术保护点】

1.基于语义感知交互的场景文本图像超分辨率方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于语义感知交互的场景文本图像超分辨率方法，其特征在于，对图像进行预处理，具体为：

3.如权利要求1所述的基于语义感知交互的场景文本图像超分辨率方法，其特征在于，利用基于特征金字塔网络的文本区域分割器来对图像进行分割操作，所述文本区域分割器为预训练的模型。

4.如权利要求1所述的基于语义感知交互的场景文本图像超分辨率方法，其特征在于，利用交叉注意力机制对图像特征和文本区域特征进行信息交换，将信息交换后的两个特征相加，得到交互融合后的特征。

5.如权利要求4所述的基于语义感知交互的场景文本图像超分辨率方法，其特征在于，对交互融合后的特征进行细化操作，增强特征表达能力，得到最终的交互融合后的特征，利用最终的交互融合后的特征和文本概率特征获得超分辨率图像。

6.如权利要求1所述的基于语义感知交互的场景文本图像超分辨率方法，其特征在于，损失函数为：

7.基于语义感知交互的场景文本图像超分辨率系统，其特征在于，包括：>

8.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项所述的方法。

10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现完成权利要求1-6任一项所述的方法。

...

【技术特征摘要】

1.基于语义感知交互的场景文本图像超分辨率方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于语义感知交互的场景文本图像超分辨率方法，其特征在于，对图像进行预处理，具体为：

5.如权利要求4所述的基于语义感知交互的场景文本图像超分辨率方法，其特征在于，对交互融合后的特征进行细化操作，增强特征表达能力，得...

【专利技术属性】
技术研发人员：万金，周鸣乐，李刚，李敏，韩德隆，李佳宸，刘文龙，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人