文字图像高光去除、文字识别方法及装置制造方法及图纸

本发明专利技术提供一种文字图像高光去除、文字识别方法及装置，所述文字图像高光去除方法包括：确定带有高光的文字图像；将带有高光的文字图像输入至高光去除模型，得到高光去除模型输出的高光去除后的文字图像。本发明专利技术通过高光去除模型提取带有高光的文字图像对应的高光区域掩膜特征，从而可以准确定位文字图像的高光区域，聚焦于文字图像中被高光区域遮挡的文字信息。然后，高光去除模型对带有高光的文字图像特征以及高光区域掩膜特征进行融合，得到融合特征，并对融合特征进行编码和解码后，从而可以准确恢复高光区域的文字信息，以得到高光去除后的文字图像。光去除后的文字图像。光去除后的文字图像。

【技术实现步骤摘要】
文字图像高光去除、文字识别方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种文字图像高光去除、文字识别方法及装置。

技术介绍

[0002]受周围环境和物体表面材质的影响，高光在自然图像中广泛存在。高光去除技术可以改善图像质量并有利于许多视觉任务，如立体匹配、文字识别、图像分割以及图像一致性等。
[0003]传统方法中对图像进行高光去除主要包括如下方法：(1)基于双色反射模型对图像进行高光去除，双色反射模型假设图像的亮度可以用漫反射和镜面反射的线性组合来表示。(2)基于最大色度
‑
强度空间中漫反射点和镜面反射点的分布，通过识别漫反射的最大色度，然后采用镜面反射
‑
漫反射机制分离反射分量。(3)观察到彩色图像中局部的漫反射最大色度平滑变化，通过采用双边滤波提升了色度估计的实时性和鲁棒性。(4)基于强度比的高光去除方法，通过在伪色度空间中将像素划分为不同的簇来分离高光。(5)为了利用彩色图像的全局信息进行镜面反射分离，基于双色反射模型的全局颜色线约束方法(6)利用面部图像的物理先验和统计先验共同估计光照环境，并从不同光照颜色的人脸中去除高光。(7)将图像中漫反射和镜面反射的估计重新定义为可以近似求解的具有稀疏约束的能量最小化。然而，这个过程是相对低效的。(8)基于一种凸优化框架，可以有效地去除自然图像的彩色和单色区域的暗高光。这些基于双色反射模型的方法在处理具有不同颜色和复杂纹理的图像时往往性能有限，并且由于需要预处理操作导致效率较低、实用性弱。(9)基于图像修复的方法主要是借鉴图像修复界的技术，通过无高光污染区域的信息来恢复图像的高光区域背后的原始图像内容。通过结合基于光照的约束来去除高光。(10)基于矢量滤波器，将其整合到修复过程中，以消除镜面反射。(11)基于颜色线投影的高光修复方法，但是这种方法需要两张不同曝光时间的图像。(12)针对医学图像如内窥镜、阴道镜等，也有使用基于图像修复方法进行高光去除的技术。然而，这些基于图像修复的方法仅对具有小区域高光污染的图像有效。(13)考虑到单幅图像高光去除的复杂性，传统方法中也提出了基于深度神经网络的方法进行高光去除，如卷积神经网络(Convolutional Neural Network，CNN)和生成对抗网络(Generative Adversarial Network,GAN)。(14)通过感知器人工神经网络来检测牙齿图像的镜面反射，然后使用平滑空间滤波器递归校正镜面反射。(15)由于缺乏成对的训练数据，采用循环GAN框架，并引入了一种自正则化损失，用于减少非镜面区域的图像修改。(17)采用GAN框架，提出一种多类鉴别器，对真实图像和原始输入图像生成的漫反射图像进行分类。(18)采用两种深度模型(Spec
‑
Net和Spec
‑
CGAN)用于去除面部高光。其中Spec
‑
Net以强度通道作为输入，Spec
‑
CGAN以RGB图像作为输入。然而，这些基于深度学习的方法需要大规模的训练数据，特别是需要对真实世界的图像进行必要的标注，这非常耗时，甚至难以收集。
[0004]此外，现有的高光去除方法主要对医学图像、自然图像和特定物体图像进行处理，
缺乏聚焦于文本图像的工作，由于文本图像具有不同形状以及不同方向，因此基于现有的高光去除方法无法准确对带有高光的文本图像进行高光去除。

技术实现思路

[0005]本专利技术提供一种文字图像高光去除、文字识别方法及装置，用以解决现有技术中无法高精度对文本图像进行高光去除的缺陷。
[0006]本专利技术提供一种文字图像高光去除方法，包括：
[0007]确定带有高光的文字图像；
[0008]将所述带有高光的文字图像输入至高光去除模型，得到所述高光去除模型输出的高光去除后的文字图像；
[0009]其中，所述高光去除模型是基于带有高光区域标记的样本文字图像，以及所述样本文字图像对应的高光去除样本文字图像训练得到的；所述高光去除模型用于提取所述带有高光的文字图像特征以及所述带有高光的文字图像对应的高光区域掩膜特征后，融合所述带有高光的文字图像特征以及所述高光区域掩膜特征得到融合特征，并对所述融合特征进行编码和解码后得到所述高光去除后的文字图像。
[0010]根据本专利技术提供的一种文字图像高光去除方法，所述将所述带有高光的文字图像输入至高光去除模型，得到所述高光去除模型输出的高光去除后的文字图像，包括：
[0011]将所述带有高光的文字图像输入至所述高光去除模型的特征提取层，得到所述特征提取层输出的所述带有高光的文字图像特征以及所述高光区域掩膜特征；
[0012]将所述带有高光的文字图像特征以及所述高光区域掩膜特征输入至所述高光去除模型的特征融合层，由所述特征融合层对所述带有高光的文字图像特征以及所述高光区域掩膜特征进行融合，得到所述特征融合层输出的所述融合特征；
[0013]将所述融合特征输入至所述高光去除模型的特征编解码层，由所述特征编解码层对所述融合特征进行编码和解码，得到所述特征编解码层输出的所述高光去除后的文字图像。
[0014]根据本专利技术提供的一种文字图像高光去除方法，所述特征编解码层包括编码器，特征处理模块以及解码器；
[0015]所述将所述融合特征输入至所述高光去除模型的特征编解码层，由所述特征编解码层对所述融合特征进行编码和解码，得到所述特征编解码层输出的所述高光去除后的文字图像，包括：
[0016]将所述融合特征输入所述编码器，由所述编码器对所述融合特征进行编码，得到所述编码器输出的编码后的融合特征；
[0017]将所述编码后的融合特征输入至所述特征处理模块，由所述特征处理模块对所述编码后的融合特征进行深度特征提取，得到所述特征处理模块输出的深度融合特征；
[0018]将所述深度融合特征输入至所述解码器，由所述解码器对所述深度融合特征进行解码，得到所述解码器输出的所述高光去除后的文字图像。
[0019]根据本专利技术提供的一种文字图像高光去除方法，所述特征提取层包括三个下采样层和三个上采样层，且各下采样层后面包含两个卷积层，以及各上采样层后面包含三个卷积层。
[0020]根据本专利技术提供的一种文字图像高光去除方法，所述高光去除模型的损失函数为：
[0021][0022][0023]L
P
＝50
×
||I
out
‑
I
gt
||1+0.1
×
(||I
out
(i，j)
‑
I
gt
(i
‑
1，j)||1+||I
out
(i，j)
‑
I
gt
(i，j
‑
1)||1)；
[0024]L
F
＝0.05
×
||Φ(I
...

【技术保护点】

【技术特征摘要】
1.一种文字图像高光去除方法，其特征在于，包括：确定带有高光的文字图像；将所述带有高光的文字图像输入至高光去除模型，得到所述高光去除模型输出的高光去除后的文字图像；其中，所述高光去除模型是基于带有高光区域标记的样本文字图像，以及所述样本文字图像对应的高光去除样本文字图像训练得到的；所述高光去除模型用于提取所述带有高光的文字图像特征以及所述带有高光的文字图像对应的高光区域掩膜特征后，融合所述带有高光的文字图像特征以及所述高光区域掩膜特征得到融合特征，并对所述融合特征进行编码和解码后得到所述高光去除后的文字图像。2.根据权利要求1所述的文字图像高光去除方法，其特征在于，所述将所述带有高光的文字图像输入至高光去除模型，得到所述高光去除模型输出的高光去除后的文字图像，包括：将所述带有高光的文字图像输入至所述高光去除模型的特征提取层，得到所述特征提取层输出的所述带有高光的文字图像特征以及所述高光区域掩膜特征；将所述带有高光的文字图像特征以及所述高光区域掩膜特征输入至所述高光去除模型的特征融合层，由所述特征融合层对所述带有高光的文字图像特征以及所述高光区域掩膜特征进行融合，得到所述特征融合层输出的所述融合特征；将所述融合特征输入至所述高光去除模型的特征编解码层，由所述特征编解码层对所述融合特征进行编码和解码，得到所述特征编解码层输出的所述高光去除后的文字图像。3.根据权利要求2所述的文字图像高光去除方法，其特征在于，所述特征编解码层包括编码器，特征处理模块以及解码器；所述将所述融合特征输入至所述高光去除模型的特征编解码层，由所述特征编解码层对所述融合特征进行编码和解码，得到所述特征编解码层输出的所述高光去除后的文字图像，包括：将所述融合特征输入所述编码器，由所述编码器对所述融合特征进行编码，得到所述编码器输出的编码后的融合特征；将所述编码后的融合特征输入至所述特征处理模块，由所述特征处理模块对所述编码后的融合特征进行深度特征提取，得到所述特征处理模块输出的深度融合特征；将所述深度融合特征输入至所述解码器，由所述解码器对所述深度融合特征进行解码，得到所述解码器输出的所述高光去除后的文字图像。4.根据权利要求2所述的文字图像高光去除方法，其特征在于，所述特征提取层包括三个下采样层和三个上采样层，且各下采样层后面包含两个卷积层，以及各上采样层后面包含三个卷积层。5.根据权利要求1至4任一项所述的文字图像高光去除方法，其特征在于，所述高光去除模型的损失函数为：除模型的损失函数为：L
P
＝50
×
||I
out
‑
I
gt
||1+0.1
×
(||I
out
(i，j)
‑
I
gt
(i
‑
1，j)||1+||I
out
(i，j)
‑
I
gt
(i，j
‑
1)|
|1)；L
F
＝0.05
×
||Φ(I
out
)
‑
Φ(I
gt
)||1+120
×
||Ψ(I
out
)
‑
Ψ(...

【专利技术属性】
技术研发人员：全卫泽，侯诗玉，王超群，江敬恩，严冬明，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：