基于图像去噪模型的文档图像处理方法及相关装置制造方法及图纸

本申请涉及人工智能技术领域，提供一种基于图像去噪模型的文档图像处理方法及相关装置，用以提高模型泛化能力和图像去噪准确性，其中，该方法包括：通过特征映射子模型对待处理文档图像进行特征映射，获得初始图像特征，通过对象提取子模型对待处理文档图像进行对象提取处理，确定包含文档对象的对象区域，然后，将初始图像特征中，除对象区域之外的其他区域的特征值设置为预设特征值，得到目标图像特征，最后，将目标图像特征输入至去噪子模型中进行去噪处理，获得去噪后的文档图像。通过三个子模型的设计，提高了模型泛化能力和文本图像的去噪准确率。图像的去噪准确率。图像的去噪准确率。

【技术实现步骤摘要】
基于图像去噪模型的文档图像处理方法及相关装置


[0001]本申请涉及人工智能
，提供一种基于图像去噪模型的文档图像处理方法及相关装置。

技术介绍

[0002]随着计算机技术的不断发展，图像作为一种可传递大量信息的载体，在诸多领域被广泛的应用。针对包含文档元素的文档图像，由于文档图像中可能包含水印、印章、重叠文本等噪声，为了提高后续的文档识别的准确率，需要对文档图像进行去噪。
[0003]相关技术中，通常采用以下两种方式对文档图像进行去噪：
[0004]第一种方式：基于设定的颜色、形状，从文档图像中确定出噪声区域，并对噪声区域进行处理。然而，在实际应用过程中，文档噪声的形态多样的，根据固定的噪声形态确定噪声区域，泛化能力较差，去噪准确率较低。
[0005]第二种方式：将文档图像输入至对抗生成式网络或变分自编码网络等生成式模型，输出去噪后的文档图像。然而，由于生成式模型在输入文档图像后直接输出去噪后的文档图像，图像处理过程不受控制，导致模型泛化能力较差，进而导致去噪准确率难以得到保证。

技术实现思路

[0006]本申请实施例提供一种基于图像去噪模型的文档图像处理方法及相关装置，用以提高图像去噪模型的模型泛化能力，同时提高文档图像的去噪准确性。
[0007]第一方面，本申请实施例提供一种基于图像去噪模型的文档图像处理方法，所述图像去噪模型包括：特征映射子模型、对象提取子模型和去噪子模型，所述方法包括：
[0008]将待处理文档图像输入至所述特征映射子模型中进行特征映射，获得初始图像特征；
[0009]将所述待处理文档图像输入至所述对象提取子模型中进行对象提取处理，确定包含文档对象的对象区域，所述文档对象包括文档元素和文档噪声；
[0010]将所述初始图像特征中，除所述对象区域之外的其他区域的特征值设置为预设特征值，得到目标图像特征；
[0011]将所述目标图像特征输入至所述去噪子模型中进行去噪处理，获得去噪后的文档图像。
[0012]第二方面，本申请实施例提供一种图像去噪模型训练方法，待训练的图像去噪模型包括：特征映射子模型、对象提取子模型和去噪子模型，所述方法包括：
[0013]获取各训练样本，每个训练样本中包含一个无噪声文档图像和一个带噪声文档图像，所述一个带噪声文档图像是基于所述无噪声文档图像生成的；
[0014]将所述各训练样本各自的带噪声文档图像，分别输入至所述特征映射子模型中进行特征映射，获得相应的初始图像特征，并将所述各带噪声文档图像，分别输入至所述对象
提取子模型中进行对象提取处理，确定相应的对象区域；
[0015]分别将获得的各初始图像特征中，除所述对象区域之外的其他区域的特征值设置为预设特征值，得到相应的目标图像特征，并将得到的各目标图像特征，分别输入至所述去噪子模型中进行去噪处理，获得相应的去噪后的文档图像；
[0016]基于所述各训练样本各自的无噪声文档图像及其对应的去噪后的文档图像，确定模型损失，并基于所述模型损失进行模型参数调整。
[0017]第三方面，本申请实施例提供一种基于图像去噪模型的文档图像装置，所述图像去噪模型包括：特征映射子模型、对象提取子模型和去噪子模型，所述装置包括：
[0018]特征映射单元，用于将待处理文档图像输入至所述特征映射子模型中进行特征映射，获得初始图像特征；
[0019]对象提取单元，用于将所述待处理文档图像输入至所述对象提取子模型中进行对象提取处理，确定包含文档对象的对象区域，所述文档对象包括文档元素和文档噪声；
[0020]特征处理单元，用于将所述初始图像特征中，除所述对象区域之外的其他区域的特征值设置为预设特征值，得到目标图像特征；
[0021]图像去噪单元，用于将所述目标图像特征输入至所述去噪子模型中进行去噪处理，获得去噪后的文档图像。
[0022]作为一种可能的实现方式，所述将所述待处理文档图像输入至所述对象提取子模型中进行对象提取处理，确定包含文档对象的对象区域时，对象提取单元具体用于：
[0023]将所述待处理文档图像输入至所述对象提取子模型中进行对象提取处理，获得图像掩码，所述图像掩码中，包含采用非设定掩码值表示文档对象的对象区域，采用设定掩码值表示除所述对象区域之外的其他区域；
[0024]所述将所述初始图像特征中，除所述对象区域之外的其他区域的特征值设置为预设特征值，得到目标图像特征时，特征处理单元具体用于：
[0025]基于所述图像掩码，从所述初始图像特征中，确定所述其他区域对应的特征，并将相应的特征值设置为预设特征值，得到目标图像特征。
[0026]作为一种可能的实现方式，所述将待处理文档图像输入至所述特征映射子模型中进行特征映射，获得初始图像特征时，特征映射单元具体用于：
[0027]基于预设图像分辨率大小，对所述待处理文档图像进行切分，得到各子图；
[0028]将所述各子图输入至所述特征映射子模型中的编码器中，基于子图与词向量之间的映射关系，获得所述各子图各自的词嵌入；
[0029]将获得的各词嵌入输入至特征映射子模型中的解码器中，基于所述映射关系，获得初始图像特征。
[0030]作为一种可能的实现方式，所述基于所述图像掩码，从所述初始图像特征中，确定所述其他区域对应的特征时，特征处理单元具体用于：
[0031]基于所述预设图像分辨率大小，对所述图像掩码进行切分，得到各掩码子图；
[0032]基于所述各掩码子图在所述图像掩码中的位置，以及基于所述各子图特征各自对应的子图在所述待处理文档图像中的位置，确定所述各掩码子图与所述各子图特征之间的对应关系；
[0033]基于所述对应关系，从所述各子图特征中，筛选出归属于所述其他区域的子图特
征，并将筛选出的子图特征，作为所述其他区域对应的特征。
[0034]作为一种可能的实现方式，所述基于所述对应关系，从所述各子图特征中，筛选出归属于所述其他区域的子图特征时，特征处理单元具体用于：
[0035]针对所述各子图特征中的每个子图特征，分别执行以下操作：
[0036]针对一个子图特征，基于所述对应关系，确定所述一个子图特征对应的一个掩码子图；
[0037]当所述一个子图特征与所述一个掩码子图的掩码值的乘积不大于设定取值时，确定所述一个子图特征归属于所述其他区域。
[0038]作为一种可能的实现方式，所述去噪子模型采用扩散模型，所述将所述目标图像特征输入至所述去噪子模型中进行去噪处理，获得去噪后的文档图像时，图像去噪单元具体用于：
[0039]按照设定迭代次数，将所述目标图像特征输入至所述去噪子模型中进行迭代去噪，获得去噪图像特征，并基于所述去噪图像特征进行特征编码，获得去噪后的文档图像，其中，在每次迭代过程中，执行以下操作：
[0040]获取上一次迭代输出的迭代图像特征；
[0041]基于当前次迭代本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像去噪模型的文档图像处理方法，其特征在于，所述图像去噪模型包括：特征映射子模型、对象提取子模型和去噪子模型，所述方法包括：将待处理文档图像输入至所述特征映射子模型中进行特征映射，获得初始图像特征；将所述待处理文档图像输入至所述对象提取子模型中进行对象提取处理，确定包含文档对象的对象区域，所述文档对象包括文档元素和文档噪声；将所述初始图像特征中，除所述对象区域之外的其他区域的特征值设置为预设特征值，得到目标图像特征；将所述目标图像特征输入至所述去噪子模型中进行去噪处理，获得去噪后的文档图像。2.如权利要求1所述的方法，其特征在于，所述将所述待处理文档图像输入至所述对象提取子模型中进行对象提取处理，确定包含文档对象的对象区域，包括：将所述待处理文档图像输入至所述对象提取子模型中进行对象提取处理，获得图像掩码，所述图像掩码中，包含采用非设定掩码值表示文档对象的对象区域，采用设定掩码值表示除所述对象区域之外的其他区域；所述将所述初始图像特征中，除所述对象区域之外的其他区域的特征值设置为预设特征值，得到目标图像特征，包括：基于所述图像掩码，从所述初始图像特征中，确定所述其他区域对应的特征，并将相应的特征值设置为预设特征值，得到目标图像特征。3.如权利要求2所述的方法，其特征在于，所述将待处理文档图像输入至所述特征映射子模型中进行特征映射，获得初始图像特征，包括：基于预设图像分辨率大小，对所述待处理文档图像进行切分，得到各子图；将所述各子图输入至所述特征映射子模型中的编码器中，基于子图与词向量之间的映射关系，获得所述各子图各自的词嵌入；将获得的各词嵌入输入至特征映射子模型中的解码器中，基于所述映射关系，获得初始图像特征。4.如权利要求3所述的方法，其特征在于，所述基于所述图像掩码，从所述初始图像特征中，确定所述其他区域对应的特征，包括：基于所述预设图像分辨率大小，对所述图像掩码进行切分，得到各掩码子图；基于所述各掩码子图在所述图像掩码中的位置，以及基于所述各子图特征各自对应的子图在所述待处理文档图像中的位置，确定所述各掩码子图与所述各子图特征之间的对应关系；基于所述对应关系，从所述各子图特征中，筛选出归属于所述其他区域的子图特征，并将筛选出的子图特征，作为所述其他区域对应的特征。5.如权利要求4所述的方法，其特征在于，所述基于所述对应关系，从所述各子图特征中，筛选出归属于所述其他区域的子图特征，包括：针对所述各子图特征中的每个子图特征，分别执行以下操作：针对一个子图特征，基于所述对应关系，确定所述一个子图特征对应的一个掩码子图；当所述一个子图特征与所述一个掩码子图的掩码值的乘积不大于设定取值时，确定所述一个子图特征归属于所述其他区域。
6.如权利要求1
‑
5中任一项所述的方法，其特征在于，所述去噪子模型采用扩散模型，所述将所述目标图像特征输入至所述去噪子模型中进行去噪处理，获得去噪后的文档图像，包括：按照设定迭代次数，将所述目标图像特征输入至所述去噪子模型中进行迭代去噪，获得去噪图像特征，并基于所述去噪图像特征进行特征编码，获得去噪后的文档图像，其中，在每次迭代过程中，执行以下操作：获取上一次迭代输出的迭代图像特征；基于当前次迭代对应的噪声参数，对所述上一次迭代输出的迭代图像特征进行去噪处理，输出所述当前次迭代的迭代图像特征。7.一种图像去噪模型训练方法，其特征在于，待训练的图像去噪模型包括：特征映射子模型、对象提取子模型和去噪子模型，所述方法包括：获取各训练样本，每个训练样本中包含一个无噪声文档图像和一个带噪声文档图像，所述一个带噪声文档图像是基于所述无噪声文档图像生成的；将所述各训练样本各自的带噪声文档图像，分别输入至所述特征映射子模型中进行特征映射，获得相应的初始图像特征，并将所述各带噪声文档图像，分别输入至所述对象提取子模型中进行对象提取处理，确定相应的对象区域；分别将获得的各初始图像特征中，除所述对象区域之外的其他区域的特征值设置为预设特征值，得到相应的目标图像特征，并将得到的各目标图像特征，分别输入至所述去噪子模型中进行去噪处理，获得相应的去噪后的文档图像；基于所述各训练样本各自的无噪声文档图像及其对应的去噪后的文档图像，确定模型损...

【专利技术属性】
技术研发人员：胡益清，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：