一种文字图像书写轨迹恢复效果判别方法技术

本发明专利技术公开了一种文字图像书写轨迹恢复效果判别方法，包括：对原始文字图像进行掩膜化操作并二值化处理得到输入图像掩膜；将恢复轨迹渲染得到恢复轨迹掩膜；恢复轨迹掩膜逐步进行多次膨胀操作，得到多个膨胀掩膜；采用交并比计算方法，分别计算恢复轨迹掩膜以及多个膨胀掩膜与输入图像掩膜的IoU分数；计算出的数值最大的IoU分数作为DloU分数，所述DloU分数为最终判别结果。本发明专利技术方法设计交并比计算方法，计算输入图像掩膜和恢复轨迹掩膜的相似度，设计动态膨胀机制，将恢复轨迹掩膜和膨胀掩膜分别与输入图像掩膜计算交并比分数，使用动态交并比分数消除输入文字图像笔画宽度对字形保真程度评价的影响。图像笔画宽度对字形保真程度评价的影响。图像笔画宽度对字形保真程度评价的影响。

【技术实现步骤摘要】
一种文字图像书写轨迹恢复效果判别方法


[0001]本专利技术涉及文字图像识别
，尤其涉及一种文字图像书写轨迹恢复效果判别方法。

技术介绍

[0002]文字数据可以依据模态类型大致划分为图像模态数据和书写轨迹模态数据两大类，文字生成技术主要围绕这两种模态形式展开。文字图像往往是由扫描仪或是摄像头等图像采集设备得到，以点阵图像的形式保存，这种数据能直观地展示文字的形状，常用于文字的显示和阅读。文字书写轨迹由可以记录轨迹的数字笔，手写板或是触控屏等交互设备采集得到，通常以笔尖坐标点轨迹序列的方式存储，可能还会记录书写过程中的笔尖压力和速度等辅助信息。文字图像的书写轨迹恢复，是一种跨模态的文字生成技术，其目的是从不包含轨迹信息的文字图像中恢复得到其书写运动轨迹信息，常作为文字识别和数据增广的重要技术手段，也在司法笔迹鉴定、写字机器人、字体生成和文字特效生成等领域有巨大应用潜力。
[0003]文字图像的书写轨迹恢复算法不仅要学习轨迹点在空间上的位置以及不同轨迹点之间的先后顺序，还应该保证字形保真，即恢复轨迹的字形应该在视觉上和输入图像相似。当前，轨迹恢复效果的判别方法仅仅评价轨迹点的位置和先后顺序，而忽视了轨迹的字形保真。现有的判别评价方法中，一类是依赖于主观感受，通过人对恢复轨迹和输入图像进行视觉比较，直观感受出文字轨迹的恢复效果。这种评价方法具有主观性，非定量性，易错性，一类是通过手写识别模型的准确性间接评价轨迹的恢复质量。这种评价方法能一定程度上反映轨迹的重建质量，但它依赖于识别模型，其评价效果容易受到手写识别模型效果的影响。它无法对轨迹点的位置，先后顺序和轨迹的字形保真等方面做出评价，还有一类是用于直接评价恢复质量。但它们绝大多数都只关注了轨迹点位置和先后顺序的评价，例如，RMSE（root mean squared error，根均方误差）直接计算恢复和真实轨迹之间两两轨迹点的距离，DTW（dynamictimewarping，动态时间规整）先计算得到恢复和真实轨迹之间的最佳轨迹点匹配关系，随后根据该匹配关系计算两个轨迹之间的距离，这类方法可以评价恢复轨迹的轨迹点位置和先后顺序的误差，却没有对字形保真进行评价。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种文字图像书写轨迹恢复效果判别方法，以解决现有技术在进行文字图像书写轨迹恢复判别时所存在的受图像背景干扰，无法准确反映字型保真程度，且现有技术对文字笔画不具鲁棒性，导致判别结果出现偏差的问题。
[0005]本专利技术公开了一种文字图像书写轨迹恢复效果判别方法，包括以下步骤：步骤1，对原始文字图像进行掩膜化操作并二值化处理得到输入图像掩膜；步骤2，将恢复轨迹渲染得到恢复轨迹掩膜，为第1个恢
复轨迹点的位置信息，为第M个恢复轨迹点的位置信息；步骤3，恢复轨迹掩膜逐步进行多次膨胀操作，得到多个膨胀掩膜；步骤4，采用交并比计算方法，分别计算恢复轨迹掩膜以及多个膨胀掩膜与输入图像掩膜的IoU分数；步骤5，步骤4中计算出的数值最大的IoU分数作为DloU分数，所述DloU分数为最终判别结果；具体地，所述的交并比计算方法计算字形相似度IoU分数的公式为：其中，和分别为“交”和“与”运算，计算掩膜中的前景像素个数。
[0006]优选地，所述的原始文字图像、输入图像掩膜和恢复轨迹掩膜的尺寸大小相同，在图像掩膜是用0表示空白背景，用1表示文字前景的二进制位图。
[0007]优选地，所述的原始文字图像、输入图像掩膜和恢复轨迹掩膜的尺寸大小为，步骤2中渲染的过程中采用1为笔画宽度。
[0008]优选地，步骤3中所述的膨胀操作的过程中采用的膨胀核，膨胀次数小于10。
[0009]本专利技术方法相对于现有技术而言，本专利技术方法提出动态交并比（Dynamic Intersection on Union，DIoU）判别方法，用于判别恢复轨迹对输入文字图像的字形保真程度。首先，设计交并比计算方法，计算输入图像掩膜和恢复轨迹掩膜的相似度。随后，设计动态膨胀机制，逐步膨胀恢复轨迹掩膜，得到多个膨胀掩膜，将恢复轨迹掩膜和膨胀掩膜分别与输入图像掩膜计算交并比分数，使用数值最大的交并比分数为动态交并比分数，以此消除输入文字图像笔画宽度对字形保真程度评价的影响。
附图说明
[0010]图1示出了本专利技术实施方法的流程示意图；图2示出了本专利技术实施例的判别流程示意图。
具体实施方式
[0011]为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述，显然，所描述的实施例仅仅是本专利技术一部份实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0012]图1示出了本专利技术实施例的流程示意图。一种文字图像书写轨迹恢复效果判别方法，包括以下步骤：步骤1，对原始文字图像进行掩膜化操作并二值化处理得到输入图像掩膜；
步骤2，将恢复轨迹渲染得到恢复轨迹掩膜，为第1个恢复轨迹点的位置信息，为第M个恢复轨迹点的位置信息；步骤3，恢复轨迹掩膜逐步进行多次膨胀操作，得到多个膨胀掩膜；步骤4，采用交并比计算方法，分别计算恢复轨迹掩膜以及多个膨胀掩膜与输入图像掩膜的IoU分数；步骤5，步骤4中计算出的数值最大的IoU分数作为DloU分数，所述DloU分数为最终判别结果。
[0013]本实施例的具体操作步骤如下：如图2所示，对于输入文字图像，文字图像轨迹恢复算法得到恢复轨迹，其中为轨迹点数。设计动态交并比（Dynamic Intersection on Union，DIoU）判别方法，计算DIoU分数，用于判定恢复轨迹对输入文字图像的字形保真程度：（1）对输入文字图像进行掩膜化操作:二值化处理得到输入图像掩膜，即用0表示空白背景，用1表示文字前景的二进制位图。以1为笔画宽度，将恢复轨迹渲染得到恢复轨迹掩膜，其尺寸与相同。本实例中，,和的尺寸都为。
[0014]（2）设计交并比计算方法（Intersection on Union，IoU），用于计算掩膜间的字形相似度：其中，和分别为“交”和“与”运算，计算掩膜中的前景像素个数。
[0015]（3）设计动态膨胀机制：对恢复轨迹掩膜逐步进行多次膨胀操作，得到多个膨胀掩膜。将恢复轨迹掩膜和膨胀掩膜分别与输入图像掩膜计算IoU分数，使用数值最大的IoU分数为DIoU分数。计算伪代码如下表所示。本实例中，使用的膨胀核，膨胀次数设置为7。动态交并比计算的计算伪代码如表1所示。
[0016]表1动态交并比计算步骤
与现有技术相比，本专利技术方法提出的DIoU只对文字前景进行相似度计算，并设置了动态膨胀机制以消除输入文字图像笔画宽度对字形保真程度评价的影响。对文字图像轨迹恢复的字形保真效果进行评价，有助于更加科学地去评价轨迹恢复方法的性能，也对轨迹恢复方法的改进有很大的指导意义。
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文字图像书写轨迹恢复效果判别方法，其特征在于，包括以下步骤：步骤1，对原始文字图像进行掩膜化操作并二值化处理得到输入图像掩膜；步骤2，将恢复轨迹渲染得到恢复轨迹掩膜，其中，为恢复轨迹点数，为第1个恢复轨迹点的位置信息，为第M个恢复轨迹点的位置信息；步骤3，恢复轨迹掩膜逐步进行多次膨胀操作，得到多个膨胀掩膜；步骤4，采用交并比计算方法，分别计算恢复轨迹掩膜以及多个膨胀掩膜与输入图像掩膜的IoU分数；步骤5，计算出的数值最大的IoU分数作为DloU分数，所述DloU分数为最终判别结果。2.根据权利要求1所述的一种文字图像书写轨迹恢复效果判别方法，其特征在于，所述的交并比计算方法计算字形相似度...

【专利技术属性】
技术研发人员：黄双萍，陈洲楠，杨代辉，梁景麟，彭政华，
申请(专利权)人：人工智能与数字经济广东省实验室广州，
类型：发明
国别省市：