用于根据图像生成文本字符串的方法和设备技术

本发明专利技术提供一种用于根据图像生成文本字符串的方法和设备。该方法包括以下步骤：通过在所述图像上检测边缘，生成边缘图像；在所述边缘图像上寻找连接分量；从所找出的所述连接分量中去除满足预定条件的连接分量；从所述去除之后保留的所述连接分量中将存在于相同直线上的连接分量分组在一起；以及基于分组后的所述连接分量，生成文本字符串。

【技术实现步骤摘要】

本专利技术涉及一种用于根据图像生成文本字符串的方法 和设备，尤其涉及一种从自然图像自动提取文本的方法和设 备。
技术介绍
自然图像的文本提取具有非常广泛的应用，所述应用诸 如是牌照定位和基于内容的图像/视频索引等。然而，由于尺 寸、样式、方向和对齐的不同所引起的文本的变化、以及低 图像对比度和复杂的背景使得自动文本提取这一问题非常具 有挑战性。已经针对特定应用提出了从图像和视频提取文本的各种方法(参考文献1到3)。根据所利用的特征，可以将文本提取方法分成两种 类型基于区域的方法和基于紋理的方法。可以将基于区域的方法进一步分成两种子方法基于连接分量 (connected component)(以下称之为"CC")的方法和基于边缘的方 法。这两种方法通过识别诸如CC或边缘的子结构，然后合并这些子 结构以标记文本的包围盒，来以自下而上的方式进行工作。注意，某 些方法使用基于CC的方法和基于边缘的方法两者的组合。基于紋理的方法使用如下观察图像中的文本具有将它们从背 景区分开的明显紋理特性。可以使用基于Gabor滤波器、小波、FFT 和空间变异(spatial variance )等的技术，来检测图像中的文本区域 的紋理特性。基于CC的方法通过将小分量依次分组成较大分量来使用自下 而上的方法，直到在图像中识别出所有文本区域为止。需要进行几何分析以使用分量的空间排列来合并文本分量，从而过滤掉非文本分量，并标记文本区域的边界。基于cc的方法的关键点是生成分量和 几何分析处理的方式，这也是各种基于cc的方法的主要差异。然而，图像的文本提取的准确度根据不同条件而改变。例如， 图像处于不均匀照明条件下，和/或图像中的字符具有不同的尺寸和形 状。而且，当前大多数方法只能检测水平或垂直对齐的文本字符串。 此外，如果图像的背景非常复杂，则文本提取的准确度也将会降低。文献l: C. M. Lee， and A. Kankanhalli, Automatic Extraction of Characters in Complex Images, International Journal of Pattern Recognition Artificial Intelligence, 9 (1) (1995) 67-82。文献2: Yu Zhong， Kalle Karu， and Anil K. Jain， Locating Text In Complex Color Images, Pattern Recognition, 28 (10) (1995) 1523-1535。文献3: V. Wu， R, Ma證atha， and E. M. Riseman, TextFinder: An Automatic System to Detect and Recognize Text in Images, IEEE Transactions on Pattern Analysis and Machine Intelligence, 21 (11) (1999) 1224-1229。
技术实现思路
考虑到以上情况做出了本专利技术，本专利技术的目的是提供一 种从图像提取文本的鲁棒方法和设备。本专利技术提供一种用于根据图像生成文本字符串的方法，包括以 下步骤通过在所述图像上检测边缘，生成边缘图像；在所述边缘图 像上寻找连接分量；从所找出的所述连接分量中去除满足预定条件的 连接分量；从所述去除之后保留的所述连接分量中将存在于相同直线 上的连接分量分组在一起；以及基于分组后的所述连接分量，生成文 本字符串。本专利技术还提供一种用于根据图像生成文本字符串的设备，包括: 检测装置，用于在所述图像上检测边缘，并生成边缘图像；寻找装置，用于在所述边缘图像上寻找连接分量；去除装置，用于从所找出的所 述连接分量中去除满足预定条件的连接分量；分组装置，用于从所述 去除之后所保留的所述连接分量中将存在于相同直线上的连接分量 分组在一起；以及生成装置，用于基于分组后的所述连接分量，生成 文本字符串。本专利技术中所提供的方法和设备可以以鲁棒的方式从具有不均匀 照明条件的以及字符尺寸和形状不同的图像提取文本，并且可以提取 任意方向的文本字符串。此外，可以提取具有白色背景的黑色文本和 具有黑色背景的白色文本两者。通过以下(参考附图)对示例性实施例的说明，本专利技术的其它特征 将变得显而易见。附图说明图l是示出根据本专利技术实施例的提取自然图像中的文本 的整体处理的流程图2是示出根据本专利技术实施例的边缘检测处理的例子的流程图3是示出根据本专利技术实施例的对相同直线上的分量进行分组 的例子的流程图4是示出根据本专利技术实施例的根据直线上的分量组生成文本 字符串的例子的流程图5是示出其上具有牌照字符串的自然图像的图，其中，为了保 护隐私遮挡了牌照的一个字符；图6是示出在如图5所示的原始自然图像上所检测到的边缘图像 的图，其中，在同一图像上示出"暗"边缘(暗像素)和"亮"边缘(灰度 像素)；图7是示出在"暗"边缘图像上所检测到的连接分量的图，其中， 在该图像上重叠有"网格，，；图8是示出去除非文本连接分量之后的连接分量的图； 图9是如直线所示，示出通过本专利技术实施例所定位的文本字符串的图io是示出作为本专利技术可应用的例子的、具有数字照相机的电 子翻译器的框图；以及图ll是示出根据本专利技术实施例的用于从图像提取文本的设备的 例子的框图。具体实施例方式现在将根据附图来详细说明本专利技术的优选实施例。图l是示出根据本专利技术实施例的提取自然图像中的文本的整体 处理的流程图。如图1所示，根据本实施例的提取文本的处理由五个 主要阶段构成在输入图像上检测两种边缘图像"暗"边缘图像和 "亮"边缘图像(步骤S100);分别在这两种边缘图像上寻找连接分量(步 骤S200);尽可能多地去除非文本分量(步骤S300);通过使用霍夫变换 (Hough transform )来将相同直线上的分量分组在一起(步骤S400); 以及根据分量组生成文本字符串(步骤S500)。第一步骤是在输入图像(原始自然图像)上检测边缘(步骤SIOO)。 将基于所检测到的边缘图像来生成连接分量。有几种常见的边缘检测 技术，诸如Canny算子和Sobel算子等。然而，本专利技术并不使用这些技 术，因为在通过这些技术所获得的边缘图像上，文本对象和非文本对 象的边缘可能相互接触，这将导致不能寻找到正确的文本分量。为了降低非文本对象的干扰，本专利技术提出了一种特殊的边缘检测方法，该方法可以将文本对象的边缘与非文本对象有效地分离开，还可以分离闭合字符的边缘。该方法的结果为两种边 缘图像"暗"边缘的边缘图像和"亮"边缘的边缘图像。"暗"边缘用于 检测白底黑字的文本，而"亮"边缘用于检测黑底白字的文本。接着，将根据图2来详细说明在本专利技术中提出的步骤S100的边缘 检测方法。图2是示出根据本专利技术实施例的边缘检测处理的例子的流程图。 首先，在步骤SllO，通过下面的公式来计算各像素的梯度其中，G。为像素的梯度，/。为像素的灰度值，而/ 为邻域像素的 灰度值。邻域可以是8-邻域或4-邻域。上面的公式意味着计算中心像素和其邻域之间的差值，并选 择最大的差值作为中心像素的梯度。然后，在步骤S120，本文档来自技高网...

【技术保护点】
一种用于根据图像生成文本字符串的方法，包括以下步骤：　通过在所述图像上检测边缘，生成边缘图像；　在所述边缘图像上寻找连接分量；　从所找出的所述连接分量中去除满足预定条件的连接分量；　从所述去除之后保留的所述连接分量中 将存在于相同直线上的连接分量分组在一起；以及　基于分组后的所述连接分量，生成文本字符串。

【技术特征摘要】

【专利技术属性】
技术研发人员：胥立丰，张宏志，王艳清，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：JP[日本]