字体识别方法及装置、电子设备、存储介质制造方法及图纸

本申请实施例公开了一种字体识别方法，所述方法包括：获取待识别图像；利用预训练识别模型，对所述待识别图像进行文本位置识别和字体识别，得到至少一个文本位置处的至少一个文本对应的至少一个字体类型；其中，所述预训练识别模型用于确定图像中文本位置，以及所述文本位置处文本的字体类型；对所述至少一个文本进行内容识别，得到至少一个内容信息；基于所述至少一个字体类型和所述至少一个文本位置，在电子设备的显示界面显示所述至少一个内容信息。本申请实施例同时公开了一种字体识别装置、电子设备、存储介质。

【技术实现步骤摘要】
字体识别方法及装置、电子设备、存储介质
本申请涉及计算机领域中的图像处理技术，尤其涉及一种字体识别方法及装置、电子设备、存储介质。
技术介绍
字体，是文字的外在形式特征，是信息传递的主要载体，是具有实用价值的工具。实际应用中，在对图像进行实时光学字符识别(OpticalCharacterRecognition，OCR)的时候，得到的文本识别的结果都会以某一种特定的字体在显示界面中展示；通常情况下，识别后显示的字体和原始图像中的字体并不一样；这样，无法体现原始字体信息，造成信息流失。因此，电子设备有必要对图像中的文字进行自动化的字体识别。
技术实现思路
本申请实施例提供了一种字体识别方法及装置、电子设备、存储介质，能够对图像中的字体类型进行识别，提高了信息显示的完整性。第一方面，提供一种字体识别方法，应用于电子设备，所述方法包括：获取待识别图像；利用预训练识别模型，对所述待识别图像进行文本位置识别和字体识别，得到至少一个文本位置处的至少一个文本对应的至少一个字体类型；其中，所述预训练识别模型用于确定图像中文本位置，以及所述文本位置处文本的字体类型；对所述至少一个文本进行内容识别，得到至少一个内容信息；基于所述至少一个字体类型和所述至少一个文本位置，在电子设备的显示界面显示所述至少一个内容信息。可选地，所述预训练识别模型的训练过程，包括：获取样本图像和样本标签；所述样本标签包括文本位置标签和所述字体类型标签；基于待训练识别模型对所述样本图像进行处理，得到第一输出结果；所述第一输出结果用于表征所述样本图像中的第一文本位置和所述第一文本位置对应的第一字体类型；通过目标损失函数，确定所述样本标签和所述第一输出结果之间的第一差异值；基于所述第一差异值对所述待训练识别模型进行训练，直到满足训练结束条件时，得到所述预训练识别模型。可选地，所述目标损失函数包括第一损失函数和第二损失函数；其中，所述第一损失函数用于计算文本位置的差异值，所述第二损失函数用于计算字体类型的差异值；所述通过目标损失函数，确定所述样本标签和所述第一输出结果之间的第一差异值，包括：基于所述第一损失函数，确定所述文本位置标签和所述第一文本位置信息的文本位置差异值；基于所述第二损失函数，确定所述字体类型标签和所述第一字体类型的字体类型差异值；对所述文本位置差异值和所述字体类型差异值进行加权处理，得到所述第一差异值。可选地，所述对所述至少一个文本进行内容识别，得到至少一个内容信息，包括：利用预设的文本内容识别模型，对所述待识别图像中所述至少一个文本位置对应的至少一个文本进行识别，得到所述至少一个文本内容信息；文本位置和文本内容信息一一对应；其中，所述文本内容识别模型用于确定文本图像中的内容信息。可选地，所述基于所述至少一个字体类型和所述至少一个文本位置，在所述电子设备的显示界面显示所述至少一个内容信息，包括：获取所述至少一个字体类型对应的字体文件；根据所述字体文件，在所述显示界面上显示所述至少一个文本位置的至少一个内容信息。可选地，所述获取所述至少一个字体类型对应的字体文件，包括：根据预设字体库，对所述至少一个字体类型进行匹配；若所述至少一个字体类型中存在与预设字体库匹配的第一目标字体类型，则从所述预设字体库中，确定与所述第一目标字体类型匹配的目标字体文件；所述第一目标字体类型为所述至少一个字体类型中的任意一个；若所述至少一个字体类型中不存在与预设字体库匹配的第二目标字体类型，则获取预设字体文件；所述第二目标字体类型为所述至少一个字体类型中的除第一目标字体类型外的任意一个字体类型；当所述至少一个字体类型均匹配完成时，将获取的所述预设字体文件和所述目标字体文件，作为所述至少一个字体类型对应的字体文件。可选地，所述获取预设字体文件，包括：向目标服务器发送字体文件请求；响应所述字体文件请求，接收来自所述目标服务器的所述预设字体文件。可选地，所述根据所述字体文件，在所述显示界面上显示所述至少一个文本位置的至少一个内容信息，包括：根据所述字体文件，在所述显示界面上的至少一个目标位置处显示所述至少一个文本内容信息；其中，所述至少一个目标位置与所述至少一个文本位置一一对应。可选地，所述在所述电子设备的显示界面上显示所述至少一个文本位置的至少一个内容信息之前，包括：获取所述至少一个文本位置处文本的字体大小信息，文本行之间的行间距信息，和字体之间的字间距信息中的至少一个信息；所述在所述显示界面上显示所述至少一个文本位置的至少一个内容信息，包括：基于所述至少一个文本位置处文本的字体大小信息，文本行之间的行间距信息，和字体之间的字间距信息中的至少一个信息，以及所述字体文件，在所述显示界面上显示所述至少一个文本位置的至少一个内容信息。可选地，所述对所述至少一个文本进行内容识别，得到至少一个内容信息之后，所述方法还包括：对所述至少一个内容信息进行翻译，得到至少一个翻译信息；基于所述至少一个字体类型和所述至少一个文本位置，在显示界面显示所述至少一个翻译信息。第二方面，提供一种字体识别装置，其特征在于，应用于电子设备，所述装置包括：获取单元，用于获取待识别图像；第一识别单元，用于利用预训练识别模型，对所述待识别图像进行文本位置识别和字体识别，得到至少一个文本位置处的至少一个文本对应的至少一个字体类型；其中，所述预训练识别模型用于确定图像中文本位置，以及所述文本位置处文本的字体类型；第二识别单元，用于对所述至少一个文本进行内容识别，得到至少一个内容信息；显示单元，用于基于所述至少一个字体类型和所述至少一个文本位置，在电子设备的显示界面显示所述至少一个内容信息。第三方面，提供一种电子设备，所述电子设备包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行第一方面所述字体识别方法的步骤。第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行实现第一方面所述的字体识别方法的步骤。本申请实施例提供的字体识别方法及装置、电子设备、存储介质，首先，获取待识别图像；接着利用预训练识别模型，对所述待识别图像进行文本位置识别和字体识别，得到至少一个文本位置处的至少一个文本对应的至少一个字体类型；其中，所述预训练识别模型用于确定图像中文本位置，以及所述文本位置处文本的字体类型；对所述至少一个文本进行内容识别，得到至少一个内容信息；基于所述至少一个字体类型和所述至少一个文本位置，在电子设备的显示界面显示所述至少一个内容信息。这样，通过对文本位置和文本位置处文本的字体类型进行识别，并将识别出内容信息按照识别出来的字体类型进行显示；如此，可以按照原始图像中文本的样式对文本的所有本文档来自技高网...

【技术保护点】
1.一种字体识别方法，其特征在于，应用于电子设备，所述方法包括：/n获取待识别图像；/n利用预训练识别模型，对所述待识别图像进行文本位置识别和字体识别，得到至少一个文本位置处的至少一个文本对应的至少一个字体类型；其中，所述预训练识别模型用于确定图像中文本位置，以及所述文本位置处文本的字体类型；/n对所述至少一个文本进行内容识别，得到至少一个内容信息；/n基于所述至少一个字体类型和所述至少一个文本位置，在所述电子设备的显示界面显示所述至少一个内容信息。/n

【技术特征摘要】
1.一种字体识别方法，其特征在于，应用于电子设备，所述方法包括：
获取待识别图像；
利用预训练识别模型，对所述待识别图像进行文本位置识别和字体识别，得到至少一个文本位置处的至少一个文本对应的至少一个字体类型；其中，所述预训练识别模型用于确定图像中文本位置，以及所述文本位置处文本的字体类型；
对所述至少一个文本进行内容识别，得到至少一个内容信息；
基于所述至少一个字体类型和所述至少一个文本位置，在所述电子设备的显示界面显示所述至少一个内容信息。


2.根据权利要求1所述的方法，其特征在于，所述预训练识别模型的训练过程，包括：
获取样本图像和样本标签；所述样本标签包括文本位置标签和所述字体类型标签；
基于待训练识别模型对所述样本图像进行处理，得到第一输出结果；所述第一输出结果用于表征所述样本图像中的第一文本位置和所述第一文本位置对应的第一字体类型；
通过目标损失函数，确定所述样本标签和所述第一输出结果之间的第一差异值；
基于所述第一差异值对所述待训练识别模型进行训练，直到满足训练结束条件时，得到所述预训练识别模型。


3.根据权利要求2所述的方法，其特征在于，所述目标损失函数包括第一损失函数和第二损失函数；其中，所述第一损失函数用于计算文本位置的差异值，所述第二损失函数用于计算字体类型的差异值；
所述通过目标损失函数，确定所述样本标签和所述第一输出结果之间的第一差异值，包括：
基于所述第一损失函数，确定所述文本位置标签和所述第一文本位置信息的文本位置差异值；
基于所述第二损失函数，确定所述字体类型标签和所述第一字体类型的字体类型差异值；
对所述文本位置差异值和所述字体类型差异值进行加权处理，得到所述第一差异值。


4.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述至少一个文本进行内容识别，得到至少一个内容信息，包括：
利用预设的文本内容识别模型，对所述待识别图像中所述至少一个文本位置对应的至少一个文本进行识别，得到所述至少一个文本内容信息；文本位置和文本内容信息一一对应；其中，所述文本内容识别模型用于确定文本图像中的内容信息。


5.根据权利要求1-3任一项所述的方法，其特征在于，所述基于所述至少一个字体类型和所述至少一个文本位置，在所述电子设备的显示界面显示所述至少一个内容信息，包括：
获取所述至少一个字体类型对应的字体文件；
根据所述字...

【专利技术属性】
技术研发人员：尚太章，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44