一种试题检测识别方法、装置、电子设备及介质制造方法及图纸

本发明专利技术提供一种试题检测识别方法、装置、电子设备及介质，属于网络智能教育技术领域。试题检测识别方法包括以下步骤：获取目标图像；通过模型检测算法，生成第一检测结果，第一检测结果包括题目信息检测结果和答案信息检测结果；利用OCR模型识别第一检测结果，得到第一识别结果，第一识别结果包括文字行识别结果和公式识别结果；将第一识别结果与数据库中预设的试题模板数据进行匹配，根据相似度输出批改结果。本发明专利技术针对目标图像采用模型检测算法，生成题目信息检测结果和答案信息检测结果，分别对两个检测结果进行OCR模型识别，识别出文字行识别结果和公式识别结果，提高对试题题目和答案中图表、公式的检测识别效率，进而提高批改效率。提高批改效率。提高批改效率。

【技术实现步骤摘要】
一种试题检测识别方法、装置、电子设备及介质


[0001]本专利技术属于网络智能教育
，尤其涉及一种试题检测识别方法、装置、电子设备及介质。

技术介绍

[0002]随着计算机技术的发展，线上教学得到了快速的发展，相应的一些教学工具类产品也应运而生，为学生、老师、家长提供教育辅导上的技术支持和帮助，很多教学工具类产品都能提供将题目拍照或者截图进行批改的功能。
[0003]拍照或者截图批改最重要的就是识别过程，目前的批改工具产品无法直接处理如小学低年级图形类、初中公式类题目的批改，对图形类、公式类的题目批改大多是通过以图搜图的方式来解决，但是以图搜图的方法只有当题库中有对应的题目和题解时，才能进行题目的批改；而图形类的题型通常数量庞大，类别复杂，当题库中的题目数量较少时，搜索检测结果不佳，无法得到准确的答案；当题库中的题目数量较多时，通常会带来搜索检测效率低下，搜索检测耗时长等问题，因此题库搜索的方式非常依赖题库的指令和以图搜图算法的优劣，批改效率低。

技术实现思路

[0004]本专利技术的目的在于克服上述现有技术存在的不足，提供一种试题检测识别方法、装置、电子设备及介质，解决了现有技术中在批改具有图形和/或公式的题目时批改效率低下的问题，克服了必须以扩大题库存储数据的方式才能进行批注的技术瓶颈。
[0005]为了实现上述目的，第一方面，本专利技术提供一种试题检测识别方法，包括以下步骤：
[0006]步骤S1：获取目标图像；
[0007]步骤S2：通过模型检测算法，生成第一检测结果，所述第一检测结果包括题目信息检测结果和答案信息检测结果；
[0008]步骤S3：利用OCR模型识别所述第一检测结果，得到第一识别结果，所述第一识别结果包括文字行识别结果和公式识别结果；
[0009]步骤S4：将所述第一识别结果与数据库中预设的试题模板数据进行匹配，根据相似度输出批改结果。
[0010]进一步地，在步骤S2和S3中，基于深度学习方法，使用仿真程序自动化生成预设模型，所述预设模型包括文字行检测模型、公式检测模型、图表检测模型和文字行识别模型、公式识别模型；
[0011]其中，根据文字行检测模型、公式检测模型、图表检测模型对所述目标图像执行第一动作，并生成第一检测结果，所述第一动作包括对目标图像进行目标区域的分离提取；
[0012]根据文字行识别模型、公式识别模型对第一检测结果执行第二动作，并得到第一识别结果，所述第二动作包括对包含相应目标区域的题目信息检测结果和答案信息检测结
果进行字符识别。
[0013]进一步地，在使用仿真程序自动化生成预设模型过程中，自动生成训练数据，所述训练数据与真实样本数据高度相似，所述训练数据包括图表数据、文字行数据、公式数据及label数据，所述训练数据通过随机模式生成。
[0014]进一步地，在步骤S2中，在生成题目信息检测结果和/或答案信息检测结果过程中，包括利用图表检测模型对所述目标图像进行图表区域的分离提取，包括：使用轻量级的SSD-Mobilenetv2网络作为图表检测网络，输入图像大小为224X224，使用Mobilenetv2作为主干网络提取特征，基于SSD的多层特征分别对所述目标图像中的图表区域进行检测，得到所述图表区域对应的位置坐标信息。
[0015]进一步地，在步骤S2中，在生成题目信息检测结果和/或答案信息检测结果过程中，包括利用文字行检测模型对所述目标图像进行文本区域的分离提取，包括：基于分割场景文本的检测方法，将所产生的热力图转化为边界框和文字区域，其中包含二值化的后处理过程，所述二值化的后处理过程通过将二值化操作插入到分割网络中进行组合优化，使热力图各处阈值自适应，得到所述文本区域对应的位置坐标信息。
[0016]进一步地，在步骤S2中，在生成题目信息检测结果和/或答案信息检测结果过程中，包括利用公式检测模型对所述文本区域进行文字区域和公式区域的分离提取，包括：使用CTPN算法作为公式检测网络，获取所述文本区域，对所述文本区域进行公式检测，得到文本区域中文字区域对应的位置坐标信息和公式区域对应的位置坐标信息。
[0017]进一步地，根据所述文字区域对应的位置坐标信息和公式区域对应的位置坐标信息，分别单独分隔提取出所述文字区域和公式区域，将所述文字区域输入至文字识别引擎进行识别，并得到文字行识别结果；将所述公式区域输入至公式识别引擎进行识别，并得到公式识别结果。
[0018]进一步地，在使用仿真程序自动化生成预设模型过程中，按图表检测、文字行检测、公式检测、文字识别和公式识别的顺序依次仿真，所述label数据包括检测label数据和识别label数据，所述检测label数据为所述图表区域对应的位置坐标信息、文本区域对应的位置坐标信息、文字区域对应的位置坐标信息和公式区域对应的位置坐标信息中的至少一种，所述识别label数据为所述文字区域和/或公式区域中对应的文字字符串在字典中的索引。
[0019]进一步地，所述仿真程序还包括数据增强功能，所述数据增强功能包括模糊化处理步骤和添加噪音数据步骤。
[0020]进一步地，在使用仿真程序自动化生成预设模型过程中，对训练数据进行预处理：结合电子作业板式，图表检测输入图像大小为224X224，文字行检测输入图像大小为1280X192，OCR识别输入图像高度为32像素，将图像归一化到-1到1之间，仿真训练过程以batchsize为基本输入，每个所述batchsize随机从原始图片中选择，并随机执行数据增强功能，所述执行数据增强功能包括添加高斯模糊化、对比度、明亮度和试卷裁剪数据增强操作。
[0021]进一步地，在对训练数据进行预处理后，进行训练神经网络：依次训练图表检测、文字行检测、公式检测和OCR识别模型，所述训练神经网络采用端到端的训练模式。
[0022]进一步地，在将所述第一识别结果与数据库中预设的试题模板数据进行匹配过程
中，得到相似度结果，将相似度结果与预设阈值进行比较，若所述相似度结果大于或等于预设阈值时，输出正确的批改结果；若所述相似度结果小于预设阈值时，输出错误的批改结果，并将所述正确和/或错误的批改结果反馈至智能终端，所述正确和/或错误的批改结果包括得/失分数、试题解析、批改标记中的至少一种。
[0023]第二方面，本专利技术还提供了一种应用于上述的试题检测识别方法的装置，包括：
[0024]获取单元，所述获取单元被配置为获取目标图像；
[0025]检测单元，所述检测单元被配置为通过模型检测算法生成第一检测结果，所述第一检测结果包括题目信息检测结果和答案信息检测结果；
[0026]识别单元，所述识别单元被配置为利用OCR模型识别所述第一检测结果、并得到第一识别结果，所述第一识别结果包括文字行识别结果和公式识别结果；
[0027]批改单元，所述批改单元被配置为将所述第一识别结果与数据库中预设的试题模板数据进行匹配，根据相似度输出批改结果。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种试题检测识别方法，其特征在于，包括以下步骤：步骤S1：获取目标图像；步骤S2：通过模型检测算法，生成第一检测结果，所述第一检测结果包括题目信息检测结果和答案信息检测结果；步骤S3：利用OCR模型识别所述第一检测结果，得到第一识别结果，所述第一识别结果包括文字行识别结果和公式识别结果；步骤S4：将所述第一识别结果与数据库中预设的试题模板数据进行匹配，根据相似度输出批改结果。2.如权利要求1所述的试题检测识别方法，其特征在于，在步骤S2和S3中，基于深度学习方法，使用仿真程序自动化生成预设模型，所述预设模型包括文字行检测模型、公式检测模型、图表检测模型和文字行识别模型、公式识别模型；其中，根据文字行检测模型、公式检测模型、图表检测模型对所述目标图像执行第一动作，并生成第一检测结果，所述第一动作包括对目标图像进行目标区域的分离提取；根据文字行识别模型、公式识别模型对第一检测结果执行第二动作，并得到第一识别结果，所述第二动作包括对包含相应目标区域的题目信息检测结果和答案信息检测结果进行字符识别。3.如权利要求2所述的试题检测识别方法，其特征在于，在使用仿真程序自动化生成预设模型过程中，自动生成训练数据，所述训练数据与真实样本数据高度相似，所述训练数据包括图表数据、文字行数据、公式数据及label数据，所述训练数据通过随机模式生成。4.如权利要求2至3任一项所述的试题检测识别方法，其特征在于，在步骤S2中，在生成题目信息检测结果和/或答案信息检测结果过程中，包括利用图表检测模型对所述目标图像进行图表区域的分离提取，包括：使用轻量级的SSD-Mobilenetv2网络作为图表检测网络，输入图像大小为224X224，使用Mobilenetv2作为主干网络提取特征，基于SSD的多层特征分别对所述目标图像中的图表区域进行检测，得到所述图表区域对应的位置坐标信息。5.如权利要求4所述的试题检测识别方法，其特征在于，在步骤S2中，在生成题目信息检测结果和/或答案信息检测结果过程中，包括利用文字行检测模型对所述目标图像进行文本区域的分离提取，包括：基于分割场景文本的检测方法，将所产生的热力图转化为边界框和文字区域，其中包含二值化的后处理过程，所述二值化的后处理过程通过将二值化操作插入到分割网络中进行组合优化，使热力图各处阈值自适应，得到所述文本区域对应的位置坐标信息。6.如权利要求5所述的试题检测识别方法，其特征在于，在步骤S2中，在生成题目信息检测结果和/或答案信息检测结果过程中，包括利用公式检测模型对所述文本区域进行文字区域和公式区域的分离提取，包括：使用CTPN算法作为公式检测网络，获取所述文本区域，对所述文本区域进行公式检测，得到文本区域中文字区域对应的位置坐标信息和公式区域对应的位置坐标信息。7.如权利要求6所述的试题检测识别方法，其特征在于，根据所述文字区域对应的位置坐标信息和公式区域对应的位置坐标信息，分别单独分隔提取出所述文字区域和公式区域，将所述文字区域输入至文字识别引擎进行识别，并得到文字行识别结果；将所述公式区域输入至公式识别引擎进行识别，并得到...

【专利技术属性】
技术研发人员：孙永毫，徐强，
申请(专利权)人：广东国粒教育技术有限公司，
类型：发明
国别省市：