题目识别方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及图像处理技术领域，特别适用于图像信息识别，针对题目图像的单题功能无法识别包含多题的情况，使用繁琐，由此提出了本发明专利技术的题目识别方法、装置、设备及介质，旨在解决如何对任意的题目影像能进行快速简易的单题或多题识别处理的技术问题。为此，本发明专利技术的方法通过对任意的题目图像基于提取题号信息、预测文本多题概率以及长文本基于句子的相似度模型识别三种方式的融合以确定该图像是否为多题情况，以在单题识别发现为多题时提示用户转多题功。由此，无论用户提供的题目图像是多题还是单题，都能在本发明专利技术扩展的单题搜索模式下获得正确的题目识别结果，更便于用户使用、提升用户体验。

【技术实现步骤摘要】
题目识别方法、装置、设备及介质
本专利技术属于图像处理
，特别适用于图像信息识别，更具体的是涉及题目识别方法、装置、设备及介质。本专利技术中所称的题目是指包括但不限于练习册、答题卡、答题卷、作业本、习题链接页面下等各种具有多项或单项的题目。
技术介绍
现有技术中，已知的通过线上或线下进行非人工实现的题目识别技术，往往需要图像识别和处理技术的支持，一种方式例如：采集试卷的图像后，系统自动定位、识别、统分和记录，从而有效提高统分的准确性并降低人力工作量；又例如：通过手持拍照设备根据拍照指令按照拍照焦距执行拍照操作得到题目图片，由此能够通过手持拍照设备同时拍取多道题目并上传搜索，操作便捷，搜题效率高。但已有的识别方式，需要采集图像的特殊定位要求，各种设置、拍摄要求和算法进行配合，新的题目格式出现又需要新的设置调整；或者需要按照拍摄时的各种范围规范长时间尝试拍摄符合要求的影像/图片/图像，操作繁琐不便尤其不方便用户。因此，本申请提出一种解决方案，至少解决上述问题、实现多种拍搜模式，提供便于用户的功能，提高搜题效率和使用便利性，用户的体验，降低计算和网络资源的负担
技术实现思路
(一)要解决的技术问题本专利技术旨在至少解决如何对任意的题目影像进行快速简易的单项/单个题目或多项/多个题目实现识别处理的技术问题；进一步，解决了无需用户自身预判搜索题目功能而自动完成判断以提升题目识别的效率和使用的便捷性，从而能适应更广泛年龄的用户即无需拍摄对用户年龄和操作能力形成限制，提升用户的体验的问题。(二)技术方案为解决上述技术问题，本专利技术的第一方面提出一种题目识别方法，包括：对获取到的题目图像进行识别，判断所述图像是否为包含多题目的多题图像；如果是，则提示用户进入多题搜索模式，以对所述多题图像进行识别；输出相应题目的处理结果。根据本专利技术的一种实施方式，判断所述图像是否为包含多题目的多题图像，包括以下至少一种识别处理方式：基于规则识别所述图像是否为多题图像；基于文本分类模型识别所述图像是否为多题图像；基于句子相似度模型识别所述图像是否为多题图像。根据本专利技术的一种实施方式，所述基于规则识别，包括基于预先设定的题号规则进行识别；所述基于文本分类模型识别，包括基于经训练后的预测模型预测所述图像的所述文本信息为多个题目的概率进行识别；所述基于句子相似度模型识别，包括基于对文本信息中的长文本进行预定句子划分后预测各个句子之间的相似度以确定句子之间是否属于同一道题目进行识别。根据本专利技术的一种实施方式，判断所述图像是否为包含多题目的多题图像，还包括：融合所述基于规则识别、基于文本分类模型识别以及基于句子相似度模型识别的判断结果，最终确定所述图像是否为多题图像。根据本专利技术的一种实施方式，所述融合所述基于规则识别、基于文本分类模型识别以及基于句子相似度模型识别的判断结果，最终确定所述图像是否为多题图像，具体包括：当任意一种识别处理中判断的结果为多题图像时，确定所述图像为多题图像；或者，当任意两种预设的识别处理中判断的结果为多题图像时，确定所述图像为多题图像；或者，当三种识别处理中判断的结果均为多题图像时，则确定所述图像为多题图像；或者，按照条件依次执行三种识别处理，当任一种识别处理能够执行并有判断的结果为多题图像时，确定所述图像为多题图像。根据本专利技术的一种实施方式，按照条件依次执行三种识别处理，具体包括：当采用基于规则识别时，提取所述图像的题号信息以确定所述图像是否包括多个题目；当提取的题号信息不置信时，采用基于文本分类模型识别，其中，所述经训练后的预测模型为textCNN模型；当提取的题号信息不置信并且所述文本信息的文本长度超过预先设定的长度阈值时，采用基于句子相似度模型识别，其中，预定句子划分时根据句子的标点进行划分。根据本专利技术的一种实施方式，如果判断为多题图像，则提示用户进入多题搜索模式对所述多题图像进行识别，具体包括：提示用户表明本次输入的待识别的题目的图像为多个题目，需要切换为多题搜索模式，用户确定后切换到多题搜索模式后，对多题图像进行识别并输出相应题目的处理结果；或者，直接跳转到多题搜索模式，对多提图像进行识别并输出相应题目的处理结果。根据本专利技术的一种实施方式，还包括：如果判断为不是多题图像，则进行单题搜索模式，并输出相应题目的处理结果。为解决上述技术问题，本专利技术第二方面提出一种电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行如第一方面所述的题目识别方法。为解决上述技术问题，本专利技术第三方面提出一种计算机可读介质，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现如第一方面所述的题目识别方法。为解决上述技术问题，本专利技术的第四方面提出一种题目识别装置，包括：判断模块，用于对获取到的题目图像进行识别，判断所述图像是否为包含多题目的多题图像；提示模块，用于如果是，则提示用户进入多题搜索模式以对所述多题图像进行识别并输出相应题目的处理结果。(三)有益效果本专利技术通过根据用户任意输入的待识别的题目的图像对其预先进行适配搜题功能(或者说“模式”)的分析，自动确定其要识别的是单个/单项题目还是多个/多项题目(整页题目)等，对实际需要进行多题搜索的图像自动或按提示转到相应的搜题功能完成题目识别的方案，为用户提供了搜单题(搜索单个/单项题目)的功能下无需用户预先确定要用的功能而直接由图像进行自动判断的处理，简化的操作，减少了用户工作量和人工频繁切换动作，提升了识别题目的便捷性以及识别的效率，由此降低了应用该技术的产品的使用复杂度，能适应不同年龄范围的用户，而无需限制用户使用年龄，提升了用户的使用体验。进一步，自动识别出搜单题功能下实际要进行题目识别的是搜多题(搜索多个/多项题目)的功能，并直接自动跳转到搜多题功能下的处理，执行多题识别和识别并输出结果，能更进一步提升操作的便捷性和识别的效率。进一步，在自动识别实际应当匹配的搜题功能时所采用的预设的识别处理进而确定是否为多题的判断方式，都有自身的特点，三种方式的融合或者说有效的组织配合使用能更准确地确定图像中是否是对多题进行搜索，进一步提升了识别评估为多题的效率和准确度，并且，实际使用在“搜单题”的场景下，能达到或超过人工评估识别为多题的query的准确率为90％以及召回率为32％的情形。附图说明图1是根据本专利技术的题目识别方法的一个实施例的主要流程图；图2是根据本专利技术的题目识别方法的一个实施例中涉及是否多题判断的主要流程示意图；图3是根据本专利技术的题目识别系统的一个实施例的主要结构框图；图4是根据本专利技术的电子设备的一个实施例的主要结构框图；图5是根据本专利技术的更具体的一个电子设备的一个实施例的主要结构示意图；图6是根据本专利技术的计算机可读介质的一个实施例的主要结构示意图；图7是现有技术单题搜索模式下输入多题图像的识别效果；图8是根据本专利技术的技术本文档来自技高网...

【技术保护点】
1.一种题目识别方法，其特征在于，包括：/n对获取到的题目图像进行识别，判断所述图像是否为包含多题目的多题图像；/n如果是，则提示用户进入多题搜索模式，以对所述多题图像进行识别；/n输出相应题目的处理结果。/n

【技术特征摘要】
1.一种题目识别方法，其特征在于，包括：
对获取到的题目图像进行识别，判断所述图像是否为包含多题目的多题图像；
如果是，则提示用户进入多题搜索模式，以对所述多题图像进行识别；
输出相应题目的处理结果。


2.根据权利要求1所述的题目识别方法，其特征在于，
判断所述图像是否为包含多题目的多题图像，包括以下至少一种识别处理方式：
基于规则识别所述图像是否为多题图像；
基于文本分类模型识别所述图像是否为多题图像；
基于句子相似度模型识别所述图像是否为多题图像；
和/或，
判断所述图像是否为包含多个题目的多题图像，还包括：融合基于规则识别、基于文本分类模型识别以及基于句子相似度模型识别的判断结果，最终确定所述图像是否为多题图像。


3.根据权利要求1或2所述的题目识别方法，其特征在于，
所述基于规则识别，包括基于预先设定的题号规则进行识别；
可选地，所述基于文本分类模型识别，包括基于经训练后的预测模型预测所述图像的所述文本信息为多个题目的概率进行识别；
可选地，所述基于句子相似度模型识别，包括基于对文本信息中的长文本进行预定句子划分后预测各个句子之间的相似度以确定句子之间是否属于同一道题目进行识别。


4.根据权利要求3所述的题目识别方法，其特征在于，所述融合基于规则识别、基于文本分类模型识别以及基于句子相似度模型识别的判断结果，最终确定所述图像是否为多题图像，具体包括：
当任意一种识别处理中判断的结果为多题图像时，确定所述图像为多题图像；或者，
当任意两种预设的识别处理中判断的结果为多题图像时，确定所述图像为多题图像；或者，
当三种识别处理中判断的结果均为多题图像时，则确定所述图像为多题图像；或者，
按照条件依次执行三种识别处理，当任一种识别处理能够执行并有判断的结果为多题图像时，确定所述图像为多题图像。
<...

【专利技术属性】
技术研发人员：郭德强，匡柘溪，王岩，
申请(专利权)人：作业帮教育科技北京有限公司，
类型：发明
国别省市：北京;11