一种基于笔记图像的笔记关键词识别方法、装置、设备制造方法及图纸

本申请公开了一种基于笔记图像的笔记关键词识别方法及笔记录入设备，本申请实施例可应用于人工智能等场景。具体的，该方法包括：采集目标笔记信息的笔记图像；将笔记图像输入笔记关键词识别网络中的文本识别网络进行文本识别，得到笔记识别文本；将笔记识别文本输入笔记关键词识别网络中的关键语义提取网络进行关键语义提取，得到目标语义特征信息；将目标语义特征信息和笔记识别文本的多个候选关键词输入笔记关键词识别网络中的关键词筛选网络进行关键词筛选，确定多个候选关键词中的笔记关键词；其中，文本识别网络和关键词筛选网络共用上下文语义识别层。利用本申请提供的技术方案，可以对笔记图像进行关键词实时识别，提升关键词识别效率。提升关键词识别效率。提升关键词识别效率。

【技术实现步骤摘要】
一种基于笔记图像的笔记关键词识别方法、装置、设备


[0001]本申请涉及软件测试
，尤其涉及一种基于笔记图像的笔记关键词识别方法、装置、设备及笔记录入设备。

技术介绍

[0002]笔记记录是我们日常生活和工作中不可或缺的内容存储方法，伴随着经济社会的快速发展和教育方式的演变，出现了以图片为载体的笔记记录方式。
[0003]然而，目前大部分的笔记记录工具仅能够将图片格式的文本进行直接保存，或者通过相关插件“剪藏”各类网页图文原格式文件，而无法对图片格式的文本中的内容进行关键语义解析，使得文本阅读者需要耗费时间精力去阅读理解该类图片中的笔记内容。

技术实现思路

[0004]本申请提供了一种基于笔记图像的笔记关键词识别方法、装置、设备及存储介质，可以在减少网络模型的数据大小的同时，对笔记图片进行笔记内容的快速识别和关键语义的快速解析，提升对笔记图片进行笔记关键词识别的效率和准确性，本申请技术方案如下：
[0005]一方面，提供了一种基于笔记图像的笔记关键词识别方法，所述方法包括：
[0006]采集目标笔记信息的笔记图像；
[0007]将所述笔记图像输入笔记关键词识别网络中的文本识别网络进行文本识别，得到所述笔记图像对应的笔记识别文本；
[0008]将所述笔记识别文本输入所述笔记关键词识别网络中的关键语义提取网络进行关键语义提取，得到目标语义特征信息；
[0009]获取所述笔记识别文本对应的多个候选关键词；
[0010]将所述目标语义特征信息和所述多个候选关键词输入所述笔记关键词识别网络中的关键词筛选网络进行关键词筛选，确定所述多个候选关键词中的笔记关键词；
[0011]其中，所述文本识别网络和所述关键词筛选网络共用上下文语义识别层，所述上下文语义识别层用于对特征信息进行上下文语义识别。
[0012]另一方面，提供了一种笔记录入设备，所述笔记录入设备包括：图像采集模块和处理器，其中：
[0013]所述图像采集模块，用于采集目标笔记信息的笔记图像；
[0014]所述处理器，用于对将所述笔记图像输入笔记关键词识别网络中的文本识别网络进行文本识别，得到所述笔记图像对应的笔记识别文本；将所述笔记识别文本输入所述笔记关键词识别网络中的关键语义提取网络进行关键语义提取，得到目标语义特征信息；获取所述笔记识别文本对应的多个候选关键词；将所述目标语义特征信息和所述多个候选关键词输入所述笔记关键词识别网络中的关键词筛选网络进行关键词筛选，确定所述多个候选关键词中的笔记关键词；其中，所述文本识别网络和所述关键词筛选网络共用上下文语义识别层，所述上下文语义识别层用于对特征信息进行上下文语义识别。
[0015]另一方面，提供了一种基于笔记图像的笔记关键词识别装置，所述装置包括：
[0016]图像采集模块，用于采集目标笔记信息的笔记图像；
[0017]文本识别模块，用于将所述笔记图像输入笔记关键词识别网络中的文本识别网络进行文本识别，得到所述笔记图像对应的笔记识别文本；
[0018]关键语义提取模块，用于将所述笔记识别文本输入所述笔记关键词识别网络中的关键语义提取网络进行关键语义提取，得到目标语义特征信息；
[0019]候选关键词获取模块，用于获取所述笔记识别文本对应的多个候选关键词；
[0020]关键词筛选模块，用于将所述目标语义特征信息和所述多个候选关键词输入所述笔记关键词识别网络中的关键词筛选网络进行关键词筛选，确定所述多个候选关键词中的笔记关键词；
[0021]其中，所述文本识别网络和所述关键词筛选网络共用上下文语义识别层，所述上下文语义识别层用于对特征信息进行上下文语义识别。
[0022]另一方面，提供了一种基于笔记图像的笔记关键词识别设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如第一方面所述的基于笔记图像的笔记关键词识别方法。
[0023]另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如第一方面所述的基于笔记图像的笔记关键词识别方法。
[0024]另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如第一方面所述的基于笔记图像的笔记关键词识别方法。
[0025]本申请提供的一种基于笔记图像的笔记关键词识别方法、装置、设备及存储介质，具有如下技术效果：
[0026]本申请在对文本图像进行识别处理的应用场景中，基于共用上下文语义识别层的文本识别网络和关键词筛选网络，生成端到端的笔记关键词识别网络，能够减少网络模型的数据大小，通过将采集到的包含目标笔记信息的笔记图像输入笔记关键词识别网络中的文本识别网络进行文本识别，得到笔记图像对应的笔记识别文本，然后将笔记识别文本输入笔记关键词识别网络中的关键语义提取网络进行关键语义提取，得到目标语义特征信息，再将目标语义特征信息和笔记识别文本对应的多个候选关键词输入笔记关键词识别网络中的关键词筛选网络进行关键词筛选，确定多个候选关键词中的笔记关键词，不仅能够对图片格式的笔记进行笔记内容的快速识别，而且可以对笔记内容进行快速解析抽取关键语义，提升了对笔记图像进行笔记关键词识别的效率和准确性，解决了目前笔记录入工具无法对图片格式的笔记充分解析关键内容的问题，极大程度地提高了笔记录入工具的使用效果和用户体验。
附图说明
[0027]为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施
例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0028]图1是本申请实施例提供的一种应用环境的示意图；
[0029]图2是本申请实施例提供的一种基于笔记图像的笔记关键词识别方法的流程示意图；
[0030]图3是本申请实施例提供的一种采集目标笔记信息的笔记图像的流程示意图；
[0031]图4是本申请实施例提供的一种笔记关键词识别网络的网络结构示意图；
[0032]图5是本申请实施例提供的一种将笔记图像输入笔记关键词识别网络中的文本识别网络进行文本识别，得到笔记图像对应的笔记识别文本的流程示意图；
[0033]图6是本申请实施例提供的一种将笔记识别文本输入笔记关键词识别网络中的关键语义提取网络进行关键语义提取，得到目标语义特征信息的流程示意图；
[0034]图7是本申请实施例提供的一种将主题词特征信息和高频语义特征信息输入语义融合网络进行语义融合，得到目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于笔记图像的笔记关键词识别方法，其特征在于，所述方法包括：采集目标笔记信息的笔记图像；将所述笔记图像输入笔记关键词识别网络中的文本识别网络进行文本识别，得到所述笔记图像对应的笔记识别文本；将所述笔记识别文本输入所述笔记关键词识别网络中的关键语义提取网络进行关键语义提取，得到目标语义特征信息；获取所述笔记识别文本对应的多个候选关键词；将所述目标语义特征信息和所述多个候选关键词输入所述笔记关键词识别网络中的关键词筛选网络进行关键词筛选，确定所述多个候选关键词中的笔记关键词；其中，所述文本识别网络和所述关键词筛选网络共用上下文语义识别层，所述上下文语义识别层用于对特征信息进行上下文语义识别。2.根据权利要求1所述的方法，其特征在于，所述关键语义提取网络包括：主题提取网络、高频语义挖掘网络和语义融合网络，所述将所述笔记识别文本输入所述笔记关键词识别网络中的关键语义提取网络进行关键语义提取，得到目标语义特征信息包括：将所述笔记识别文本输入所述主题提取网络进行主题提取，得到主题词特征信息；将所述笔记识别文本输入所述高频语义挖掘网络进行高频语义挖掘，得到高频语义特征信息；将所述主题词特征信息和所述高频语义特征信息输入所述语义融合网络进行语义融合，得到目标语义特征信息。3.根据权利要求2所述的方法，其特征在于，所述高频语义特征信息包括：至少一个高频关键词特征信息和所述至少一个高频关键词特征信息各自对应的语义支持度，所述语义融合网络包括：加权层和融合层，所述将所述主题词特征信息和所述高频语义特征信息输入所述语义融合网络进行语义融合，得到目标语义特征信息包括：将所述语义支持度和所述至少一个高频关键词特征信息输入所述加权层，基于所述语义支持度，对所述至少一个高频关键词特征信息进行加权处理，得到初始语义特征信息；将所述初始语义特征信息和所述主题词特征信息输入所述融合层进行语义融合，得到所述目标语义特征信息。4.根据权利要求1所述的方法，其特征在于，所述关键词筛选网络还包括：关联分析层、关键词筛选层，所述将所述目标语义特征信息和所述多个候选关键词输入所述笔记关键词识别网络中的关键词筛选网络进行关键词筛选，确定所述多个候选关键词中的笔记关键词包括：将所述目标语义特征信息输入所述上下文语义识别层进行上下文语义识别，得到上下文语义特征；将所述上下文语义特征和所述多个候选关键词输入所述关联分析层进行特征关联分析，得到每个候选关键词与所述上下文语义特征的特征关联信息；将所述特征关联信息输入所述关键词筛选层进行关键词筛选，确定所述笔记关键词。5.根据权利要求1所述的方法，其特征在于，所述文本识别网络还包括：图像特征提取层和文本转录层，所述将所述笔记图像输入笔记关键词识别网络中的文本识别网络进行文本识别，得到所述笔记图像对应的笔记识别文本包括：
将所述笔记图像输入所述图像特征提取层进行图像特征提取，得到图像特征序列；将所述图像特征序列输入所述上下文语义识别层进行上下文语义识别，得到所述图像特征序列对应的字符特征信息；将所述字符特征信息输入所述文本转录层进行特征转换，得到所述笔记识别文本。6.根据权利要求1至5任一所述的方法，其特征在于，所述采集目标笔记信息的笔记图像包括：采集所述目标笔记信息的待处理笔记图像；对所...

【专利技术属性】
技术研发人员：刘志煌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：