一种信息处理方法、装置及设备制造方法及图纸

本说明书实施例公开了一种信息处理方法、装置及设备。其中信息处理方案，包括：获取待录入信息对应的电子图像；将所述电子图像分类为预设的图像类型；根据所述图像类型对分类后的所述电子图像进行目标检测，以将所述电子图像中所包含的若干目标图像内容识别为所述目标图像内容在计算机系统中对应的信息元素；将所述信息元素按预设的排版规则，排版生成所述待录入信息对应的数字化信息。

【技术实现步骤摘要】
一种信息处理方法、装置及设备
本说明书涉及计算机
，尤其涉及一种信息处理方法、装置及设备。
技术介绍
随着工业互联网的发展，尤其是目前整个产业正处在消费互联网转向产业互联网的变革中，5G通信、人工智能等技术的发展无疑将助力整个变革，尤其是深度学习方面的技术进步，使得机器读图、识图的能力有了明显突破。这时，利用机器读图、识图的应用显著增多，比如文档扫描、物体识别等。例如，OfficeLens(微软公司发布的一款软件)，用户可通过拍照、扫描等手段，将包含有文字、图形的纸质文档、名片、白板、海报等外部信息，变成电子图片录入到计算机系统中，甚至可经后期一些简单处理，比如OCR(OpticalCharacterRecognition，光学字符识别)，将电子图片导出如word、ppt等格式文件，实现Office办公套件的内容录入能力的辅助延伸。例如，GoogleLens(谷歌公司发布的一款软件)，用户可扫描产品、动物、文本或者其它存在于环境当中的事物，通过连网至谷歌后台服务器，依靠服务器中的大量样本数据，快速识别出扫描场景中的事物。但是，传统机器读图、识图应用中，虽然能对标准场景(比如标准印刷物、标准物体)做拍照、扫描后，实现信息录入和识别处理，但仍很难满足用户日常生活中的多样化使用需求。因此，亟需一种更便捷、更直接的信息处理方案。
技术实现思路
有鉴于此，本说明书实施例提供了一种信息处理方法、装置及设备，以将计算机外部信息从自然界中识别出来，并转换为方便处理的数字化信息。本说明书实施例采用下述技术方案：本说明书实施例提供一种信息处理方法，包括：获取待录入信息对应的电子图像；将所述电子图像分类为预设的图像类型；根据所述图像类型对分类后的所述电子图像进行目标检测，以将所述电子图像中所包含的若干目标图像内容识别为所述目标图像内容在计算机系统中对应的信息元素；将所述信息元素按预设的排版规则，排版生成所述待录入信息对应的数字化信息。本说明书实施例还提供一种信息处理装置，包括：获取模块，获取待录入信息对应的电子图像；分类模块，将所述电子图像分类为预设的图像类型；检测模块，根据所述图像类型对分类后的所述电子图像进行目标检测，以将所述电子图像中所包含的若干目标图像内容识别为所述目标图像内容在计算机系统中对应的信息元素；排版模块，将所述信息元素按预设的排版规则，排版生成所述待录入信息对应的数字化信息。本说明书实施例还提供一种用于信息处理的电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：获取待录入信息对应的电子图像；将所述电子图像分类为预设的图像类型；根据所述图像类型对分类后的所述电子图像进行目标检测，以将所述电子图像中所包含的若干目标图像内容识别为所述目标图像内容在计算机系统中对应的信息元素；将所述信息元素按预设的排版规则，排版生成所述待录入信息对应的数字化信息。本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：用户可直接对自然场景中的信息进行拍摄、扫描等操作，经识别处理后可获取到各类有效信息对应的数字化信息，可满足用户便捷地将计算机外部信息录入的使用要求，以提高用户使用体验。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本说明书实施例提供的一种信息处理的示意图。图2为本说明书实施例提供的一种信息处理方法的流程图。图3为本说明书实施例提供的一种信息处理方法中电子图像的示意图。图4为本说明书实施例提供的一种信息处理方法中从电子图像中识别的字符的示意图。图5为本说明书实施例提供的一种信息处理方法中从电子图像中识别的图形的示意图。图6(a)为本说明书实施例提供的一种信息处理方法中文本的电子图像的示意图。图6(b)为本说明书实施例提供的一种信息处理方法中文本的数字化信息的示意图。图7(a)为本说明书实施例提供的一种信息处理方法中脑图的电子图像的示意图。图7(b)为本说明书实施例提供的一种信息处理方法中脑图的数字化信息的示意图。图8(a)为本说明书实施例提供的一种信息处理方法中表格的电子图像的示意图。图8(b)为本说明书实施例提供的一种信息处理方法中表格的数字化信息的示意图。图9为本说明书实施例提供的一种信息处理方法中字符识别模型的示意图。图10为本说明书实施例提供的一种信息处理方法中字符识别模型的训练示意图。图11为本说明书实施例提供的一种信息处理方法中目标检测模型的示意图。图12为本说明书实施例提供的一种信息处理方法中平面分割的示意图。图13为本说明书实施例提供的一种信息处理方法中部署实施的示意图。图14为本说明书实施例提供的一种信息处理装置的结构示意图。具体实施方式为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。传统的机器读图、识图应用方案，比如Officelens、Googlelens等，虽然能对标准场景(比如标准印刷物、标准物体)做拍照、扫描后，实现信息录入和识别处理，但用户使用中，仍存在较多限制，很难满足用户日常生活中的多样化使用需求。基于此，本说明书实施例提供一种信息处理方法、装置及设备。如图1所示，本说明书实施例提供的信息处理方案中，用户直接将自然场景中的信息转换为计算机可处理的电子图像，然后通过对电子图像进行识别处理，从该电子图像中获取出图像中所包含的各类有效信息，通过排版渲染后生成对应的数字化知识信息。因此，用户可直接将自然场景中的信息录入并生成对应的数字化信息。以下结合附图，详细说明本申请各实施例提供的技术方案。如图2所示，本说明书实施例提供一种信息处理方法，包括步骤：步骤S102、获取待录入信息对应的电子图像。其中，待录入信息可包括自然场景中需要录入计算机系统中的信息，比如物体、包含文字和/或文字的文本或者其它存在于自然环境当中的事物等信息，而这些信息需要录入到计算机系统中，以便计算机系统将这些应用场景中的信息转换为数字化的知识信息加以利用。<本文档来自技高网...

【技术保护点】
1.一种信息处理方法，包括：/n获取待录入信息对应的电子图像；/n将所述电子图像分类为预设的图像类型；/n根据所述图像类型对分类后的所述电子图像进行目标检测，以将所述电子图像中所包含的若干目标图像内容识别为所述目标图像内容在计算机系统中对应的信息元素；/n将所述信息元素按预设的排版规则，排版生成所述待录入信息对应的数字化信息。/n

【技术特征摘要】
1.一种信息处理方法，包括：
获取待录入信息对应的电子图像；
将所述电子图像分类为预设的图像类型；
根据所述图像类型对分类后的所述电子图像进行目标检测，以将所述电子图像中所包含的若干目标图像内容识别为所述目标图像内容在计算机系统中对应的信息元素；
将所述信息元素按预设的排版规则，排版生成所述待录入信息对应的数字化信息。


2.如权利要求1所述的方法，当所述图像类型为包含有字符的图像类型时，根据所述图像类型对分类后的所述电子图像进行目标检测，包括：
采用残差神经网络提取所述电子图像中所包含的字符的特征；
根据所述特征和预设的字符特征集，采用长短期记忆网络提取所述电子图像中的字符，以对所述电子图像中所包含的字符完成目标检测。


3.如权利要求2所述的方法，所述方法还包括：通过迁移学习补充所述字符特征集中的样本数据。


4.如权利要求1所述的方法，根据所述图像类型对分类后的所述电子图像进行目标检测，包括：
根据所述图像类型，基于预设的数据集利用MobileNet-SSD对分类后的所述电子图像进行目标检测。


5.如权利要求4所述的方法，所述方法还包括：
根据VOCdevkit和/或VOC2012数据集格式，构造所述数据集。


6.如权利要求4所述的方法，在目标检测后，所述方法还包括：
将所述若干目标图像内容归类；
将归类后的所述目标图像内容添加到所述数据集。


7.如权利要求6所述的方法，在将归类后的所述目标图像内容添加到所述数据集后，所述方法还包括：基于所述数据集，训练所述MobileNet-SSD。


8.如权利要求1所述的方法，所述方法还包括：将所述数字化信息展示在数字化界面中。


9.如权利要求8所述的方法，所述方法还包括：通过所述数字化界面提供若干处理接口，以通过所述处理接口对所述数字化信息进行所述处理接口对应的处理操作。


10.如权利要求1所述的方法，将所述信息元素按预设的排版规则，排版生成所述待录入信息对应的数字化信息，包括：
生成所述信息元素中的字符元素对应的字符区域对象和生成所述信息元素中的图形元素对应的图形区域对象；
确定所述信息元素需占用的版面参数，所述版面参数包括用于排版所述字符区域对象的坐标值和用于排版所述图形区域对象的坐标值；
按预设的排版规则，根据所述版面参数排版所述字符区域对象和所述图形区域对象，以生成所述待录入信息对应的数字化信息。


11.如权利要求10所述的方法，所述方法还包括：
判断所述字符区域对象与所述图形区域对象是否存在交叉；
若是，则确定所述字符区域对象与所述图形区域对象发生交叉的交叉区域；
分割所述交叉区域，其中分割所述交叉区域的分割线的斜率应满足：所述斜率使得存在交叉的所述字符区域对象和所述图形区域对象之中任意一个距离分割线最近的点到分割线的直线距离最远；
根据分割后的所述交叉区域，调整存在交叉的所述字符区域对象和所述图形区域对象的版面参数。


12.一种信息处理装置，包括：
获取模块，获取待录入信息对应的电子图像；
分类模块，将所述电子图像分类为预设的图像类...

【专利技术属性】
技术研发人员：徐达峰，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33