【技术实现步骤摘要】
本专利技术涉及图像识别，尤其涉及一种基于大模型的ocr图纸识别系统。
技术介绍
1、流程行业企业在经营过程中，通常会产生大量cad设计图纸文件，由于工厂体量大设备多，图纸文件数量巨大，在数字化转型过程中须要将图纸中关键信息提取到数字化信息系统中以便于精细化管理。纸张图纸一般由设计单位提供，交付给业主的都是pdf或图片格式，人工提取pdf或图片数据往往存在以下问题：
2、(1)文件数量大，一次提取工作图纸数量是以万为单位，需要人工通过专业软件一一打开图纸后才可识别，需要少则几人，多则十几二十人同时进行提取工作，仅仅打开关闭图纸就会消耗很多时间，几万张图纸最少需要耗时一两个月。
3、(2)打开后的图纸须要人工肉眼找到图纸中的标题栏，及提取标题栏表格中的字段信息，人工容易视觉疲劳，发生错行，漏读，添字等错误。
4、(3)人工操作，容易出现重复操作，提取过的文件没有标记，导致重复工作量。
5、(4)出现文件遗漏的情况，某个文件没有提取或者整个文件夹都没有提取。
6、(7)大量文件需要多个人操作提取，整合提取结果容易出现纰漏。
7、(8)整个工作分配及进度需要人工整理表格反馈，耗时费力，工作不透明。
8、(9)客户提供图纸往往存储在统一文件夹下，操作人员都有权限查看，存在安全隐患。
9、因此，有必要提出一种能够解决当下智能识别图纸的系统，cad图纸管理协同工作平台，基于bs架构，设有高效灵活的文件管理，与任务管理相结合，辅以可深度学习的ocr技
技术实现思路
1、本专利技术创造为了解决现有技术中存在的问题提出如下技术方案。
2、1、设计思路
3、1)ocr深度学习
4、在工程应用中，可采用基于百度飞桨框架训练ocr模型来识别图框中内容。
5、2)大模型纠错
6、基于大模型对图框中可能发生错误的内容进行修正。
7、3)任务管理
8、人员管理，图纸分配到人进行核查，管理员可抽检及驳回，工作量实时统计，进度公开透明。
9、2、方案设计
10、如图1所示，本专利技术的系统设计如下：
11、本专利技术以ocr识别图纸为核心，以规则和大模型校验为辅，进一步提高了识别准确率，再通过人工核验，从而完成高质量、高效率的数据提取。
12、本专利技术的一种基于大模型的ocr图纸识别系统，它主要是识别提取工程图纸中的标题栏中的信息，一般是位于图纸边上角落位置的表格中的信息。本ocr图纸识别系统的系统结构包括访问层、接口层、服务层和数据层；访问层提供给用户访问形式，接口层为访问层与服务层之间提供访问数据接口；数据层存储系统运行过程中的数据；其特征是
13、所述访问层包括：数据导入、数据标注、人工审核、属性配置和系统管理；
14、所述接口层包括：文件处理、数据处理和配置处理；
15、所述服务层包括：ocr、大模型、权限管理和安全管理；
16、所述数据层包括：数据库；
17、ocr图纸识别系统是以服务层的ocr为基础，通过大模型反馈识别纠错结果，为访问层的用户提供识别数据；服务层的权限管理用户的访问权限，安全管理对用户会话进行验证；业务流程产生的数据和文件存在数据库中；
18、用户业务流程的步骤包括：
19、1)发起服务请求：用户收集需提取数据的图纸文件，发送给ocr图纸识别系统；由数据导入将这些图纸文件导入到文件服务器；
20、2)ocr处理：在图纸文件中标注标题栏表格的位置，通过ocr识别图纸文件中该位置的数据，并将识别的数据存入数据库；
21、3)大模型处理：大模型是单独部署的一个服务；
22、从ocr识别的数据中抽取文本类型(如英文字、数字)字段，并作为大模型的输入；大模型将输入数据中有错误的部分进行纠错识别，并把纠错结果信息存入数据库；
23、4)人工审核：将合适数量的图纸文件分配给审核员进行人工审核；(人工审核中，有分配者的权限，则可选择文件单个或批量分配给指定的审核员)
24、审核员通过原始图纸、ocr的识别信息、大模型的纠错信息(原信息纠错前的信息)以及被纠错信息(应纠错后的新信息)来进行人工识别和修改，保存最终修改后的信息。
25、数据标注包括：
26、a、标注表格
27、在已导入的图纸文件中选择多个图纸文件；在每个图纸文件的图片中，通过框选标记出需要识别的标题栏表格的位置；
28、b、标注字段
29、在已导入的图纸文件列表中选择多个图纸文件；在每个图纸文件的图片中，找到要识别的字段，并框选出要识别字段的位置及字段对应值的位置，选择关联字段即属性配置的字段，选择提取文字类型为字段名或字段值；
30、在数据标注过程中，
31、如果所有图纸文件的标题栏表格格式相对标准统一，则对多张有代表性的图纸进行数据标注；
32、如果图纸文件的标题栏表格行列变化大，则将图纸文件分类的数据标注训练为新的大模型，每次训练有共性的图纸；
33、在数据标注完成后，对大模型进行训练，训练完成即得所需使用的大模型；
34、数据识别包括：
35、a、识别：采用管理员选择训练得到的大模型对需要识别的图纸文件进行批量识别；
36、b、纠错：字段名纠错：对于ocr识别后的字段名中潜在的错误，通过属性配置要识别的图纸需要配置属性，即表格中的字段，有哪些字段及其对应值是要识别的，这个可以事先配置，只有配置了字段才可能被识别，ocr识别的时候可能出错，但使用者是知道正确字段名的，预先配置了就可以判断ocr是否识别错误的字段名判断相似性，根据字段名的相同的比例分别记为“标记纠错”和“自动纠错”；对“自动纠错”进行自动纠错；对“标记纠错”的部分，留给人工审核判断；
37、字段值纠错：通过属性配置的字段值规则(配置值为纯数字，如ocr识别带了字母则说明有错误)，判断ocr识别结果，不匹配的记为“标记纠错”，待人工审核；
38、标题字段为常规文本，调用大模型判断标题正确性；对大模型判断结果与ocr结果有差异的部分标记纠错，留给人工审核判断；
39、人工审核包括：
40、将图纸文件分配给指定审核员审核；
41、审核员打开图纸文件后，系统自动放大定位到图纸的标题栏表格，同时显示对应提取的数据；突出显示“自动纠错”的部分以及“标记纠错”的部分；审核员对“标记纠错”的部分进行人工纠错；
42、管理员有查看进度以及抽检已人工审核的图纸文件的权限；抽检不合格的驳回，审核员重新审核。
43、具体来说：
44、所述数本文档来自技高网...
【技术保护点】
1.一种基于大模型的OCR图纸识别系统，系统结构包括访问层、接口层、服务层和数据层；访问层提供给用户访问形式，接口层为访问层与服务层之间提供访问数据接口；数据层存储系统运行过程中的数据；其特征是
2.根据权利要求1所述的基于大模型的OCR图纸识别系统，其特征是所述数据层的数据库包括MySQL、MinIO和Redis；业务产生的数据存在MySQL，文件存在MinIO，频繁使用的数据则暂存于Redis。
3.根据权利要求1所述的基于大模型的OCR图纸识别系统，其特征是大模型的要求是具备正常语言理解能力；根据配置训练适用的OCR识别模型；
4.根据权利要求1所述的基于大模型的OCR图纸识别系统，其特征是在访问层中，
5.根据权利要求1所述的基于大模型的OCR图纸识别系统，其特征是数据导入是将用户的原图纸文件导入到文件服务器；在导入过程中判断文件类型是否符合配置的类型，符合后方进入下一步骤处理。
【技术特征摘要】
1.一种基于大模型的ocr图纸识别系统，系统结构包括访问层、接口层、服务层和数据层；访问层提供给用户访问形式，接口层为访问层与服务层之间提供访问数据接口；数据层存储系统运行过程中的数据；其特征是
2.根据权利要求1所述的基于大模型的ocr图纸识别系统，其特征是所述数据层的数据库包括mysql、minio和redis；业务产生的数据存在mysql，文件存在minio，频繁使用的数据则暂存于redis。
<...【专利技术属性】
技术研发人员：冯强，黄毅，李夫健，
申请(专利权)人：南京中图数码科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。