用于自动解析示意图的系统和方法技术方案

本公开提供了用于根据系统的包括一个或多个示意图和部件表的工程文档来生成系统的数字表示的系统、方法和计算机程序产品。示例方法可以包括：(a)使用深度学习算法，(i)将一个或多个示意图中的多个符号中的每个符号分类为部件，并且(ii)将每组相关符号分类为组件；(b)确定部件和组件之间的连接；(c)将部件和组件的子集与部件表中的条目相关联；以及(d)根据部件、组件、连接和关联来生成系统的数字表示。系统的数字表示可以至少包括系统的数字模型以及机器可读的材料清单。字模型以及机器可读的材料清单。字模型以及机器可读的材料清单。

【技术实现步骤摘要】
【国外来华专利技术】用于自动解析示意图的系统和方法
交叉引用
[0001]本申请要求于2019年9月11日提交的美国临时专利申请第62/899,011号的优先权，其全部内容通过引用并入本文。

技术介绍

[0002]诸如示意图、管线图和仪器图表等的工程文档可以帮助工程师了解系统的组成部件、这些部件如何连接以及系统如何操作。一套完整的系统工程文档可以包括图表、提供与图表中的特定部件有关的更多详细信息的部件表、以及对系统采取的动作(例如，维护动作、校准等)的列表。这类工程文档中的一些或全部可能未被数字化。

技术实现思路

[0003]本公开提供了用于根据物理系统的工程文档生成物理系统的数字表示的系统、方法和计算机程序产品。工程文档可以包括物理系统的非数字示意图以及对应部件表。示意图可能跨越许多不同页面。本文所述的系统可以通过检测非数字示意图中的符号来生成物理系统的数字表示。然后，系统可以使用分类器来将每个检测到的符号分类为特定部件。在一些情况下，检测和分类可以通过单个算法或模型(例如，对象检测算法)同时进行。另外，系统可以例如通过检测示意图中的描绘组的虚线来将相关部件组分类为组件。此后，系统可以例如通过检测示意图中的连接部件和组件的实线来确定部件和组件之间的连接。在一些情况下，系统还可以将部件和组件的子集与部件表中的条目相关联。部件表可以提供与示意图未提供的某些部件有关的更详细信息。最后，系统可以根据部件、组件、连接和关联生成物理系统的数字表示。物理系统的数字表示可以包括物理系统的数字模型以及机器可读的材料清单。数字模型可以是定义物理系统的部件、连接和状态的计算机代码。数字模型可以是静态模型或时变模型。
[0004]上述系统可以促进将工程文档快速且准确地转换为综合数字模型。具体地，系统使用深度学习来标识和分类工程文档中的对象可以减少生成这类数字模型所需的领域知识(例如，工程文档中所使用的特定符号的几何知识)量。作为替代，有限量的标记训练数据可用于生成高度准确的深度学习模型。深度学习的普遍性还允许本文描述的方法在具有不同类型工程文档的不同行业中使用。
[0005]在一方面，本公开提供了用于根据系统的工程文档来生成系统的数字表示的方法。工程文档可以包括一个或多个示意图以及部件表。方法可以包括：(a)使用深度学习算法，(i)将一个或多个示意图中的多个符号中的每个符号分类为部件(component)，并且(ii)将每组相关符号分类为组件(assembly)；(b)确定部件和组件之间的连接；(c)将部件和组件的子集与部件表中的条目相关联；以及(d)根据部件、组件、连接和关联来生成系统的数字表示。系统的数字表示可以至少包括系统的数字模型以及机器可读的材料清单。
[0006]在一些实现中，方法还包括：在(a)之前，通过从一个或多个示意图中去除空白或噪声来预处理该一个或多个示意图。
[0007]在一些实现中，方法还包括：在(a)之前，确定要在一个或多个示意图中检测的部件库。在一些这样的实现中，方法还包括：(i)确定一个或多个示意图中的相应符号不在部件库中，以及(ii)将相应符号及其对应部件添加到部件库中。
[0008]在一些实现中，(a)包括使用二元分类器来检测一个或多个示意图中的多个符号。检测可以包括滑动窗口方法。深度学习算法可以包括二元分类器。在一些实现中，(a)还包括使用多类深度神经网络将所检测到的符号中的每个符号分类为部件。深度学习算法可以包括多类深度神经网络。多类深度神经网络可以选自包含以下各项的组：前馈神经网络和卷积神经网络。在一些实现中，单个算法(例如，对象检测算法)进行符号的检测和分类这两者。
[0009]在一些实现中，将每组相关符号分类为组件包括针对每组检测一个或多个示意图中的描绘该组的虚线。
[0010]在一些实现中，(b)包括检测连接所述部件和所述组件的实线。实线可以使用图形搜索算法来遍历和建模。
[0011]在一些实现中，(c)包括：使用光学字符识别，在一个或多个示意图中检测和标识与部件和组件的子集中的部件和组件相关联的标识号；以及将所检测到的标识号与部件表中的标识号进行匹配。检测标识号可以包括使用霍夫变换(Hough transform)。
[0012]在一些实现中，数字模型可以包括定义系统的部件、连接和状态的计算机代码。数字模型可以是静态模型。数字模型可以是时变模型。
[0013]本公开的另一方面提供了一种包括机器可执行代码的非暂时性计算机可读介质，所述机器可执行代码在由一个或多个计算机处理器执行时实现上述或本文其他地方的任何方法。
[0014]本公开的另一方面提供了一种系统，该系统包括一个或多个计算机处理器和与其耦合的计算机存储器。计算机存储器包括机器可执行代码，其在由一个或多个计算机处理器执行时实现上述或本文其他地方的任何方法。
[0015]从以下详细描述中，本公开的其他方面和优点对于本领域技术人员将变得容易理解，其中仅示出和描述了本公开的说明性实施方式。如将意识到的，本公开能够有其他不同的实施方式，并且其若干细节能够在各种明显的方面进行修改，所有这些都不背离本公开。因此，附图和描述在本质上被认为是说明性的，而不是限制性的。援引并入
[0016]本说明书中提到的所有出版物，专利和专利申请都以引用的方式并入本文，就如同每个单独的出版物，专利或专利申请被明确地并单独地指出通过引用并入一样。在通过引用并入的出版物和专利或专利申请与说明书中包含的公开内容相抵触的程度上，该说明书旨在取代和/或优先于任何此类矛盾的材料。
附图说明
[0017]在所附权利要求书中具体阐述了本专利技术的新颖特征。通过参考下面的详细说明，可以更好地理解本专利技术的特征和优点，所述详细说明阐述了示例性实施方式，其中利用了本专利技术的原理以及附图(也称为“示图”和“图”)，其中：
[0018]图1示意性地图示了用于根据物理系统的工程文档生成物理系统的数字表示的系
统。
[0019]图2是通过红框来标识所检测到的符号的物理系统的示意图。
[0020]图3是通过红框来标识所检测到的组件的物理系统的示意图。
[0021]图4示出了如在应用的用户界面中显示的示例数字模型。
[0022]图5是用于根据物理系统的工程文档生成物理系统的数字表示的示例处理的流程图。
[0023]图6示出了被编程或以其他方式配置以实现本文提供的方法的计算机系统。
具体实施方式
[0024]虽然这里已经示出和描述了本专利技术的优选实施方式，但是对于本领域技术人员来说，这些实施方式仅作为示例提供是容易理解的。在不脱离本专利技术的情况下，本领域技术人员现在将想到许多变化、改变和替换。应当理解，本专利技术时可以采用对这里描述的本专利技术的实施方式的各种替代。
[0025]每当术语“至少”、“大于”或“大于或等于”在一系列两个或更多个数值中的第一个数值之前时，术语“至少”、“大于”或“大于或等于”适用于该系列数值中的每个数值。例如，大于或等于1、2或3等同于大于或等本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于根据系统的工程文档来生成所述系统的数字表示的方法，所述工程文档包括一个或多个示意图和部件表，所述方法包括：(a)使用深度学习算法，(i)将所述一个或多个示意图中的多个符号中的每个符号分类为部件，并且(ii)将每组相关符号分类为组件；(b)确定所述部件和所述组件之间的连接；(c)将所述部件和所述组件的子集与所述部件表中的条目相关联；以及(d)根据所述部件、所述组件、所述连接和所述关联来生成所述系统的所述数字表示，其中所述系统的所述数字表示至少包括所述系统的数字模型以及机器可读的材料清单。2.根据权利要求1所述的方法，还包括：在(a)之前，通过从所述一个或多个示意图中去除空白或噪声来预处理所述一个或多个示意图。3.根据权利要求1所述的方法，还包括：在(a)之前，确定要在所述一个或多个示意图中检测的部件库。4.根据权利要求3所述的方法，还包括：(i)确定所述一个或多个示意图中的相应符号不在所述部件库中，以及(ii)将所述相应符号及其对应部件添加到所述部件库中。5.根据权利要求1所述的方法，其中(a)包括使用二元分类器来检测所述一个或多个示意图中的所述多个符号，其中所述深度学习算法包括所述二元分类器，以及其中所述检测包括滑动窗口方法。6.根据权利要求5所述的方法，其中(a)还包括使用多类深度神经网络将所检测到的符号中的每个符号分类为部件，其中所述深度学习算法包括所述多类深度神经网络。7.根据权利要求5所述的方法，其中(a)还包括使用自编码器将所检测到的符号中的每个符号分类为部件，其中所述深度学习算法包括所述自编码器。8.根据权利要求6所述的方法，其中所述多类深度神经网络选自包含以下各项的组：前馈神经网络和卷积神经网络。9.根据权利要求6所述的方法，其中所述多类深度神经网络是使用半监督学习过程来训练的。10.根据权利要求1所述的方法，其中(a)包括使用单个对象检测算法来检测所述一个或多个示意图中的所述多个符号并对其进行分类。11.根据权利要求1所述的方法，其中将每组相关符号分类为组件包括：针对每组检测所述一个或多个示意图中的描绘所述组的虚线。12.根据权利要求1所述的方法，其中(b)包括检测连接所述部件和所述组件的实线。13.根据权利要求12所述的方法，其中所述检测包括使用图形搜索算法。14.根据权利要求1所述的方法，其中(c)包括：使用光学字符识别，在所述一个或多个示意图中检测和标识与所述部件和组件的子集中的所述部件和所述组件相关联的标识号；以及将所检测到的标识号与所述部件表中的标识号进行匹配。15.根据权利要求14所述的方法，其中检测所述标识号包括使用霍夫变换。16.根据权利要求1所述的方法，其中所述数字模型包括定义所述系统的所述部件、所述连接和状态的计算机代码。17.根据权利要求16所述的方法，其中所述数字模型是静态模型。
18.根据权利要求16所述的方法，其中所述数字模型是时变模型。19.一种或多种非暂时性计算机存储介质，其存储指令，所述指令在由一个或多个计算机执行时能够操作以使所述一个或多个计算机进行操作，所述操作包括：(a)使用深度学习算法，(i)将所述一个或多个示意图中的多个符号中...

【专利技术属性】
技术研发人员：路易斯，
申请(专利权)人：思睿人工智能公司，
类型：发明
国别省市：