自动化流程图生成和视觉化系统技术方案

提供了一种用于生成数字流程图的系统。所述系统接收包括多个形状和文本的草图图像数据，并且通过以下操作来处理所述草图图像数据以生成流程图数据：应用被配置为生成形状数据的第一模型；应用被配置为生成文本数据的第二模型；以及生成将形状数据与文本数据相关联的链接数据。所述系统可生成并显示所述流程图数据的视觉化。所述系统可将所述流程图数据映射到演示幻灯片的区域并且在所述演示幻灯片上显示所述流程图数据的视觉化。显示所述流程图数据的视觉化。显示所述流程图数据的视觉化。

【技术实现步骤摘要】
【国外来华专利技术】自动化流程图生成和视觉化系统
专利

[0001]本案涉及虚拟流程图的自动生成，并且更明确地说，涉及基于草图图像数据自动地创建流程图且在演示幻灯片中显示所创建的流程图。
[0002]专利技术背景
[0003]将信息组织成流程图增强了视觉清晰度和不同信息片段之间的协调性。流程图用于例如咨询等各种行业中，其中经常通过演示文件(诸如PowerPoint或Google幻灯片)来共享信息。生成被包括在演示文件中的流程图的传统方法涉及手动过程，其中用户必须通过在演示应用中执行手动输入(例如，使用Microsoft PowerPoint、Adobe Photoshop和Microsoft Visio中的一者或多者)来手动地创建流程图的数字版本。

技术实现思路

[0004]如上所述，创建包括一个或多个流程图的演示文件的用户目前必须使用经由程序(诸如Microsoft PowerPoint、Adobe Photoshop、Microsoft Visio等)执行的输入来在演示文件中手动地生成流程图的数字版本。生成数字流程图的过程可能很繁琐且耗时，并且用户可能更喜欢创建手绘流程图草图，因为该过程更简单、更快、更容易且较少分心，尤其是在协作式集体讨论和白板会议期间。然而，即便当用户画出手绘流程图草图时，将所述手绘草图转换为用于包括在演示文件中的数字流程图的过程仍繁琐且耗时，需要经由演示创建程序来使用相同的手动GUI输入。以这种方式手动创建流程图的数字版本可能是劳动密集、不精确、耗时且难以扩展的。因此，需要用于基于手绘草图快速地、准确地且灵活地生成数字流程图并在演示幻灯片中显示所生成的数字流程图的改进的系统、方法和技术。
[0005]因此，本文提供了用于基于手绘草图生成数字流程图并在演示幻灯片中显示所生成的数字流程图的自动化系统、方法和技术。所提供的系统、方法和技术可通过基于手绘草图有效地、准确地且灵活地生成数字流程图并且在演示幻灯片中显示所生成的数字流程图来解决上文阐释的需求中的一项或多项。
[0006]在一些实施方案中，提供一种用于将手绘流程图草图自动地转换为数字流程图以便在演示生成程序中显示和/或编辑的系统。所述系统可包括草图识别模块、坐标映射模块和演示生成模块。
[0007]在一些实施方案中，所述草图识别模块、坐标映射模块和演示生成模块(和/或由此提供的任何功能性)可全部地或部分地提供为一个或多个单独的系统、单个系统的子系统、统一系统、网络系统、服务器托管的系统、分布式系统或云系统。
[0008]在一些实施方案中，所述草图识别模块可基于所述系统接收到的手绘草图图像数据生成形状数据和文本数据。所述草图识别系统可检测手绘草图中存在的对象、将所检测到的一个或多个对象分类为一类形状或为文本，并且生成所述形状和文本的位置数据。
[0009]在一些实施方案中，所述坐标映射模块可生成流程图数据。在一些实施方案中，所生成的流程图数据包括表示形状对象的位置和类别(例如，矩形、箭头、椭圆形等)、文本对象的位置和文本内容以及形状对象与文本对象之间的链接的数据。所述坐标映射系统可包
括优化函数和算法，所述优化函数和算法将手绘草图内的文本对象或形状对象的所生成的位置数据映射到演示幻灯片上的区域。在一些实施方案中，所述坐标映射系统可包括用于在基于手绘草图生成流程图数据时将对象相链接并且使不同对象的相对位置保持相同的算法。
[0010]在一些实施方案中，所述演示生成模块可生成并显示所生成的流程图数据的视觉化。在一些实施方案中，可响应于用户输入来验证和/或更新所生成的流程图数据的视觉化。在一些实施方案中，可在演示幻灯片上对所生成的数字流程图视觉化，所述演示幻灯片可被存储、传输和/或显示。
[0011]如本文中所阐释的，用于基于手绘草图生成流程图数据并且在演示幻灯片中显示所生成的流程图数据的自动化系统、方法和技术可最小化手动流程图和幻灯片生成过程所需的劳动。通过使流程图数据生成过程自动化并且通过自动地生成在上面显示所生成的流程图数据的演示幻灯片，可减少创建演示所需的劳动和时间。此外，可提高包含流程图数据的演示幻灯片的准确性和综合性，以及能够重新创建和/或修改所生成的流程图数据以供将来查看和/或再用。
[0012]在一些实施方案中，提供一种用于生成数字流程图的系统，所述系统包括显示器和一个或多个处理器，所述一个或多个处理器被配置为致使所述系统：接收包括多个形状和文本的草图图像数据；处理所述草图图像数据以生成流程图数据，其中处理所述草图图像数据包括：应用第一模型，所述第一模型被配置为基于所述草图图像数据生成形状数据，其中应用所述第一模型来生成所述形状数据包括：检测所述草图图像数据中形状的存在；生成分类数据，所述分类数据指示所述草图图像数据中的所检测到的形状的预测类别；以及生成指示所述形状的所确定位置的第一位置数据；以及处理所述形状数据以生成所述流程图数据，其中生成所述流程图数据包括生成链接数据，所述链接数据将所述形状数据与所述流程图数据中的一个或多个其他对象相关联；以及生成并在所述显示器上显示所述流程图数据的视觉化。
[0013]在所述系统的一些实施方案中，接收所述草图图像数据包括接收指示从上传到所述系统的多个草图中对所述草图图像数据的选择的用户输入。
[0014]在所述系统的一些实施方案中，处理所述草图图像数据还包括以下操作中的一项或多项：裁剪所述草图图像数据；旋转所述草图图像数据；以及对所述草图图像数据调整大小。
[0015]在所述系统的一些实施方案中，所述第一模型包括选自以下各者中的一个或多个模型：R
‑
CNN模型、更快速RCNN模型和YOLO模型。
[0016]在所述系统的一些实施方案中，预测所述草图图像数据中的所述所检测到的形状的类别包括应用分类算法来从一组预定类别中选择所述类别。
[0017]在所述系统的一些实施方案中，所述一组预定类别包括箭头、线、矩形、椭圆形、菱形和平行四边形中的两者或更多者。
[0018]在所述系统的一些实施方案中，所述第一位置数据包括形状中心坐标、形状宽度和形状高度中的一者或多者。
[0019]在所述系统的一些实施方案中，所述第一位置数据包括形状边界框，所述形状边界框包括四个角坐标。
[0020]在所述系统的一些实施方案中，处理所述形状数据以生成所述流程图数据还包括：限定演示页面的多个区域；基于所述形状边界框的所述中心坐标将所述形状映射到所述多个区域中的一个区域；以及基于与所述一个区域相关联的区域位置数据生成修改后的第一位置数据。
[0021]在所述系统的一些实施方案中，所述一个或多个其他对象与第二位置数据相关联。
[0022]在所述系统的一些实施方案中，生成所述链接数据包括基于所述修改后的第一位置数据和所述第二位置数据生成将所述形状与所述一个或多个其他对象相关联的数据。
[0023]在所述系统的一些实施方案中，所述一个或多个其他对象包括箭头，并且所述第二位置数据指示所述箭头的端点和所述箭本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于生成数字流程图的系统，所述系统包括显示器和一个或多个处理器，所述一个或多个处理器被配置为致使所述系统：接收包括多个形状和文本的草图图像数据；处理所述草图图像数据以生成流程图数据，其中处理所述草图图像数据包括：应用第一模型，所述第一模型被配置为基于所述草图图像数据生成形状数据，其中应用所述第一模型来生成所述形状数据包括：检测所述草图图像数据中形状的存在；生成分类数据，所述分类数据指示所述草图图像数据中的所检测到的形状的预测类别；以及生成指示所述形状的所确定位置的第一位置数据；以及处理所述形状数据以生成所述流程图数据，其中生成所述流程图数据包括生成链接数据，所述链接数据将所述形状数据与所述流程图数据中的一个或多个其他对象相关联；以及生成并在所述显示器上显示所述流程图数据的视觉化。2.如权利要求1所述的系统，其中接收所述草图图像数据包括接收指示从上传到所述系统的多个草图中对所述草图图像数据的选择的用户输入。3.如权利要求1
‑
2中任一项所述的系统，其中处理所述草图图像数据还包括以下操作中的一项或多项：裁剪所述草图图像数据；旋转所述草图图像数据；以及对所述草图图像数据调整大小。4.如权利要求1
‑
3中任一项所述的系统，其中所述第一模型包括选自以下各者中的一个或多个模型：R
‑
CNN模型、更快速RCNN模型和YOLO模型。5.如权利要求1
‑
4中任一项所述的系统，其中预测所述草图图像数据中的所述所检测到的形状的类别包括应用分类算法来从一组预定类别中选择所述类别。6.如权利要求5所述的系统，其中所述一组预定类别包括箭头、线、矩形、椭圆形、菱形和平行四边形中的两者或更多者。7.如权利要求1
‑
6中任一项所述的系统，其中所述第一位置数据包括形状中心坐标、形状宽度和形状高度中的一者或多者。8.如权利要求7所述的系统，其中所述第一位置数据包括形状边界框，所述形状边界框包括四个角坐标。9.如权利要求8所述的系统，其中处理所述形状数据以生成所述流程图数据还包括：限定演示页面的多个区域；基于所述形状边界框的所述中心坐标将所述形状映射到所述多个区域中的一个区域；以及基于与所述一个区域相关联的区域位置数据生成修改后的第一位置数据。10.如权利要求9所述的系统，其中所述一个或多个其他对象与第二位置数据相关联。11.如权利要求10所述的系统，其中生成所述链接数据包括基于所述修改后的第一位置数据和所述第二位置数据生成将所述形状与所述一个或多个其他对象相关联的数据。
12.如权利要求10
‑
11中任一项所述的系统，其中所述一个或多个其他对象包括箭头，并且所述第二位置数据指示所述箭头的端点和所述箭头的头部中的一者或多者的位置。13.如权利要求1
‑
12中任一项所述的系统，其中：所述一个或多个其他对象包括文本对象；处理所述草图图像数据还包括：应用第二模型，所述第二模型被配置为基于所述草图图像数据生成文本数据，其中应用所述第二模型以生成所述文本数据包括：检测所述草图图像数据中文本的存在；以及生成指示所述文本的所确定位置的第三位置数据；以及生...

【专利技术属性】
技术研发人员：张熠卓，李钧，李维纲，陈继娴，
申请(专利权)人：普华永道会计事务所，
类型：发明
国别省市：