机器人流程自动化的图形元素搜索技术选择、锚点和目标的模糊逻辑选择和/或分层图形元素标识制造技术

公开了用于机器人流程自动化(RPA)的图形元素搜索技术选择，用于锚点和目标的模糊逻辑选择以及分层图形元素标识。锚点和目标的模糊逻辑选择可能是用于标识UI中图形元素的较大、分层次或分层过程的一部分。当没有找到具有至少置信度阈值的UI元素的选择器时，可以基于目标和(多个)对应锚点的模糊匹配来搜索潜在地对应于UI元素目标的选择器的相似元素。在目标UI元素与其(多个)相应的锚点之间也可以采用几何匹配。模糊匹配和几何匹配的组合可以允许更灵活和准确地标识RPA机器人尝试与其交互的精确选择器。精确选择器。精确选择器。

【技术实现步骤摘要】
【国外来华专利技术】机器人流程自动化的图形元素搜索技术选择、锚点和目标的模糊逻辑选择和/或分层图形元素标识
[0001]相关申请的交叉引用
[0002]本申请要求2020年5月11日提交的美国非临时专利申请No.16/871,696的权益。该在先提交的申请的技术方案通过引用整体并入本文。


[0003]本专利技术总体上涉及机器人流程自动化(RPA)，更具体地，涉及针对RPA的图形元素搜索技术选择、用于锚点和目标的模糊逻辑选择、和/或分层图形元素检测。

技术介绍

[0004]RPA机器人可能会尝试为某些工作流程活动标识计算系统的用户界面(UI)的图形元素并与计算系统的用户界面(UI)的图形元素交互。例如RPA机器人可能会试图在UI中标识“提交”按钮，然后对该按钮执行鼠标单击操作。但是，正确标识UI的图形元素以使RPA机器人可以在其工作流程中准确执行UI交互活动提出了巨大的技术挑战。因此，用于标识和选择图形元素的改进方案可能是有益的。

技术实现思路

[0005]本专利技术的某些实施例可以提供对于本领域的问题和需求的解决方案，其尚未被当前的RPA技术完全标识、理解或解决。例如本专利技术的一些实施例涉及用于RPA的图形元素搜索技术选择、用于锚点和目标的模糊逻辑选择、和/或分层图形元素检测。
[0006]在一个实施例中，一种计算机实现的方法，包括由RPA设计器应用在设计时在应用的UI或动态应用的UI的一部分或全部的图像中指定目标UI元素，在所述目标UI元素上自动化将被执行。该计算机实现的方法还包括：由RPA设计器应用在设计时接收一种或多种搜索算法的选择；以及由RPA设计器应用在设计时配置RPA工作流的活动以执行所选择的一种或多种搜索算法。
[0007]在另一个实施例中，一种用于标识与RPA工作流的活动相关联的目标UI元素的计算机实现的方法包括：由实现RPA工作流的RPA机器人，在运行时执行对目标UI元素的选择器搜索以标识目标UI元素。当找不到目标UI元素时，该计算机实现的方法包括由RPA机器人执行模糊选择器搜索、目标和锚点搜索、模糊目标和锚点搜索、图像匹配、文本匹配、CV匹配或其组合，以标识目标UI元素。该计算机实现的方法还包括由RPA机器人基于RPA工作流的活动来执行与所标识的目标UI元素的交互。
[0008]在又一个实施例中，一种用于标识与RPA工作流程的活动相关联的目标UI元素的计算机实现的方法包括：由被配置为实现RPA工作流的RPA机器人在运行时执行针对目标UI元素的选择器搜索以及模糊选择器搜索、目标和锚点搜索、模糊目标和锚点搜索、图像匹配、文本匹配和CV匹配中的至少一个。该计算机实现的方法还包括由RPA机器人基于验证分数从选择器搜索以及模糊选择器搜索、目标和锚点搜索、模糊目标和锚点搜索、图像匹配、
文本匹配和CV匹配中的至少一个中选择最佳结果，以标识目标UI元素。该计算机实现的方法还包括：基于RPA工作流的活动，由RPA机器人执行与所标识的目标UI元素的交互。
附图说明
[0009]为了容易理解本专利技术的某些实施例的优点，将通过参考在附图中示出的特定实施例来对以上简要描述的本专利技术进行更具体的描述。虽然应该理解，这些附图仅描绘了本专利技术的典型实施例，因此不应认为是对本专利技术范围的限制，但是将通过附图的使用以附加的特征和细节来描述和解释本专利技术，在附图中：
[0010]图1是示出了根据本专利技术的实施例的机器人流程自动化(RPA)系统的架构图。
[0011]图2是示出了根据本专利技术的实施例的部署的RPA系统的架构图。
[0012]图3是示出了根据本专利技术的实施例的设计器、活动和驱动之间的关系的架构图。
[0013]图4是示出了根据本专利技术的实施例的RPA系统的架构图。
[0014]图5是示出了根据本专利技术的实施例的被配置为对RPA执行图形元素搜索的计算系统的架构图。
[0015]图6示出了根据本专利技术的实施例的示例UI树。
[0016]图7是示出了根据本专利技术一些实施例的用于使用模糊匹配来选择用于UI元素标识的目标和锚点的过程的流程图。
[0017]图8A是示出了根据本专利技术的实施例的RPA设计器应用中的目标和锚点选择的屏幕截图。
[0018]图8B是示出了根据本专利技术的实施例的RPA设计器应用中的目标选择选项的屏幕截图。
[0019]图8C是示出了根据本专利技术的实施例的RPA设计器应用中的模糊选择器匹配的屏幕截图。
[0020]图9示出了根据本专利技术实施例的用于RPA的多锚定示例。
[0021]图10示出了根据本专利技术实施例的用于RPA的另一种多锚定示例。
[0022]图11是示出了根据本专利技术的实施例的用于分层目标UI元素标识和RPA机器人活动执行的过程的流程图。
[0023]图12是示出了根据本专利技术的实施例的用于针对RPA的锚点和/或目标的模糊逻辑选择的过程的流程图。
[0024]图13是示出了根据本专利技术的实施例的用于配置用于搜索目标UI元素的一种或多种搜索方法的过程的流程图。
[0025]图14是示出了根据本专利技术的实施例的用于搜索目标UI元素并实现RPA工作流的活动的过程的流程图。
[0026]除非另有说明，否则相似的附图标记在整个附图中始终表示对应的特征。
具体实施方式
[0027]一些实施例涉及用于RPA的图形元素搜索技术选择、用于锚点和目标的模糊逻辑选择、和/或的分层图形元素检测。如本文中所定义，“目标”是UI中机器人寻求与之交互的图形元素(本文中也称为“UI元素”)，而“锚点”是UI中的另一图形元素，其可以用来基于目
标和一个或多个锚点之间的一种或多种关系，准确标识目标UI元素。为了自动执行用户界面中的特定动作，RPA机器人可以通过单击目标、添加文本、选择菜单项等来与目标(例如窗口、按钮、下拉列表、文本字段等)进行交互。在一些实施例中，选择器可以用于目标和(多个)锚点，以存储相应的UI元素及其父元素的属性(例如以可扩展标记语言(XML)片段)。
[0028]关于目标及其(多个)锚点的信息可以被存储在UI描述符中，在一些实施例中，UI描述符是封装的数据/结构格式，其包括目标UI元素选择器、(多个)锚点选择器、目标和锚点的计算机视觉(CV)选择器、屏幕图像捕获(上下文)、UI元素图像捕获、其他元数据(例如应用和应用版本)、其组合等。封装的数据/结构格式可以扩展平台的未来更新，并不限于以上定义。在不脱离本专利技术的范围的情况下，可以使用用于标识屏幕上的UI元素的任意合适的UI描述符。
[0029]在一些实施例中，锚点和目标的模糊逻辑选择可以是用于标识UI中的图形元素的更大、分层次和/或分层过程的一部分。例如系统可以首先使用本机操作系统(OS)功能等通过屏幕抓取来搜索目标UI元素的选择器。如果未以至少置信度阈值(例如97％、85％等)找到UI元素的选择器，可以基于目标的模糊匹配来搜索可能与UI元素目标的选择器相对应的相似元素，和/或可以使用对应的(多个)锚点来更准确本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：由机器人流程自动化(RPA)设计器应用在设计时指定应用的用户界面(UI)或动态应用的UI的一部分或全部的图像中的目标UI元素，在所述目标UI元素上自动化将被执行；由所述RPA设计器应用在设计时接收对一种或多种搜索算法的选择；以及由所述RPA设计器应用在设计时配置RPA工作流的活动以执行所选择的所述一种或多种搜索算法。2.根据权利要求1所述的计算机实现的方法，其中所述一种或多种搜索算法包括选择器搜索、模糊选择器搜索、目标和锚点搜索、模糊目标和锚点搜索、图像匹配、文本匹配、计算机视觉(CV)匹配或其组合。3.根据权利要求2所述的计算机实现的方法，其中所述一个或多个搜索算法包括解析针对所述应用的所述UI的UI树，以标识所述目标UI元素的一个或多个属性、一个或多个锚点、一个或多个标签、或其组合。4.根据权利要求3所述的计算机实现的方法，其中所述UI树中的所有标签在一次解析中被找到。5.根据权利要求2所述的计算机实现的方法，其中所选择的所述一种或多种搜索算法包括文本匹配，并且所述文本匹配要求针对所述目标UI元素的候选的文本的精确匹配。6.根据权利要求2所述的计算机实现的方法，其中所选择的所述一种或多种搜索算法包括图像匹配，并且与所述目标UI元素相关联的图像的匹配针对所述图像匹配找到匹配是强制的。7.根据权利要求2所述的计算机实现的方法，其中所选择的所述一种或多种搜索算法包括模糊选择器匹配，并且所述模糊选择器匹配包括执行图像匹配。8.根据权利要求1所述的计算机实现的方法，其中所述RPA工作流活动的所述配置包括配置一个或多个锚点、一个或多个标签属性、一个或多个准确度等级或其组合。9.根据权利要求1所述的计算机实现的方法，其中所述活动中的所选择的所述一种或多种搜索算法被配置为按顺序被执行，并且在当前正在执行的搜索算法找到所述目标UI元素时，执行被停止。10.根据权利要求1所述的计算机实现的方法，还包括：由实现所述RPA工作流的RPA机器人，在运行时执行针对所述目标UI元素的选择器搜索，以标识所述目标UI元素；当所述目标UI元素未被找到时，由所述RPA机器人执行模糊选择器搜索、目标和锚点搜索、模糊目标和锚点搜索、图像匹配、文本匹配、计算机视觉(CV)匹配或其组合，以标识所述目标UI元素；以及由所述RPA机器人基于所配置的所述活动来执行与所标识的所述目标UI元素的交互。11.根据权利要求10所述的计算机实现的方法，其中所述模糊选择器搜索、所述目标和锚点搜索、所述模糊目标和锚点搜索、所述图像匹配、所述文本匹配和所述计算机视觉(CV)匹配中的两个或更多个被执行，并且所述模糊选择器搜索、所述目标和锚点搜索、所述模糊目标和锚点搜索、所述图像匹
配、所述文本匹配和所述CV匹配中的所述两个或更多个的所述执行基于所配置的所述活动中的顺序而被执行。12.根据权利要求10所述的计算机实现的方法，其中所述模糊目标和锚点搜索由所述RPA机器人执行，并且所述模糊目标和锚点搜索包括使用模糊匹配来确定所述目标和至少一个锚点，并对使用所述模糊匹配而被确定的所述目标和所述至少一个锚点执行几何匹配。13.根据权利要求12所述的计算机实现的方法，其中所述模糊目标和锚点搜索包括调用驱动，单次驱动调用针对所述目标和所述至少一个锚点而被做出，并且所述驱动在针对与所述UI相关联的所述应用的UI树的单次遍...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：尤帕斯公司，
类型：发明
国别省市：