用于映射GUI专用接口工具集的方法和系统技术方案

本发明专利技术公开了一种用于映射图形用户界面专用接口工具集的方法和系统。如上所述，本发明专利技术的示例性特征在于自动地识别不同计算机系统上或者不同时间点处的同一计算机系统上的对应图形用户界面元件。具体来说，在本发明专利技术中，观察对由装载在第一计算机系统上的应用程序提供的图形用户界面的专用接口工具集的用户动作，收集关于用户动作中涉及的专用接口工具集以及关于图形用户界面中的所有其他专用接口工具集的信息，并且将所述信息与所述用户动作相关联。之后，利用收集信息鲁棒地识别由应用程序在装载到第二计算机系统上时所提供的图形用户界面的专用接口工具集（要对其执行用户动作）。然后，对识别出的专用接口工具集执行动作。在识别专用接口工具集的过程中，本发明专利技术利用了一组硬约束和软约束来识别匹配专用接口工具集。

【技术实现步骤摘要】

本专利技术总体上涉及用于重复针对不同计算机系统上的应用程序 的图形用户界面(GUI)执行的动作的系统、方法和程序产品。更具 体地说，本专利技术涉及用于自动且唯一地识别不同计算机之间相同或相 近似的GUI组件的鲁棒方式，其中，构造、应用程序版本以及环境上 的不同增加了这一任务的难度。
技术介绍
在本文中，釆用了以下术语和缩写系统，是指计算机硬件和/或软件的任意配置，例如单软件程序、 单计算机系统以及/或者包含多个硬件和/或软件的计算机基础设施； GUI，是图形用户界面的缩写；并且专用接口工具集(widget),是指GUI中的用户可与之交互的任 何组件。图1示出了现有技术中公知的用于记录用户动作的方法在步骤 101中，开始记录用户动作和专用接口工具集信息。 一般来说，步骤 101确保在步骤102中用户执行动作的同时执行步骤103、 104和105。 在步骤103中，观察用户在应用程序的GUI的专用接口工具集中执行 的动作。本领域普通技术人员将明白如何响应于用户动作利用由应用骤103。现在的大部分操作系统都为任何应用程序提供设置钩 (hook)的工具。实际上钩是特定类型事件的调回注册。例如， Microsoft的Windows(包括98 、 2000、 XP在内的各种形式的Windows ) 提供了大量这种钩(Microsoft、 Windows及相关术语是Microsoft公 司在美国和/或其他国家的商标)。其上运4亍Java应用程序的Java虛拟机(JVM)也提供了类似工具(Java、 JVM及相关术语是Sun Microsystems公司在美国和/或其他国家的商标)。在步骤104中，检索关于用户动作中涉及的专用接口工具集的信 息。本领域普通技术人员将理解，现在的计算机系统通常提供用于获 得关于对其执行动作的用户界面专用接口工具集的信息的装置。例如， Microsoft的各种版本的Windows操作系统提供了用于程序化地获取 关于UI专用接口工具集地信息的装置。Microsoft Active Accessibility(其为允许用户程序化地检索特定多条关于大部分专用接口工具集的 信息的软件界面集)提供了第一类装置。自带的Windows调用和消息(其允许用户程序化地检索特定多条信息)提供了第二类装置。在又 一示例中，可以利用调用内省机制来检索关于在JVM上运行的应用 程序的专用接口工具集的信息。无论怎样，步骤105都将在步骤104 中检索到的信息与在步骤103中观察到的用户动作相关联/记录。图2示出了本领域中教习的用于自动地在应用程序GUI上或在 多个应用程序的GUI上执行一系列动作的方法。在步骤201中，开始 回放(playback)并执行适当的初始化。步骤202在待执行的动作中 重复。步骤203识别在待执行的动作中涉及的专用接口工具集。步骤 204针对识别出的专用接口工具集执行动作。遗憾的是，这些现有技术中没有一个能够提供自动且唯一地识别 不同计算机之间或者在同一计算机内的相同或相近似的GUI组件的 方法，在不同计算机的情况下，构造、应用程序版本以及环境上的不 同增加了这一任务的难度；而在同一计算机的情况下，UI构造或用户 环境中的变化以及其他因素导致所提及的困难。例如，有两种办法来 执行步骤203。第一种方法包括在图1的步骤104中的记录关于对其 执行用户动作的专用接口工具集的位置信息。然后，图2中的步骤203 识别在所记录位置处的专用接口工具集，并且步骤204针对识别出的 专用接口工具集执行动作。这种方法比较脆弱。即，如果由于某种原 因使得专用接口工具集在回放时的位置不同于其回放时的位置，则该 方法将无法识别出专用接口工具集。本领域中教习的第二种方法包括针对用户动作中涉及的每一个专用接口工具集记录从该专用接口工具集到其才艮窗口 (即，在Microsoft Windows中带有任何其他窗口中未 包含的且包含该专用接口工具集的标题栏的窗口)的路径上的一系列 专用接口工具集。这种方法的局限在于，可能存在具有到根窗口的相 同路径的多个专用接口工具集。例如，如果应用程序具有多个工具栏， 则这些工具栏可能具有到根窗口的相同路径，并且可能极难彼此区分 开。鉴于以上情况，需要提供一种能够解决现有技术中的至少一种困 难的解决方案。
技术实现思路
鉴于常规方法和结构的以上和其他示例问题、缺点和不足，本发 明的示例性特征在于，自动地是识别在不同计算机系统上的对应GUI 组件。具体来说，本专利技术提供了用于识别不同计算机系统中或者在不 同的时间点处在同一计算机系统中的对应专用接口工具集的方法，其 中，构造、GUI布局、或者应用程序或操作系统的版本上的不同限制 了本领域中教习的其他方法的可应用性。除此之外，本专利技术观察针对 由第一计算机系统装载的应用程序提供的GUI的专用接口工具集的用户动作，收集关于用户动作中涉及的专用接口工具集的信息以及关 于GUI中的所有其他专用接口工具集的信息，并将收集到的信息与用 户动作相关联。然后，利用收集信息鲁棒地识别出由装载在第二计算 机系统上的应用程序提供的GUI的一个或多个专用接口工具集(要针 对其执行用户动作)。之后，针对识别出的一个或多个专用接口工具 集执行动作。在识别专用接口工具集的过程中，本专利技术利用一组硬约 束和软约束来识别匹配专用接口工具集。本专利技术的第一方面提供了一种用于映射图形用户界面(GUI)专 用接口工具集的方法，该方法包括以下步骤观察对由装载在第一计 算机系统上的应用程序提供的GUI的专用接口工具集的用户动作；收 集关于该专用接口工具集以及关于所述GUI中的所有其他专用接口 工具集的信息；并且将所述信息与所述用户动作相关联。本专利技术的第二方面提供了一种用于映射图形用户界面(GUI)专 用接口工具集的系统，该系统包括用于观察对由装载在第一计算机系统上的应用程序提供的GUI的专用接口工具集的用户动作的装置； 用于收集关于该专用接口工具集以及关于所述GUI中的所有其他专 用接口工具集的信息的装置；以及用于将所述信息与所述用户动作相 关联的装置。本专利技术的第三方面提供了一种存储在计算机可读介质上的用于 映射图形用户界面(GUI)专用接口工具集的程序产品，所述计算机 可读介质包括用于使计算机系统执行以下操作的程序代码观察对由 装载在第一计算机系统上的应用程序提供的GUI的专用接口工具集 的用户动作；收集关于该专用接口工具集以及关于所述GUI中的所有 其他专用接口工具集的信息；并且将所述信息与所述用户动作相关联。本专利技术的第四方面提供了 一种配置用于映射图形用户界面 (GUI)专用接口工具集的系统的方法，该方法包括提供能够执行以 下操作的计算机基础设施观察对由装载在第 一计算机系统上的应用 程序提供的GUI的专用接口工具集的用户动作；收集关于该专用接口 工具集以及关于所述GUI中的所有其他专用接口工具集的信息；并且 将所述信息与所述用户动作相关联。本专利技术的第五方面提供了表现为传播信号的用于映射图形用户 界面(GUI)专用接口工具集的计算机软件，该计算机软件包括用于 使第 一计算机系统执行以下操作的指令观察对由装载在第 一计算机 系统上的应用程序提供的GUI的专用接口工具集的用户动作；收集本文档来自技高网...

【技术保护点】
一种用于映射图形用户界面专用接口工具集的方法，该方法包括以下步骤：　　　　观察对由装载在第一计算机系统上的应用程序提供的图形用户界面的专用接口工具集的用户动作；　　　　收集关于该专用接口工具集以及关于所述图形用户界面中的所有其他专用接口工具集的信息；并且　　　　将所述信息与所述用户动作相关联。

【技术特征摘要】
US 2006-11-16 11/560,3831、一种用于映射图形用户界面专用接口工具集的方法，该方法包括以下步骤观察对由装载在第一计算机系统上的应用程序提供的图形用户界面的专用接口工具集的用户动作；收集关于该专用接口工具集以及关于所述图形用户界面中的所有其他专用接口工具集的信息；并且将所述信息与所述用户动作相关联。2、 根据权利要求1所述的方法，该方法还包括以下步骤识别步骤，识别由应用程序在装载到第二计算机系统上时提供的 图形用户界面的、对其执行所述用户动作的专用接口工具集；以及 执行步骤，针对所识别出的专用接口工具集执行所述用户动作。3、 根据权利要求2所述的方法，所述第一计算机系统不同于所 述第二计算机系统。4、 根据权利要求2所述的方法，所述第二计算机系统为不同时 间点处的所述第 一计算机系统。5、 根据权利要求2所述的方法，所述识别步骤包括 获得一组硬约束和一組软约束；丢弃所述第二计算机系统上的图形用户界面中的与所述组硬约 束不匹配的所有专用接口工具集，以得到一些保留专用接口工具集；如果保留约束的数量大于一，则利用所述组软约束对所述这些保 留专用接口工具集进行计分；并且基于所述计分返回分数最高的专用接口工具集。6、 根据权利要求5所述的方法，该方法还包括维护步骤，用于 维护包含对应用程序的当前可用窗口和专用接口工具集的描述的数据 库。7、 根据权利要求6所述的方法，所述维护步骤包括 注册窗口创建、删除以及变化的调回函数；分析已有窗口；并且 将信息存储在所...

【专利技术属性】
技术研发人员：丹尼尔A奥布林格尔，维托里奥卡斯泰利，劳伦斯伯格曼，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：US[美国]