一种界面元素探测识别方法、装置、存储介质及电子设备制造方法及图纸

本申请实施例公开了一种界面元素探测识别方法、装置、存储介质及电子设备。该方法包括：在监视窗口消息的钩子打开的情况下，获取与鼠标移动位置相关联的元素应用类型；其中，所述元素应用类型包括Win32桌面程序、IE浏览器、webkit内核浏览器和java桌面程序；确定与所述元素应用类型相匹配的元素识别算法信息；根据所述元素识别算法信息，对鼠标移动位置的元素对象进行识别，得到目标元素对象；其中，所述元素对象包括基本属性信息、隶属对象信息、基本操作信息以及对象转选择串信息。本技术方案，可以根据元素应用类型自动识别元素对象，可以有效的屏蔽各种应用场景中的技术复杂度，提高了元素的识别精度，减少了资源的浪费。减少了资源的浪费。减少了资源的浪费。

【技术实现步骤摘要】
一种界面元素探测识别方法、装置、存储介质及电子设备


[0001]本申请实施例涉及计算机自动化
，尤其涉及一种界面元素探测识别方法、装置、存储介质及电子设备。

技术介绍

[0002]随着全球数字化经济的深入，各行业开始实施数字化转型，以实现降本增效开源节流的目的。其中，RPA(Robotic process automation，机器人流程自动化)的弱耦合性、易操作、部署便捷、效率高等特性受到了各行业的青睐，从而成为重要的企业数字化转型工具之一。同时为了进一步提升RPA产能，很多企业开始通过RPA+AI+创新技术的超级自动化，将费时、费力的非结构化数据业务实现自动化。因此一种高效的、准确的、跨平台的计算机系统元素识别技术赋能计算机自动化应用就减少研发成本、专注于业务研发来说是非常重要的。
[0003]计算机自动化领域中当前界面元素探测识别主要采用MSAA(Microsoft Active Accessibility)、UIA(Microsoft User Interface Automation)、MSHTML、浏览器扩展(Chrome Extension)和JAB(Java Access Bridge)等技术。
[0004]由于各种软件系统使用的技术栈以及和它运行的操作系统不同，当前界面元素探测识别方法对于各种复杂场景往往很难满足需求，需要大量的人力物力根据不同场景结合不同场景进行改进。

技术实现思路

[0005]本申请实施例提供一种界面元素探测识别方法、装置、存储介质及电子设备，根据元素应用类型自动识别元素对象，可以有效的屏蔽各种应用场景中的技术复杂度，提高了元素的识别精度，减少了资源的浪费。
[0006]第一方面，本申请实施例提供了一种界面元素探测识别方法，该方法包括：
[0007]在监视窗口消息的钩子打开的情况下，获取与鼠标移动位置相关联的元素应用类型；其中，所述元素应用类型包括Win32桌面程序、IE浏览器、webkit内核浏览器和java桌面程序；
[0008]确定与所述元素应用类型相匹配的元素识别算法信息；
[0009]根据所述元素识别算法信息，对鼠标移动位置的元素对象进行识别，得到目标元素对象；其中，所述元素对象包括基本属性信息、隶属对象信息、基本操作信息以及对象转选择串信息。
[0010]第二方面，本申请实施例提供了一种界面元素探测识别装置，该装置包括：
[0011]元素应用类型获取模块，用于在监视窗口消息的钩子打开的情况下，获取与鼠标移动位置相关联的元素应用类型；其中，所述元素应用类型包括Win32桌面程序、IE浏览器、webkit内核浏览器和java桌面程序；
[0012]元素识别算法信息确定模块，用于确定与所述元素应用类型相匹配的元素识别算
法信息；
[0013]目标元素对象得到模块，用于根据所述元素识别算法信息，对鼠标移动位置的元素对象进行识别，得到目标元素对象；其中，所述元素对象包括基本属性信息、隶属对象信息、基本操作信息以及对象转选择串信息。
[0014]第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的界面元素探测识别方法。
[0015]第四方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的界面元素探测识别方法。
[0016]本申请实施例所提供的技术方案，在监视窗口消息的钩子打开的情况下，获取与鼠标移动位置相关联的元素应用类型，然后确定与元素应用类型相匹配的元素识别算法信息，并根据元素识别算法信息，对鼠标移动位置的元素对象进行识别，得到目标元素对象。本技术方案，可以根据元素应用类型自动识别元素对象，可以有效的屏蔽各种应用场景中的技术复杂度，提高了元素的识别精度，减少了资源的浪费。
附图说明
[0017]图1是本申请实施例一提供的界面元素探测识别方法的流程图；
[0018]图2是本申请实施例一提供的UIElement对象的示意图；
[0019]图3是本申请实施例一提供的目标元素对象识别的流程图；
[0020]图4是本申请实施例二提供的界面元素探测识别过程的示意图；
[0021]图5是本申请实施例二提供的目标元素获取的流程图；
[0022]图6是本申请实施例三提供的界面元素探测识别装置的结构示意图；
[0023]图7是本申请实施例五提供的一种电子设备的结构示意图。
具体实施方式
[0024]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
[0025]在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0026]实施例一
[0027]图1是本申请实施例一提供的界面元素探测识别方法的流程图，本实施例可适用于对计算机元素进行探测识别的情况，该方法可以由本申请实施例所提供的界面元素探测识别装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于用于计算机元素识别的智能终端等设备中。
[0028]如图1所示，所述界面元素探测识别方法包括：
[0029]S110、在监视窗口消息的钩子打开的情况下，获取与鼠标移动位置相关联的元素应用类型；其中，所述元素应用类型包括Win32桌面程序、IE浏览器、webkit内核浏览器和java桌面程序；
[0030]其中，钩子(Hook)是Windows消息处理机制的一个平台，应用程序可以在上面设置子程以监视指定窗口的某种消息，而且所监视的窗口可以是其他进程所创建的。当消息到达后，在目标窗口处理函数之前处理它。钩子机制允许应用程序截获处理Windows消息或特定事件。其中，Windows系统是建立在事件驱动的机制上的，钩子可以监视系统或进程中的各种事件消息，截获发往目标窗口的消息并进行处理。例如，在系统中安装自定义的钩子，监视系统中特定事件的发生，完成特定的功能，比如截获键盘、鼠标的输入，屏幕取词或者日志监视等等。
[0031]在本实施例中，Win32桌面程序包括win32、WPF、MFC、WinForm、UWP和Qt。webkit内核浏览器包括chrome、edge和firefox。
[0032]在本方案中，在监视窗口消息的钩子打开的情况下，获取与鼠标移动位置相关联的元素应用类型之前，还包括：封装统一的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种界面元素探测识别方法，其特征在于，包括：在监视窗口消息的钩子打开的情况下，获取与鼠标移动位置相关联的元素应用类型；其中，所述元素应用类型包括Win32桌面程序、IE浏览器、webkit内核浏览器和java桌面程序；确定与所述元素应用类型相匹配的元素识别算法信息；根据所述元素识别算法信息，对鼠标移动位置的元素对象进行识别，得到目标元素对象；其中，所述元素对象包括基本属性信息、隶属对象信息、基本操作信息以及对象转选择串信息。2.根据权利要求1所述的方法，其特征在于，获取与鼠标移动位置相关联的元素应用类型，包括：通过预先确定的识别层接口对象获取元素探测器；基于所述元素探测器，确定与鼠标移动位置相关联的元素应用类型。3.根据权利要求1所述的方法，其特征在于，确定与所述元素应用类型相匹配的元素识别算法信息，包括：从预先确定的候选元素识别算法信息中进行查找，确定与所述元素应用类型相匹配的元素识别算法信息；其中，所述候选元素识别算法信息包括Win32桌面程序元素识别算法信息、IE浏览器元素识别算法信息、webkit内核浏览器元素识别算法信息和Java桌面程序元素识别算法信息。4.根据权利要求1所述的方法，其特征在于，根据所述元素识别算法信息，对鼠标移动位置的元素对象进行识别，得到目标元素对象，包括：根据所述元素识别算法信息，调用目标接口对鼠标移动位置进行识别，得到元素对象；其中，所述目标接口包括应用程序与钩子接口、网页浏览与钩子接口、浏览器扩展与钩子接口以及访问桥接器与钩子接口；对所述元素对象进行字符串转换，得到目标元素对象。5.根据权利要求4所述的方法，其特征在于，在根据所述元素识别算法信息，调用目标接口对鼠标移动位置进行识别，得到元素对象之后，所述方法还包括：根据所述元素对象，确定子元素集合；判断鼠标移动位置是否处于子元素集合构成的四边形内；若处于，则计算...

【专利技术属性】
技术研发人员：陈宏伟，饶玉田，
申请(专利权)人：京北方信息技术股份有限公司，
类型：发明
国别省市：