【技术实现步骤摘要】
本专利技术涉及软件测试，具体涉及一种桌面系统自动化测试系统及其应用方法。
技术介绍
1、随着linux个人电脑设备在市场占比的不断增多，基于linux个人电脑场景所开发的桌面环境也在不断增多，完善基于桌面环境的自动化测试方法成为了质量保证的基础。在现有linux的技术条件下，一般linux桌面测试方案均基于本机状态进行测试，缺少键鼠模拟能力，且适用的软件数量基本聚焦于特定应用，缺少普适性方案。总而言之，传统自动化测试方案局限性强，用户操作模拟度相对较差。
技术实现思路
1、本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种桌面系统自动化测试系统及其应用方法，本专利技术旨在解决桌面环境下系统内测试用例对测试的干扰问题，提高实际测试的真实程度，提升测试用例的覆盖程度。
2、为了解决上述技术问题，本专利技术采用的技术方案为：
3、一种桌面系统自动化测试系统，包括测试操作设备和待测试设备，所述测试操作设备包含视频输入端口和usb端口，且通过视频输入端口与待测试设备的显示输出端口相连以用于识别显示输出端口输出的桌面系统的显示输出rgb信号中的控件及点击或输入位置并确定自动化测试所需的模拟测试操作、通过usb端口与待测试设备的usb端口相连以用于模拟hid设备对待测试设备发送模拟测试操作事件，所述模拟测试操作事件包括模拟鼠标点击操作、模拟键盘按键操作中的至少一种。
4、可选地，所述待测试设备的显示输出端口为hdmi端口、vga接口、dp接口或者ty
5、可选地，所述测试操作设备为具备内置编码模块的计算机终端设备，所述内置编码模块用于将待测试设备的显示输出端口输出的显示输出rgb信号转换为图像。
6、可选地，所述测试操作设备为具有ai加速模块的计算设备，所述ai加速模块是指神经网络处理器npu或者支持ai加速的图形处理器gpu。
7、一种桌面系统自动化测试系统，包括测试操作设备和待测试设备，所述测试操作设备包含视频输入端口和usb端口，所述测试操作设备、待测试设备的显示输出端口之间还连接有编码器，所述编码器用于将待测试设备的显示输出端口输出的显示输出rgb信号转换为图像，所述编码器的视频输入端口与待测试设备的显示输出端口相连，所述测试操作设备具有usb otg端口，所述编码器的usb端口作为输出端与测试操作设备上的usb otg端口相连。
8、可选地，所述测试操作设备、编码器之间还连接有ai解析设备，所述ai解析设备为具有ai加速模块的计算设备，所述ai加速模块是指神经网络处理器npu或者支持ai加速的图形处理器gpu，所述ai解析设备用于识别图像中的控件及点击或输入位置并发送给计算机终端设备，所述计算机终端设备、ai解析设备之间通过网络通讯连接，所述ai解析设备具有usb otg端口，所述编码器的usb端口作为输出端与ai解析设备上的usb otg端口相连。
9、此外，本专利技术还提供一种所述桌面系统自动化测试系统的应用方法，包括下述步骤：
10、s1，将测试操作设备和待测试设备相连；
11、s2，启动待测试设备使其执行视频输出；
12、s3，通过视频输入端口采集被测试待测试设备的显示输出端口输出的桌面系统的显示输出rgb信号，并利用内置编码模块将待测试设备的显示输出端口输出的显示输出rgb信号转换为图像，根据转换得到的图像进行视频录制并将转换得到的图像流推送给ai加速模块；或者通过编码器采集被测试待测试设备的显示输出端口输出的桌面系统的显示输出rgb信号，并转换为图像，将转换得到的图像送入测试操作设备进行视频录制，同时将转换得到的图像流推送给ai解析设备；
13、s4，利用ai加速模块或者ai解析设备识别出转换得到的图像中的控件及点击或输入位置；
14、s5，根据图像中的控件及点击或输入位置，确定自动化测试所需的模拟测试操作、通过usb端口与待测试设备的usb端口相连以用于模拟hid设备对待测试设备发送模拟测试操作事件。
15、可选地，步骤s5中通过usb端口与待测试设备的usb端口相连以用于模拟hid设备对待测试设备发送模拟测试操作事件时，发送模拟鼠标点击操作包括：如果待测试设备上运行的是虚拟机，则发送模拟鼠标点击操作为发送鼠标的全局定位数据，所述鼠标的全局定位数据为鼠标在整个屏幕显示分辨率的相对位置；如果待测试设备上运行的是物理机，则发送模拟鼠标点击操作为发送鼠标的单次偏移量数据，且在发送鼠标的单次偏移量数据时，鼠标的速度与鼠标、目标位置之间的距离成反比，使得越靠近目标位置、鼠标的速度越慢。
16、可选地，步骤s4中利用ai加速模块或者ai解析设备识别出转换得到的图像中的控件及点击或输入位置时，包括利用ai加速模块或者ai解析设备基于预先训练好的目标识别模型识别出转换得到的图像中的控件及点击或输入位置，所述目标识别模型为深度学习神经网络且被预先训练建立了桌面系统的图形窗口界面图像、图形窗口界面图像中控件及点击或输入位置的映射关系。
17、可选地，步骤s5之后还包括：获取被测试待测试设备执行模拟交互事件后的显示输出rgb信号；基于执行模拟交互事件后的显示输出rgb信号识别模拟交互事件的执行结果，如果模拟交互事件为点击操作，则基于执行模拟交互事件后的显示输出rgb信号的图像、预设的参考图像进行对比以获得模拟交互事件的执行结果，如果执行模拟交互事件后的显示输出rgb信号的图像、预设的参考图像相同，则判定模拟交互事件执行成功，否则判定模拟交互事件执行失败；如果模拟交互事件为拖动操作，则利用ai加速模块或者ai解析设备识别出基于执行模拟交互事件后的显示输出rgb信号的转换得到的图像中的窗口位置坐标，如果得到的窗口位置坐标、预设的窗口位置坐标相同，则判定模拟交互事件执行成功，否则判定模拟交互事件执行失败；如果模拟交互事件为输入操作，则利用ai加速模块或者ai解析设备识别出基于执行模拟交互事件后的显示输出rgb信号的转换得到的图像中多输入框或者单输入框的矩形空白区域，判定模拟交互事件执行成功，并向矩形空白区域发送鼠标模拟程序点击空白位置的模拟交互事件；否则判定模拟交互事件执行失败；将本次测试的模拟交互事件、视频以及执行结果生成日志并保存。
18、和现有技术相比，本专利技术主要具有下述优点：
19、1、本专利技术的系统包括测试操作设备和待测试设备，所述测试操作设备包含视频输入端口和usb端口，且通过视频输入端口与待测试设备的显示输出端口相连以用于识别显示输出端口输出的桌面系统的显示输出rgb信号中的控件及点击或输入位置并确定自动化测试所需的模拟测试操作、通过usb端口与待测试设备的usb端口相连以用于模拟hid设备对待测试设备发送模拟测试操作事件，本专利技术能够实现非人工干预条件下，对人为操作的全硬件模拟，无需测试机软件调整，以实现全自动、轻干预的本文档来自技高网...
【技术保护点】
1.一种桌面系统自动化测试系统，其特征在于，包括测试操作设备和待测试设备，所述测试操作设备包含视频输入端口和USB端口，且通过视频输入端口与待测试设备的显示输出端口相连以用于识别显示输出端口输出的桌面系统的显示输出RGB信号中的控件及点击或输入位置并确定自动化测试所需的模拟测试操作、通过USB端口与待测试设备的USB端口相连以用于模拟hid设备对待测试设备发送模拟测试操作事件，所述模拟测试操作事件包括模拟鼠标点击操作、模拟键盘按键操作中的至少一种。
2. 根据权利要求1所述的桌面系统自动化测试系统，其特征在于，所述待测试设备的显示输出端口为HDMI端口、VGA接口、DP接口或者type-c端口，所述视频输入端口为HDMI in端口、VGA接口、DP接口或者type-c端口。
3.根据权利要求2所述的桌面系统自动化测试系统，其特征在于，所述测试操作设备为具备内置编码模块的计算机终端设备，所述内置编码模块用于将待测试设备的显示输出端口输出的显示输出RGB信号转换为图像。
4.根据权利要求3所述的桌面系统自动化测试系统，其特征在于，所述测试操作设备为
5. 一种桌面系统自动化测试系统，其特征在于，包括测试操作设备和待测试设备，所述测试操作设备包含视频输入端口和USB端口，所述测试操作设备、待测试设备的显示输出端口之间还连接有编码器，所述编码器用于将待测试设备的显示输出端口输出的显示输出RGB信号转换为图像，所述编码器的视频输入端口与待测试设备的显示输出端口相连，所述测试操作设备具有USB OTG端口，所述编码器的USB端口作为输出端与测试操作设备上的USB OTG端口相连。
6. 根据权利要求5所述的桌面系统自动化测试系统，其特征在于，所述测试操作设备、编码器之间还连接有AI解析设备，所述AI解析设备为具有AI加速模块的计算设备，所述AI加速模块是指神经网络处理器NPU或者支持AI加速的图形处理器GPU，所述AI解析设备用于识别图像中的控件及点击或输入位置并发送给计算机终端设备，所述计算机终端设备、AI解析设备之间通过网络通讯连接，所述AI解析设备具有USB OTG端口，所述编码器的USB端口作为输出端与AI解析设备上的USB OTG端口相连。
7.一种权利要求1～6中任意一项所述的桌面系统自动化测试系统的应用方法，其特征在于，包括下述步骤：
8.根据权利要求7所述的桌面系统自动化测试系统的应用方法，其特征在于，步骤S5中通过USB端口与待测试设备的USB端口相连以用于模拟hid设备对待测试设备发送模拟测试操作事件时，发送模拟鼠标点击操作包括：如果待测试设备上运行的是虚拟机，则发送模拟鼠标点击操作为发送鼠标的全局定位数据，所述鼠标的全局定位数据为鼠标在整个屏幕显示分辨率的相对位置；如果待测试设备上运行的是物理机，则发送模拟鼠标点击操作为发送鼠标的单次偏移量数据，且在发送鼠标的单次偏移量数据时，鼠标的速度与鼠标、目标位置之间的距离成反比，使得越靠近目标位置、鼠标的速度越慢。
9.根据权利要求8所述的桌面系统自动化测试系统的应用方法，其特征在于，步骤S4中利用AI加速模块或者AI解析设备识别出转换得到的图像中的控件及点击或输入位置时，包括利用AI加速模块或者AI解析设备基于预先训练好的目标识别模型识别出转换得到的图像中的控件及点击或输入位置，所述目标识别模型为深度学习神经网络且被预先训练建立了桌面系统的图形窗口界面图像、图形窗口界面图像中控件及点击或输入位置的映射关系。
10.根据权利要求9所述的桌面系统自动化测试系统的应用方法，其特征在于，步骤S5之后还包括：获取被测试待测试设备执行模拟交互事件后的显示输出RGB信号；基于执行模拟交互事件后的显示输出RGB信号识别模拟交互事件的执行结果，如果模拟交互事件为点击操作，则基于执行模拟交互事件后的显示输出RGB信号的图像、预设的参考图像进行对比以获得模拟交互事件的执行结果，如果执行模拟交互事件后的显示输出RGB信号的图像、预设的参考图像相同，则判定模拟交互事件执行成功，否则判定模拟交互事件执行失败；如果模拟交互事件为拖动操作，则利用AI加速模块或者AI解析设备识别出基于执行模拟交互事件后的显示输出RGB信号的转换得到的图像中的窗口位置坐标，如果得到的窗口位置坐标、预设的窗口位置坐标相同，则判定模拟交互事件执行成功，否则判定模拟交互事件执行失败；如果模拟交互事件为输入操作，则利用AI加速模块或者AI解析设备识别出基于执行模拟交互事件后的显示输出RGB信号的转换得到的图像中多输入框...
【技术特征摘要】
1.一种桌面系统自动化测试系统，其特征在于，包括测试操作设备和待测试设备，所述测试操作设备包含视频输入端口和usb端口，且通过视频输入端口与待测试设备的显示输出端口相连以用于识别显示输出端口输出的桌面系统的显示输出rgb信号中的控件及点击或输入位置并确定自动化测试所需的模拟测试操作、通过usb端口与待测试设备的usb端口相连以用于模拟hid设备对待测试设备发送模拟测试操作事件，所述模拟测试操作事件包括模拟鼠标点击操作、模拟键盘按键操作中的至少一种。
2. 根据权利要求1所述的桌面系统自动化测试系统，其特征在于，所述待测试设备的显示输出端口为hdmi端口、vga接口、dp接口或者type-c端口，所述视频输入端口为hdmi in端口、vga接口、dp接口或者type-c端口。
3.根据权利要求2所述的桌面系统自动化测试系统，其特征在于，所述测试操作设备为具备内置编码模块的计算机终端设备，所述内置编码模块用于将待测试设备的显示输出端口输出的显示输出rgb信号转换为图像。
4.根据权利要求3所述的桌面系统自动化测试系统，其特征在于，所述测试操作设备为具有ai加速模块的计算设备，所述ai加速模块是指神经网络处理器npu或者支持ai加速的图形处理器gpu。
5. 一种桌面系统自动化测试系统，其特征在于，包括测试操作设备和待测试设备，所述测试操作设备包含视频输入端口和usb端口，所述测试操作设备、待测试设备的显示输出端口之间还连接有编码器，所述编码器用于将待测试设备的显示输出端口输出的显示输出rgb信号转换为图像，所述编码器的视频输入端口与待测试设备的显示输出端口相连，所述测试操作设备具有usb otg端口，所述编码器的usb端口作为输出端与测试操作设备上的usb otg端口相连。
6. 根据权利要求5所述的桌面系统自动化测试系统，其特征在于，所述测试操作设备、编码器之间还连接有ai解析设备，所述ai解析设备为具有ai加速模块的计算设备，所述ai加速模块是指神经网络处理器npu或者支持ai加速的图形处理器gpu，所述ai解析设备用于识别图像中的控件及点击或输入位置并发送给计算机终端设备，所述计算机终端设备、ai解析设备之间通过网络通讯连接，所述ai解析设备具有usb otg端口，所述编码器的usb端口作为输出端与ai解析设备上的usb otg端口相连。
7.一种权利要求1～6中任意一项所述的桌面系统自动...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。