一种基于网页命令行与子图快速匹配的远程桌面操作方法技术

本发明专利技术属于计算机技术领域，公开了一种基于网页命令行与子图快速匹配的远程桌面操作方法。首先在网页内容中发布包含命令行关键字的语句，然后客户端读取可编辑网页内容，并解析命令行关键字，根据命令语句来执行对应的结束程序和点击鼠标操作；在远程操作系统端利用交互软件发起控制请求，提出了变长式点面法快速定位子图坐标点；提出了基于样本及中心点最值化约束的全连接深度学习的子图匹配模型；根据训练后的深度学习模型来匹配该子图归属哪一个操作类别，匹配成功则执行对应的操作或预定指令执行转义操作。本发明专利技术的优点在于提出了变长式点面法快速定位子图坐标以及基于样本及中心点最值化约束的全连接深度学习的子图匹配模型。匹配模型。匹配模型。

A remote desktop operation method based on quick matching of web page command line and subgraph

【技术实现步骤摘要】
一种基于网页命令行与子图快速匹配的远程桌面操作方法


[0001]本专利技术涉及一种基于网页命令行与子图快速匹配的远程桌面操作方法，属于计算机


技术介绍

[0002]目前，最接近的现有技术：
[0003]远程桌面连接软件在远程办公中发挥着重要的作用，能够方便用户操作异地计算机操作系统进行远程办公等操作。常见的远程桌面连接软件，如TeamViewer和向日葵等软件，包含主动控制端和被控制的两台电脑均需要安装控制软件，通过网络建立连接后，被控制端的电脑操作系统屏幕图像压缩后发到中转服务器，然后发给对应的控制端电脑客户端软件，则控制端可以看到远程电脑操作系统界面。控制端电脑将键盘鼠标等操作动作封装成数据包发送给远端被控制端电脑，通过解码后还原成动作进行远程的模拟操作。
[0004]远程桌面连接软件方便了人们日常的远程办公，然而基于远程命令解析与被控制端操作相结合的软件及应用并不多见。
[0005]综上所述，现有技术存在的问题如下：
[0006]1)现有的远程桌面连接软件连接不在同一局域网内的两台计算机时，需要搭建专用的中转服务器。
[0007]2)现有的远程桌面连接软件需要同时安装部署在主动控制端和被控制的两台电脑端，在一定程度上增加了用户的操作复杂度。
[0008]3)现有软件一般进行图形化界面操作，没有提供较为多样的命令行操作方法。
[0009]解决上述算法问题的难度：
[0010]本专利技术需要提供远程命令发布和远程端电脑获取命令行的方法。/>[0011]远程客户端需要提供解析命令行中的关键字方法。
[0012]远程客户端软件需要执行相应的命令和对应的界面操作。
[0013]解决上述算法问题的意义：
[0014]远程命令发布与控制远程端电脑在远程办公应用中有重要意义。通过网页发布远程命令行在一定程度上免去了一般用户搭建或租用专用服务器的负担；通过解析网页发布的命令行关键字，能够提供在远程端电脑进行多样化的操作；通过截取被控制端电脑操作系统界面，利用变长式点面法定位操作区域子图和深度学习模型匹配指定操作子图，能够提高操作的准确度，避免误操作。

技术实现思路

[0015]本专利技术目的是提供了一种基于网页命令发布及系统操作控制的方法，该方法使用可编辑网页来发布远程命令行，可以减少用户搭建中转服务器的工作负担；通过在远程端部署实时检测客户端软件来获取网页中发布的命令行，对远程端电脑进行相应的操作；通过远程客户端截取操作系统界面，匹配操作区域的颜色特征，执行对应的操作。
[0016]本专利技术为实现上述目的，通过以下技术方案实现：
[0017]一种基于网页命令行与子图快速匹配的远程桌面操作方法，包含如下步骤:
[0018]步骤一：远程命令行的发布与解析；在一个可重复编辑网页中发布包含命令行关键字的文本内容；远程客户端实时读取并能够定位包含在网页内容中的命令行语句，解析命令行语句的关键字，并根据命令关键字执行相应的操作；
[0019]步骤二：基于变长式点面法的桌面子图快速定位；
[0020]2.1)选取界内点和子图，实时检测操作系统界面，截取操作系统桌面屏幕图像；
[0021]2.1.1)选取待操作的软件命令按钮及操作窗口中指定区域的首个界内点颜色特征和坐标信息，设定如下几何特征关系：
[0022]R1:D(P1,P2)＝D(P3,P4)
[0023]R2:D(P1,P3)＝D(P2,P4)
[0024]其中，R1和R2表示两个约束关系，D表示坐标中两点之间的距离，P1，P2，P3和P4表示四个界内点坐标点信息；
[0025]2.1.2)根据上述约束关系依次选取其他三个界内点颜色和坐标信息，保存子图用于训练深度学习模型；
[0026]2.2)查找子图首个界内点，使用如下公式计算水平方向和垂直方向遍历步长改变量：
[0027][0028][0029]其中，H
dt
表示遍历屏幕图像的横坐标改变量(步长)，V
dt
表示纵坐标遍历屏幕图像的纵坐标改变量，C
screenX
和C
screenY
表示当前屏幕的分辨率水平和垂直像素点数量，O
screenX
和O
screenY
表示提取子图的屏幕分辨率水平和垂直像素点数量；
[0030]2.3)定位首个界内点后，向左侧和上侧分别遍历至子图左上方边界内侧，以扩大子图的候选区域；同时遍历其余三个界内点，按照如下关系进行定位纵坐标和横坐标并匹配颜色特征：
[0031]X
P2
＝X
P1
+D(P1,P2),Y
P2
＝Y
P1
[0032]X
P3
＝X
P1
,Y
P3
＝Y
P1
+D(P1,P3)
[0033]X
P4
＝X
P1
+D(P1,P2),Y
P4
＝Y
P1
+D(P1,P3)
[0034]式中：X
P2
为点P2的横坐标，X
P1
为点P1的横坐标，X
P3
为点P3的横坐标，X
P4
为点P4的横坐标，Y
P2
为点P2的纵坐标，Y
P1
为点P1的纵坐标，Y
P3
为点P3的纵坐标，Y
P4
为点P4的纵坐标，若几何关系和颜色特征匹配成功，则完成了变长式由点到面的候选子图区域定位过程；否则，继续遍历屏幕余下的区域；
[0035]2.4)对定位后的候选子图采用基于样本及中心点最值化约束的全连接深度学习模型进行匹配，若匹配成功，则在被控制端桌面执行相应操作；若当前候选子图匹配失败，则更新当前屏幕截图；
[0036]步骤三：子图或日期匹配成功则执行预定的操作和转义操作；通过检测指定的操作界面进行转义操作，安装在控制端电脑与被控制端电脑中的聊天互动软件进行交互时，
利用指定的操作界面执行其他操作动作。
[0037]优选的，所述步骤一中所要发布的命令行语句中包含方便解析的关键字，在命令行的头部和尾部均添加命令行开始或结束的标志性字符子串。
[0038]优选的，所述步骤一利用网页浏览器控件和多线程技术获取发布在指定网页中的命令行，包含具体的时间点，精确到分钟；
[0039]L
Date
＝Len(Year+Month+Day)
[0040]L
Time
＝Len(Hour+Minute)
[0041]其中，L表示时间的长度，Year表示年，Month表示月，Day表示日，Hour表示小时和Minute表示分钟，在解析到命令行时客户端会根据上述时间长度计算公式来获取时刻点，并按本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于网页命令行与子图快速匹配的远程桌面操作方法，其特征在于，包含如下步骤:步骤一：远程命令行的发布与解析；在一个可重复编辑网页中发布包含命令行关键字的文本内容；远程客户端实时读取并能够定位包含在网页内容中的命令行语句，解析命令行语句的关键字，并根据命令关键字执行相应的操作；步骤二：基于变长式点面法的桌面子图快速定位；2.1)选取界内点和子图，实时检测操作系统界面，截取操作系统桌面屏幕图像；2.1.1)选取待操作的软件命令按钮及操作窗口中指定区域的首个界内点颜色特征和坐标信息，设定如下几何特征关系：R1:D(P1,P2)＝D(P3,P4)R2:D(P1,P3)＝D(P2,P4)其中，R1和R2表示两个约束关系，D表示坐标中两点之间的距离，P1，P2，P3和P4表示四个界内点坐标点信息；2.1.2)根据上述约束关系依次选取其他三个界内点颜色和坐标信息，保存子图用于训练深度学习模型；2.2)查找子图首个界内点，使用如下公式计算水平方向和垂直方向遍历步长改变量：2.2)查找子图首个界内点，使用如下公式计算水平方向和垂直方向遍历步长改变量：其中，H
dt
表示遍历屏幕图像的横坐标改变量(步长)，V
dt
表示纵坐标遍历屏幕图像的纵坐标改变量，C
screenX
和C
screenY
表示当前屏幕的分辨率水平和垂直像素点数量，O
screenX
和O
screenY
表示提取子图的屏幕分辨率水平和垂直像素点数量；2.3)定位首个界内点后，向左侧和上侧分别遍历至子图左上方边界内侧，以扩大子图的候选区域；同时遍历其余三个界内点，按照如下关系进行定位纵坐标和横坐标并匹配颜色特征：X
P2
＝X
P1
+D(P1,P2),Y
P2
＝Y
P1
X
P3
＝X
P1
,Y
P3
＝Y
P1
+D(P1,P3)X
P4
＝X
P1
+D(P1,P2),Y
P4
＝Y
P1
+D(P1,P3)式中：X
P2
为点P2的横坐标，X
P1
为点P1的横坐标，X
P3
为点P3的横坐标，X
P4
为点P4的横坐标，Y
P...

【专利技术属性】
技术研发人员：马飞，程荣花，孟静，王升波，赵景秀，张元科，李颖，张雪婷，
申请(专利权)人：曲阜师范大学，
类型：发明
国别省市：