【技术实现步骤摘要】
本申请实施例涉及交互控制，尤其涉及一种基于屏幕内容的交互控制方法、装置、设备及存储介质。
技术介绍
1、远程桌面服务允许用户随时随地通过互联网访问和控制远程计算机，从而实现远程办公和远程技术支持等。远程桌面服务大大提高了工作效率，特别是对于需要频繁出差或在家办公的用户来说，远程桌面服务无疑是一个巨大的助力。
2、在一些领域中，例如设计领域，在3d建模与渲染、建筑设计与cad、动画与视频编辑等应用场景下，基于这些应用场景对远程桌面服务的画面内容的还原度要求较高，在进行远程桌面服务时，若直接对屏幕画面进行无损编码后传输，则容易超过网络带宽的限制，导致控制端显示画面出现延迟、卡顿和断连等一系列问题，严重影响用户的使用体验。
技术实现思路
1、本申请实施例提供一种基于屏幕内容的交互控制方法、装置、设备及存储介质，能够解决远程桌面服务时用户使用体验较差的问题，基于实际带宽信息进行分区编码，在保障数据传输流畅度的同时实现感兴趣区域画面高画质显示，从而提升用户在进行远程桌面服务时使用体验。
2、在第一方面，本申请实施例提供了一种基于屏幕内容的交互控制方法，用于第一终端设备，包括：
3、获取当前显示的第一屏幕画面和当前连接网络的带宽信息；
4、对第一屏幕画面进行区域画面分割，得到感兴趣区域画面和非感兴趣区域画面；
5、对感兴趣区域画面进行第一编码处理，根据带宽信息对非感兴趣区域画面进行第二编码处理，得到对应于第一屏幕画面的编码数据,第一编
6、将编码数据发送至第二终端设备，以在第二终端设备根据编码数据显示第二屏幕画面；
7、接收第二终端设备在显示第二屏幕画面过程中生成和发送的控制指令，并根据控制指令更新第一屏幕画面。
8、进一步的，对第一屏幕画面进行区域画面分割，得到感兴趣区域画面和非感兴趣区域画面，包括：
9、通过卷积神经网络模型，对第一屏幕画面的显示内容进行识别，根据识别结果对第一屏幕画面进行区域画面分割，得到感兴趣区域画面和非感兴趣区域画面；
10、将第一屏幕画面中对应于目标软件的窗口区域中的预定义区域分割为感兴趣区域画面，将其它区域分割为非感兴趣区域画面；
11、将第二终端设备发送的区域选择指令指定的区域分割为感兴趣区域画面，将其它区域分割为非感兴趣区域画面。
12、进一步的，对感兴趣区域画面进行第一编码处理，根据带宽信息对非感兴趣区域画面进行第二编码处理，得到对应于第一屏幕画面的编码数据，包括：
13、对感兴趣区域画面进行第一编码处理，得到对应于感兴趣区域画面的第一编码数据；
14、对非感兴趣区域画面进行内容识别,根据识别结果进行分类处理，得到内容分类结果；
15、根据内容分类结果对非感兴趣区域画面进行区域画面分割，得到对应与内容分类结果的子区域画面；
16、将子区域画面传输至对应的编码器，控制编码器根据带宽信息对子区域画面进行第二编码处理，得到第二编码数据；
17、整合第一编码数据和第二编码数据，得到对应于第一屏幕画面的编码数据。
18、进一步的，将编码数据发送至第二终端设备，以在第二终端设备根据编码数据显示第二屏幕画面，包括：
19、将带宽信息与第一预设带宽阈值进行比较,在带宽信息超过第一预设带宽阈值时，将编码数据发送至第二终端设备，以在第二终端设备根据编码数据显示第二屏幕画面；
20、在带宽信息在第一预设带宽阈值以下时，对第一屏幕画面进行第三编码处理，得到对应于第一屏幕画面的第三编码数据,第三编码处理的画面质量低于第二编码处理处理的画面质量；
21、将第三编码数据发送至第二终端设备，以在第二终端设备根据第三编码数据显示第三屏幕画面；
22、将第一编码数据发送至第二终端设备，以供第二终端设备根据第一编码数据对第三屏幕画面中对应的区域画面进行刷新显示。
23、进一步的，子区域画面包括第一类子区域画面和第二类子区域画面，第一类子区域画面包括文字区域画面、线条区域画面和纯色图片区域画面,第二类子区域画面为非感兴趣区域画面中除第一类子区域画面以外的其余区域画面；
24、将子区域画面传输至对应的编码器，控制编码器根据带宽信息对子区域画面进行第二编码处理，得到第二编码数据，包括：
25、将第一类子区域画面传输至第一编码器，以及将第二类子区域画面传输至第二编码器；
26、将带宽信息与第二预设带宽阈值进行比较，在带宽信息超过第二预设带宽阈值时，控制第一编码器对第一类子区域画面进行第四编码处理，得到第一子编码数据,第二预设带宽阈值大于第一预设带宽阈值；
27、控制第二编码器对第二类子区域画面进行第五编码处理，得到第二子编码数据,第四编码处理的画面质量高于第五编码处理的画面质量,第四编码处理的画面质量等于或低于第一编码处理的画面质量,第五编码处理的画面质量高于第三编码处理的画质质量；
28、整合第一子编码数据和第二子编码数据，得到对应于非感兴趣区域画面的第二编码数据。
29、进一步的，将第一类子区域画面传输至第一编码器，以及将第二类子区域画面传输至第二编码器之后，包括：
30、将带宽信息与第一预设带宽阈值以及第二预设带宽阈值进行比较，在带宽信息在第二预设带宽阈值以下以及超过第一预设带宽阈值时，控制第一编码器对第一类子区域画面进行第五编码处理，得到第三子编码数据；
31、控制第二编码器对第二子区域画面进行第五编码处理，得到第四子编码数据；
32、整合第三子编码数据和第四子编码数据，得到对应于非感兴趣区域画面的第二编码数据。
33、在第二方面，本申请实施例提供了一种基于屏幕内容的交互控制方法，用于第二终端设备，包括：
34、接收编码数据，编码数据由第一终端设备对第一屏幕画面中的感兴趣区域画面进行第一编码处理以及根据带宽信息对第一屏幕画面中的非感兴趣区域画面进行第二编码处理而得到；
35、对编码数据进行解码处理，将解码处理后的数据进行渲染处理，显示第二屏幕画面，第二屏幕画面与第一终端设备的第一屏幕画面相对应；
36、接收显示第二屏幕画面过程中的交互信号，响应于交互信号，生成控制指令；
37、将控制指令发送至第一终端设备，以供第一终端设备根据控制指令更新第一屏幕画面。
38、在第三方面，本申请实施例提供了一种基于屏幕内容的交互控制装置，用于第一终端设备，包括：
39、信息获取模块,用于获取当前显示的第一屏幕画面和当前连接网络的带宽信息；
40、画面分割模块，用于对第一屏幕画面进行区域画面分割，得到感兴趣区域画面和非感兴趣区域画面；
41、编码模块，用于对感兴趣区域画面进行第一编码处理，根据带宽信息对非感兴趣区域画本文档来自技高网...
【技术保护点】
1.一种基于屏幕内容的交互控制方法，其特征在于，用于第一终端设备，包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述第一屏幕画面进行区域画面分割，得到感兴趣区域画面和非感兴趣区域画面，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述感兴趣区域画面进行第一编码处理，根据所述带宽信息对所述非感兴趣区域画面进行第二编码处理，得到对应于所述第一屏幕画面的编码数据，包括：
4.根据权利要求3所述的方法，其特征在于，所述将所述编码数据发送至第二终端设备，以在所述第二终端设备根据所述编码数据显示第二屏幕画面，包括：
5.根据权利要求4所述的方法，其特征在于，所述子区域画面包括第一类子区域画面和第二类子区域画面，所述第一类子区域画面包括文字区域画面、线条区域画面和纯色图片区域画面,所述第二类子区域画面为所述非感兴趣区域画面中除第一类子区域画面以外的其余区域画面；
6.根据权利要求5所述的方法，其特征在于，所述将所述第一类子区域画面传输至第一编码器，以及将所述第二类子区域画面传输至第二编码器之后，包括：
8.一种基于屏幕内容的交互控制装置，其特征在于，用于第一终端设备，包括：
9.一种基于屏幕内容的交互控制设备，其特征在于，包括：
10.一种存储计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由处理器执行时用于执行如权利要求1-7任一所述的方法。
...【技术特征摘要】
1.一种基于屏幕内容的交互控制方法，其特征在于，用于第一终端设备，包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述第一屏幕画面进行区域画面分割，得到感兴趣区域画面和非感兴趣区域画面，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述感兴趣区域画面进行第一编码处理，根据所述带宽信息对所述非感兴趣区域画面进行第二编码处理，得到对应于所述第一屏幕画面的编码数据，包括：
4.根据权利要求3所述的方法，其特征在于，所述将所述编码数据发送至第二终端设备，以在所述第二终端设备根据所述编码数据显示第二屏幕画面，包括：
5.根据权利要求4所述的方法，其特征在于，所述子区域画面包括第一类子区域画面和第二类子区域画面，所述第一...
【专利技术属性】
技术研发人员：孟建文，刘丽，朱敏，
申请(专利权)人：上海久尺网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。