网站及APP的多画面实时图像帧融合监测方法及系统技术方案

本发明专利技术公开了一种网站及APP的多画面实时图像帧融合监测方法及系统，使用了基于安卓设备调试工具二次封装的中继程序，该程序天然支持模拟器和手机，解决了监测数量过多时的成本问题和实体手机维护问题；同时中继程序在原有调试工具的基础上进行了功能扩充，原有开启的双向通信通道只能本机才能连接，重新封装后支持外部机器连接，以此可将中控服务与中继程序分离部署，达到可同时控制多台中继程序的效果；通过中控服务将所有终端(模拟器、手机、网页)进行融合，将不同类型的终端数据格式进行了统一，对外提供统一的连接点，前端页面可通过中控服务获取到所有的终端画面，进行自由组合展示和呈现，以达到多画面同时监测的效果。以达到多画面同时监测的效果。以达到多画面同时监测的效果。

【技术实现步骤摘要】
网站及APP的多画面实时图像帧融合监测方法及系统


[0001]本专利技术涉及多画面融合
，具体涉及一种网站及APP的多画面实时图像帧融合监测方法及系统。

技术介绍

[0002]现有的实时图像展示技术主要是基于视频流的方式，通过自建流媒体服务器，客户端(手机/PC)通过安装指定推流软件，向流媒体服务器推送实时画面视频流，B端或者C端通过拉取视频流进行展示或者监测。现有的方法只适用于实体机，需要在手机或者PC上安装推流软件，虽然手机端可以通过模拟器进行推流，但目前市面上的推流软件对模拟器都没有适配，因此需要进行推流软件自研；如果需要进行大规模的监测，需要的成本较大。

技术实现思路

[0003]为此，本专利技术提供一种网站及APP的多画面实时图像帧融合监测方法及系统，以解决现有实时图像展示技术存在的以上技术问题。
[0004]为了实现上述目的，本专利技术提供如下技术方案：
[0005]根据本专利技术实施例的第一方面，提出一种网站及APP的多画面实时图像帧融合监测方法，所述方法包括：
[0006]基于中继程序控制手机或模拟器类终端、网页类终端开启双向通信通道并获取通信端口，中控服务通过调用中继程序获取通信端口并进行连接，连接成功后接收手机或模拟器类终端、网页类终端推送的实时图像帧；
[0007]中控服务将接收到的手机或模拟器类终端、网页类终端推送的实时图像帧进行编解码和二次封装统一数据格式后，通过双向通信通道实时转发给客户端进行自由组合和呈现实现多画面融合监测；
[0008]客户端将用户在页面对终端画面的操作以指令的方式通过双向通信通道传输给中控服务，中控服务通过对操作指令进行二次封装转换为中继程序需要的协议格式并转发至中继程序，最终通过中继程序控制目的终端以完成整个交互。
[0009]进一步地，手机或模拟器类终端的实时图像帧的获取方法，具体包括：
[0010]中继程序控制所有模拟器或手机开启双向通信通道，并将所有的通信端口保存以供中控服务调用；
[0011]中控服务通过调用中继程序查询所有模拟器和手机，获取所有通信端口及所在IP，尝试连接通道，连接成功后模拟器或手机开启推送实时图像帧。
[0012]进一步地，网页类终端的实时图像帧的获取方法，具体包括：
[0013]基于中继程序获取到所有待渲染网页，将所有网页传入渲染程序中，渲染程序通过调用浏览器驱动访问指定网站，当判断渲染成功后会开启双向通信通道，其中将需要渲染的网站与通信端口进行了绑定，在中继程序获取到待渲染网页的同时也已经获取到了通信端口，中控服务通过调用中继程序获取到通信端口，连接成功后接收网页端的实时图像
帧。
[0014]进一步地，所述方法具体还包括：
[0015]中控服务启动后，获取所有中继程序地址；
[0016]调用中继程序获取其所在服务器的所有终端信息，并为每个终端设置一个唯一ID；
[0017]将终端信息进行分类，模拟器终端和手机终端分为一类，网页终端分为一类；
[0018]针对两类终端进行双向通信通道创建，并发起连接。
[0019]进一步地，中控服务将接收到的手机或模拟器类终端、网页类终端推送的实时图像帧进行编解码和二次封装统一数据格式后通过双向通信通道实时转发给客户端，具体还包括：
[0020]将二进制的手机或模拟器类终端的画面帧和Base64的网页类终端的画面帧以及连接方式导致参数信息的不同进行数据格式的统一。
[0021]进一步地，中控服务将接收到的手机或模拟器类终端、网页类终端推送的实时图像帧进行编解码和二次封装统一数据格式后通过双向通信通道实时转发给客户端，具体还包括：
[0022]将终端的图像帧数据通过1
‑
>N的模式分发给不同的客户端；或者，
[0023]由于不同服务器性能不同，如果同一终端通道客户端过多会导致图像帧分发卡顿，因此为避免此情况，在程序处理中增加逻辑开关进行分发模式选择。
[0024]进一步地，所述操作指令包括点击、滑动、返回。
[0025]根据本专利技术实施例的第二方面，提出一种网站及APP的多画面实时图像帧融合监测装置，所述装置包括：
[0026]多端图像帧获取模块，用于基于中继程序控制手机或模拟器类终端、网页类终端开启双向通信通道并获取通信端口，中控服务通过调用中继程序获取通信端口并进行连接，连接成功后接收手机或模拟器类终端、网页类终端推送的实时图像帧；
[0027]多端图像帧融合模块，用于中控服务将接收到的手机或模拟器类终端、网页类终端推送的实时图像帧进行编解码和二次封装统一数据格式后，通过双向通信通道实时转发给客户端进行自由组合和呈现实现多画面融合监测；
[0028]多画面实时交互操作模块，用于客户端将用户在页面对终端画面的操作以指令的方式通过双向通信通道传输给中控服务，中控服务通过对操作指令进行二次封装转换为中继程序需要的协议格式并转发至中继程序，最终通过中继程序控制目的终端以完成整个交互。
[0029]根据本专利技术实施例的第三方面，提出一种网站及APP的多画面实时图像帧融合监测系统，所述系统包括如上任一所述的中控服务、中继程序以及客户端，中控服务与多个中继程序进行交互，中继程序用于控制手机或模拟器类终端、网页类终端的实时图像帧的推送，所述中控服务通过双向通信通道与客户端连接。
[0030]根据本专利技术实施例的第四方面，提出一种计算机存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种网站及APP的多画面实时图像帧融合监测系统执行如上任一项所述的方法。
[0031]本专利技术具有如下优点：
[0032]本专利技术提出的一种网站及APP的多画面实时图像帧融合监测方法及系统，使用了基于安卓设备调试工具二次封装的中继程序，该程序天然支持模拟器和手机，解决了监测数量过多时的成本问题和实体手机维护问题；同时中继程序在原有调试工具的基础上进行了功能扩充，原有开启的双向通信通道只能本机才能连接，重新封装后支持外部机器连接，以此可将中控服务与中继程序分离部署，达到可同时控制多台中继程序的效果；通过中控服务将所有终端(模拟器、手机、网页)进行融合，将不同类型的终端数据格式进行了统一，对外提供统一的连接点，前端页面可通过中控服务获取到所有的终端画面，进行自由组合展示和呈现，以达到多画面同时监测的效果。
附图说明
[0033]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0034]图1为本专利技术实施例提供的一种网站及APP的多画面实时图像帧融合监测方法的流程示意图；
[0035]图2为本专利技术实施例提供的一种网站及APP的多画面实时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网站及APP的多画面实时图像帧融合监测方法，其特征在于，所述方法包括：基于中继程序控制手机或模拟器类终端、网页类终端开启双向通信通道并获取通信端口，中控服务通过调用中继程序获取通信端口并进行连接，连接成功后接收手机或模拟器类终端、网页类终端推送的实时图像帧；中控服务将接收到的手机或模拟器类终端、网页类终端推送的实时图像帧进行编解码和二次封装统一数据格式后，通过双向通信通道实时转发给客户端进行自由组合和呈现实现多画面融合监测；客户端将用户在页面对终端画面的操作以指令的方式通过双向通信通道传输给中控服务，中控服务通过对操作指令进行二次封装转换为中继程序需要的协议格式并转发至中继程序，最终通过中继程序控制目的终端以完成整个交互。2.根据权利要求1所述的一种网站及APP的多画面实时图像帧融合监测方法，其特征在于，手机或模拟器类终端的实时图像帧的获取方法，具体包括：中继程序控制所有模拟器或手机开启双向通信通道，并将所有的通信端口保存以供中控服务调用；中控服务通过调用中继程序查询所有模拟器和手机，获取所有通信端口及所在IP，尝试连接通道，连接成功后模拟器或手机开启推送实时图像帧。3.根据权利要求1所述的一种网站及APP的多画面实时图像帧融合监测方法，其特征在于，网页类终端的实时图像帧的获取方法，具体包括：基于中继程序获取到所有待渲染网页，将所有网页传入渲染程序中，渲染程序通过调用浏览器驱动访问指定网站，当判断渲染成功后会开启双向通信通道，其中将需要渲染的网站与通信端口进行了绑定，在中继程序获取到待渲染网页的同时也已经获取到了通信端口，中控服务通过调用中继程序获取到通信端口，连接成功后接收网页端的实时图像帧。4.根据权利要求1所述的一种网站及APP的多画面实时图像帧融合监测方法，其特征在于，所述方法具体还包括：中控服务启动后，获取所有中继程序地址；调用中继程序获取其所在服务器的所有终端信息，并为每个终端设置一个唯一ID；将终端信息进行分类，模拟器终端和手机终端分为一类，网页终端分为一类；针对两类终端进行双向通信通道创建，并发起连接。5.根据权利要求1所述的一种网站及APP的多画面实时图像帧融合监测方法，其特征在于，中控服务将接收到的手机或模拟器类终端、网页类终端推送的实时图像帧进行编解码和二次封装统一数据格式后通过双向通信通道实时转发给客户端，具体...

【专利技术属性】
技术研发人员：郭忠武，李宏健，李国华，殷松迁，张家斌，王荣芳，韩煜，
申请(专利权)人：北京市博汇科技股份有限公司，
类型：发明
国别省市：