一种基于图像识别的拼屏互动方法、系统及智慧屏技术方案

本发明专利技术公开了一种基于图像识别的拼屏互动方法、系统及智慧屏，通过图像识别以及有效互动区域的判断规则以识别用户的有效互动窗口，建立有效互动窗口的信源和指令传输通道，将移动终端的指令通过该通道下发到对应的窗口，由对应的窗口将指令下发给窗口内的应用执行，可以精准定位某一个拼屏窗口的某一个应用进行特定窗口的互动，有效的提升了多窗口多应用下的互动体验。用下的互动体验。用下的互动体验。

【技术实现步骤摘要】
一种基于图像识别的拼屏互动方法、系统及智慧屏


[0001]本专利技术涉及多屏互动
，尤其涉及一种基于图像识别的拼屏互动方法、系统、智慧屏及计算机可读存储介质。

技术介绍

[0002]传统的多屏互动(例如：手机与智慧屏)屏幕传屏控制及互动体验都是基于智慧屏整个屏幕的窗口作为交互对象的，但是随着智慧屏的软硬件及系统的升级，系统在支持多应用多窗口的应用拼屏模式下，可以实现一个智慧屏幕同时打开多个应用，而且支持多个应用同时互动，那在这个情况下多屏互动如何精准定位某一个拼屏窗口的某一个应用进行特定窗口的互动就成了一个急需解决的问题。
[0003]因此，现有技术还有待于改进和发展。

技术实现思路

[0004]本专利技术的主要目的在于提供一种基于图像识别的拼屏互动方法、系统、智慧屏及计算机可读存储介质，旨在解决现有技术中在多屏互动时无法精准定位某一个拼屏窗口的某一个应用进行特定窗口的互动。
[0005]为实现上述目的，本专利技术提供一种基于图像识别的拼屏互动方法，所述基于图像识别的拼屏互动方法包括如下步骤：
[0006]智慧屏开启拼屏模式，选择拼屏模板，并打开拼屏应用，按照拼屏模板在对应窗口区域显示对应的应用；
[0007]所述智慧屏连接所述移动终端，并接收所述移动终端发送的拍摄照片，所述拍摄照片为所述移动终端拍摄所述智慧屏的显示区域并生成的照片；
[0008]所述智慧屏将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，确认所述移动终端的拍摄区域对应的拼屏窗口；
[0009]所述智慧屏根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口及有效互动窗口对应的正在运行的应用；
[0010]所述智慧屏将有效互动窗口进行数据流的编码，建立传屏互动数据通道，并通过所述传屏互动数据通道发送传屏数据给所述移动终端进行显示；
[0011]所述智慧屏通过所述传屏互动数据通道接收所述移动终端发送的指令，并传输给有效互动窗口中的应用，控制所述应用执行所述指令。
[0012]可选地，所述的基于图像识别的拼屏互动方法，其中，不同的拼屏模板中的拼屏窗口的数量不同，每个拼屏窗口对应独立显示一个不同的应用。
[0013]可选地，所述的基于图像识别的拼屏互动方法，其中，所述智慧屏连接所述移动终端，具体包括：
[0014]所述智慧屏在显示界面上显示供其它设备扫码连接的二维码；
[0015]所述智慧屏接收所述移动终端打开智慧屏互动软件或者智慧屏互动小程序扫描
所述二维码以建立扫码连接的请求；
[0016]所述智慧屏通过所述移动终端的扫码请求后，建立与所述移动终端的连接。
[0017]可选地，所述的基于图像识别的拼屏互动方法，其中，所述智慧屏根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口，具体包括：
[0018]若所述拍摄照片的拍摄区域只存在一个窗口的图像内容，则有效互动窗口为当前窗口；
[0019]若所述拍摄照片的拍摄区域存在大于一个窗口的图像内容，则以占比最大区域的窗口为有效互动窗口；
[0020]若所述拍摄照片的拍摄区域存在大于一个窗口的图像内容，且各区域图像之间的占比量值小于预设百分比，则将多组窗口同时显示供用户手动选择。
[0021]可选地，所述的基于图像识别的拼屏互动方法，其中，所述预设百分比的范围为10％
‑
20％。
[0022]可选地，所述的基于图像识别的拼屏互动方法，其中，所述基于图像识别的拼屏互动方法还包括：
[0023]所述智慧屏将智慧屏整个屏幕截图和拼屏各窗口的图像截图发送给所述移动终端，用于通知所述移动终端将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，并确认所述移动终端的拍摄区域对应的拼屏窗口。
[0024]可选地，所述的基于图像识别的拼屏互动方法，其中，所述基于图像识别的拼屏互动方法还包括：
[0025]所述智慧屏将智慧屏整个屏幕截图和拼屏各窗口的图像截图发送给云端，且所述移动终端将所述拍摄照片发送给所述云端，用于通知所述云端将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，并确认所述移动终端的拍摄区域对应的拼屏窗口。
[0026]此外，为实现上述目的，本专利技术还提供一种智慧屏，其中，所述智慧屏包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于图像识别的拼屏互动程序，所述基于图像识别的拼屏互动程序被所述处理器执行时实现如上所述的基于图像识别的拼屏互动方法的步骤。
[0027]此外，为实现上述目的，本专利技术还提供一种基于图像识别的拼屏互动系统，其中，所述基于图像识别的拼屏互动系统包括如上所述的智慧屏，还包括移动终端；
[0028]所述智慧屏与所述移动终端连接，
[0029]所述移动终端用于拍摄所述智慧屏的显示区域，并生成拍摄照片后发送给所述智慧屏；
[0030]所述移动终端还用于通过传屏互动数据通道获取有效互动窗口的传屏数据，并进行显示；
[0031]所述移动终端还用于将互动程序下发的指令通过所述传屏互动数据通道传输给所述智慧屏的有效互动窗口中的应用。
[0032]此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于图像识别的拼屏互动程序，所述基于图像识别的拼屏互动程序被处理器执行时实现如上所述的基于图像识别的拼屏互动方法的步骤。
[0033]本专利技术通过智慧屏开启拼屏模式，选择拼屏模板，并打开拼屏应用，按照拼屏模板在对应窗口区域显示对应的应用；所述智慧屏连接所述移动终端，并接收所述移动终端发送的拍摄照片，所述拍摄照片为所述移动终端拍摄所述智慧屏的显示区域并生成的照片；所述智慧屏将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，确认所述移动终端的拍摄区域对应的拼屏窗口；所述智慧屏根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口及有效互动窗口对应的正在运行的应用；所述智慧屏将有效互动窗口进行数据流的编码，建立传屏互动数据通道，并通过所述传屏互动数据通道发送传屏数据给所述移动终端进行显示；所述智慧屏通过所述传屏互动数据通道接收所述移动终端发送的指令，并传输给有效互动窗口中的应用，控制所述应用执行所述指令。本专利技术通过图像识别以及有效互动区域的判断规则以识别用户的有效互动窗口，建立有效互动窗口的信源和指令传输通道，将移动终端的指令通过该通道下发到对应的窗口，由对应的窗口将指令下发给窗口内的应用执行，可以精准定位某一个拼屏窗口的某一个应用进行特定窗口的互动。
附图说明
[0034]图1是本专利技术基于图像识别的拼屏互动方法的较佳实施例的流程图；
[0035]图2是本专利技术基于图像识别的拼屏互动方法的较佳实施例中移动终端拍摄智慧屏的显示区域并生成的照片的示意图；
[0036]图3是本专利技术基于图像识别的拼屏互动方法的较佳本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像识别的拼屏互动方法，其特征在于，所述基于图像识别的拼屏互动方法包括：智慧屏开启拼屏模式，选择拼屏模板，并打开拼屏应用，按照拼屏模板在对应窗口区域显示对应的应用；所述智慧屏连接所述移动终端，并接收所述移动终端发送的拍摄照片，所述拍摄照片为所述移动终端拍摄所述智慧屏的显示区域并生成的照片；所述智慧屏将所述拍摄照片与智慧屏整个屏幕截图和拼屏各窗口的图像截图进行对比，确认所述移动终端的拍摄区域对应的拼屏窗口；所述智慧屏根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口及有效互动窗口对应的正在运行的应用；所述智慧屏将有效互动窗口进行数据流的编码，建立传屏互动数据通道，并通过所述传屏互动数据通道发送传屏数据给所述移动终端进行显示；所述智慧屏通过所述传屏互动数据通道接收所述移动终端发送的指令，并传输给有效互动窗口中的应用，控制所述应用执行所述指令。2.根据权利要求1所述的基于图像识别的拼屏互动方法，其特征在于，不同的拼屏模板中的拼屏窗口的数量不同，每个拼屏窗口对应独立显示一个不同的应用。3.根据权利要求1所述的基于图像识别的拼屏互动方法，其特征在于，所述智慧屏连接所述移动终端，具体包括：所述智慧屏在显示界面上显示供其它设备扫码连接的二维码；所述智慧屏接收所述移动终端打开智慧屏互动软件或者智慧屏互动小程序扫描所述二维码以建立扫码连接的请求；所述智慧屏通过所述移动终端的扫码请求后，建立与所述移动终端的连接。4.根据权利要求1所述的基于图像识别的拼屏互动方法，其特征在于，所述智慧屏根据预先设定的有效互动窗口确认规则确认所述拼屏窗口中的有效互动窗口，具体包括：若所述拍摄照片的拍摄区域只存在一个窗口的图像内容，则有效互动窗口为当前窗口；若所述拍摄照片的拍摄区域存在大于一个窗口的图像内容，则以占比最大区域的窗口为有效互动窗口；若所述拍摄照片的拍摄区域存在大于一个窗口的图像内容，且各区域图像之间的占比量值小于预设百分比，则将多组窗口同时显示供用户手动选择。5.根据权利要...

【专利技术属性】
技术研发人员：周胜杰，李涛，龙超，
申请(专利权)人：深圳康佳电子科技有限公司，
类型：发明
国别省市：