一种移动Web实时视频帧分割方法及系统技术方案

本发明专利技术提供一种移动Web实时视频帧分割方法及系统，方法包括：接收Web端发送的视频帧分割请求；根据视频帧分割请求向Web端反馈当前网络状态和边缘服务器端的状态信息；边缘服务器端对视频帧的实时分割性能达到设定分割性能时；在边缘服务器端进行视频帧的切分和图分割处理，得到分割处理结果。本发明专利技术利用边缘服务器的高带宽、低时延特点降低了移动Web端实时获取视频帧的传输时延，以及在边缘服务器对视频帧进行分割，在保证视频帧分割效果的提前下，同时保证视频帧分割的效率。

A real-time video frame segmentation method and system for mobile web

【技术实现步骤摘要】
一种移动Web实时视频帧分割方法及系统
本专利技术属于视频帧分割
，尤其涉及一种移动Web实时视频帧分割方法及系统。
技术介绍
视频帧分割是将视频帧图像分割为具有相似属性的不同区域的过程，也是计算机视觉任务的预处理步骤。图像分割在场景理解、物体检测和3D重建等应用中起着重要的作用，并且广泛应用于增强现实、医学图像分析、自动驾驶和安全监控等领域中。将视频帧图像分割与Web技术相结合能够为移动用户提供轻量化、跨平台和普适的WebAI应用程序奠定了良好的基础，从而使得这些应用能够更好地感知并于现实世界进行交互。此外，万维网联盟(W3C)的沉浸式网络工作组和沉浸式网络社区组正积极创建沉浸式的Web平台，为开发实时的智能应用程序提供可靠的技术与工具。因此，为了在Web端上提供流畅、实时的视频帧图像分割，最重要的评估指标是实时视频帧的分割性能。已有的视频帧分割方法都难以直接应用于移动Web应用中，无法满足实时性要求。传统的视频帧分割通常是在Web端进行或者在云端服务器进行，在Web端进行视频帧的分割，分割的效率比较高，但是分割效果不好；云端服务器分割效果比较好，但是效率不高，
技术实现思路
为克服上述现有问题或者至少部分地解决上述问题，本专利技术实施例提供一种移动Web实时视频帧分割方法及系统。根据本专利技术实施例的第一方面，提供一种移动Web实时视频帧分割方法，包括：接收Web端发送的视频帧分割请求；根据所述视频帧分割请求向Web端反馈当前网络状态和边缘服务器端的状态信息，以使得Web端根据所述当前网络状态和边缘服务器端的状态信息，判断边缘服务器端对视频帧的实时分割性能是否达到设定分割性能；若是，则在边缘服务器端进行视频帧的切分和图分割处理，得到分割处理结果；将所述分割处理结果反馈至Web端。在上述技术方案的基础上，本专利技术还可以作出如下改进。进一步的，所述边缘服务器的状态信息包括边缘服务器的负载，所述判断边缘服务器端对视频帧的实时分割性能是否达到设定分割性能包括：当边缘服务器的负载未超过最大设定负载且边缘服务器对视频帧的处理频率满足设定频率时，确定边缘服务器对视频帧的实时分割性能达到设定分割性能。进一步的，所述边缘服务器的负载包括边缘服务器的CPU负载和I/O负载。进一步的，所述在边缘服务器端进行视频帧的切分和图分割处理，得到分割处理结果包括：边缘服务器对所述视频帧进行切分，形成多个视频帧碎片；对多个所述视频帧碎片进行并行流处理并进行图分割处理，得到分割处理结果。进一步的，所述对多个所述视频帧碎片进行并行图分割处理，得到分割处理结果包括：基于超像素的预分割算法对多个所述视频帧碎片进行分割处理，得到第一分割处理结果；基于非实时的深度学习DNN分割算法对多个所述视频帧碎片进行分割处理，得到第二分割处理结果；利用所述第二分割处理结果对所述第一分割结果进行修正，形成最终的分割处理结果。进一步的，所述将所述分割处理结果反馈至Web端包括：边缘服务器将所述最终的分割处理结果以JSON格式返回至Web端，以使得Web端对所述最终的分割处理结果进行渲染着色，以及将所述最终的分割处理结果缓存至前端。进一步的，所述若是，则在边缘服务器端进行视频帧的切分和图分割处理，得到分割处理结果还包括：若判断边缘服务器端对视频帧的实时分割性能不能达到设定分割性能，则在Web端采用轻量化实时分割算法对所述视频帧进行分割处理，得到分割处理结果。进一步的，所述在Web端采用轻量化实时分割算法对所述视频帧进行分割处理，得到分割处理结果包括：根据缓存至前端的所述最终的分割处理结果，对所述轻量化实时分割算法的参数和标记信息进行设置；采用参数和标记信息设置后的轻量化实时分割算法对所述视频帧进行分割处理，得到对应的得到分割处理结果。进一步的，所述采用参数和标记信息设置后的轻量化实时分割算法对所述视频帧进行分割处理，得到对应的得到分割处理结果之后还包括：对所述分割处理结果的视频帧中不同的平面进行着色区分渲染。根据本专利技术实施例的第三个方面，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的移动Web实时视频帧分割方法。本专利技术实施例提供一种移动Web实时视频帧分割方法及系统，该方法利用边缘服务器的高带宽、低时延特点降低了移动Web端实时获取视频帧的传输时延，以及在边缘服务器对视频帧进行分割，在保证视频帧分割效果的提前下，同时保证视频帧分割的效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的移动Web实时视频分割方法整体流程示意图；图2为本专利技术实施例提供的视频分割流程图；图3为本专利技术实施例提供的移动Web实时视频分割方法整体流程示意图；图4为本专利技术实施例提供的移动Web实时视频分割系统连接框图；图5为本专利技术实施例提供的电子设备整体结构示意图。具体实施方式为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在本专利技术的一个实施例中提供一种移动Web实时视频分割方法，图1为本专利技术实施例提供的移动Web实时视频分割方法整体流程示意图，该方法包括：接收Web端发送的视频帧分割请求；根据所述视频帧分割请求向Web端反馈当前网络状态和边缘服务器端的状态信息，以使得Web端根据所述当前网络状态和边缘服务器端的状态信息，判断边缘服务器端对视频帧的实时分割性能是否达到设定分割性能；若是，则在边缘服务器端进行视频帧的切分和图分割处理，得到分割处理结果；将所述分割处理结果反馈至Web端。可以理解的是，传统的视频帧分割通常是在Web端或者云端服务器上进行，在Web端进行视频帧的分割，分割的效率比较高，但是分割效果不好；云端服务器分割效果比较好，但是效率不高，因此，本专利技术实施例利用边缘服务器的高带宽、低时延的特点降低了移动Web端实时获取视频帧的传输时延，提升视频帧的分割效率的同时也提升了视频帧的分割效果。具体的，移动用户打开任意安装Web浏览器的终端设备并通过浏览器请求边缘服务器发送实时视频帧分割请求，同时在边缘服务器在Web浏览器之间建立稳定可靠的WebSocket通信，并返回相应的页面信息在Web浏览本文档来自技高网...

【技术保护点】
1.一种移动Web实时视频帧分割方法，其特征在于，包括：/n接收Web端发送的视频帧分割请求；/n根据所述视频帧分割请求向Web端反馈当前网络状态和边缘服务器端的状态信息，以使得Web端根据所述当前网络状态和边缘服务器端的状态信息，判断边缘服务器端对视频帧的实时分割性能是否达到设定分割性能；/n若是，则在边缘服务器端进行视频帧的切分和图分割处理，得到分割处理结果；/n将所述分割处理结果反馈至Web端。/n

【技术特征摘要】
1.一种移动Web实时视频帧分割方法，其特征在于，包括：
接收Web端发送的视频帧分割请求；
根据所述视频帧分割请求向Web端反馈当前网络状态和边缘服务器端的状态信息，以使得Web端根据所述当前网络状态和边缘服务器端的状态信息，判断边缘服务器端对视频帧的实时分割性能是否达到设定分割性能；
若是，则在边缘服务器端进行视频帧的切分和图分割处理，得到分割处理结果；
将所述分割处理结果反馈至Web端。


2.根据权利要求1所述的视频帧分割方法，其特征在于，所述边缘服务器的状态信息包括边缘服务器的负载，所述判断边缘服务器端对视频帧的实时分割性能是否达到设定分割性能包括：
当边缘服务器的负载未超过最大设定负载且边缘服务器对视频帧的处理频率满足设定频率时，确定边缘服务器对视频帧的实时分割性能达到设定分割性能。


3.根据权利要求2所述的视频帧分割方法，其特征在于，所述边缘服务器的负载包括边缘服务器的CPU负载和I/O负载。


4.根据权利要求1所述的视频帧分割方法，其特征在于，所述在边缘服务器端进行视频帧的切分和图分割处理，得到分割处理结果包括：
边缘服务器对所述视频帧进行切分，形成多个视频帧碎片；
对多个所述视频帧碎片进行并行流处理并进行图分割处理，得到分割处理结果。


5.根据权利要求4所述的视频帧分割方法，其特征在于，所述对多个所述视频帧碎片进行并行图分割处理，得到分割处理结果包括：
基于超像素的预分割算法对多个所述视频帧碎片进行分割处理，得到第一分割处理结果；
基于非实时的深度学习DNN分割算法对多个所述视频帧碎片进行分割处理，得到第二分割处理结果...

【专利技术属性】
技术研发人员：乔秀全，黄亚坤，商彦磊，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11