一种多设备位姿共享方法及装置制造方法及图纸

本发明专利技术实施例提供一种多设备位姿共享方法及装置，该方法包括：根据每个终端设备的设备信息确定视频帧分配方案；根据所述视频帧分配方案对各个所述终端设备进行视频帧的分配，得到每个终端设备所对应的分配后视频帧，以供每个终端设备对各自的分配后视频帧进行位姿估计，确定位姿估计信息，并将所述位姿估计信息广播到所有终端设备。通过将任务繁重的位姿计算任务从远端云侧迁移卸载到终端设备侧，减少视频帧频繁传输引起的开销，同时减轻了远端云服务器的计算负载。

【技术实现步骤摘要】
一种多设备位姿共享方法及装置
本专利技术涉及信息处理
，尤其涉及一种多设备位姿共享方法及装置。
技术介绍
移动设备功能的不断增强和普及已引起了多种多样的多设备应用程序，包括设备位姿共享，多屏显示，多玩家互动等，有效地将应用程序扩展到多个设备上，以便在视频流应用程序中进行实时共享和交互(例如，目标检测，位姿估计和语义分割等)。目前，已有工作探索了利用云端(包括边缘云)丰富的计算资源实现视频流任务的多设备交互。这些方法将实时视频流从终端设备传输到云端完成密集的任务计算，同时消耗了大量的网络带宽和计算资源。因此，通过多设备协作在终端设备侧完成视频流处理和共享已成为一个潜在的方向。但是，由于对延迟和密集计算的严格要求，用于多设备交互应用程序的视频流分析和共享的当前实现仍处于起步阶段，许多问题需要解决。因此，如何通过分析实时视觉里程计(VisualOdometry；VO)的流数据来实现多设备姿态共享和交互，是实现各种各样多设备应用的前提。视觉里程计是机器人定位和自动驾驶领域的一项基本技术，它通过连续跟踪相机的自我运动产生图像间相对姿态，并在给定初始状态下，将相对姿态整合为绝对姿态。视觉里程计按照所使用的相机数量可以分为单目视觉里程计和双目视觉里程计，因为单目视觉里程计只需要一台相机即可获得位姿，具有便携、轻巧、便宜等特点而得到广泛研究和应用。传统的视觉里程计技术分为特征点法和直接法。特征点法通过匹配相邻帧间的特征向量来估计相机位姿，它包括特征检测、特征匹配、运动估计、尺度估计以及后端优化等模块。特征点法在大部分情况下都能取得较好的效果，但在无纹理区域时会面临特征点缺失，进而匹配失败的问题，而且特征点的提取和计算非常耗时。直接法通过最小化光度误差来估计相机运动和像素的空间位置，其能够在无纹理的场景中，例如走廊或者光滑的墙面上取得较好的效果，但只适用于运动幅度较小、图片整体亮度变化不大的情形。深度学习(DeepLearning，简称DL)能够从图像中提取高级特征，从而为解决视觉里程计问题提供了替代方案。基于深度学习的单目视觉里程计算法不依赖于传统视觉里程计任何模块，并且可以以端到端的方式得到相机位姿，无需调整系统参数。现有的基于深度学习的视觉里程计模型(如DeepVO)主要利用卷积神经网络和循环神经网络的组合直接从原始图像序列中学习位姿变换，与传统方法相比，它在生成精确图像间位姿估计结果的同时，无需与真实轨迹对齐以获得绝对尺度估计。然而这种将Flownet网络得到的特征输入到长短期记忆LSTM作为单目视觉里程计学习的序列到序列编码器，参数量多，模型大，计算复杂度高，难以应用于对实时性有较高要求的场景。因此，如何更好的实现位姿计算，并实现位姿共享已经成为业界亟待解决的问题。
技术实现思路
本专利技术实施例提供一种多设备位姿共享方法及装置，用以解决上述
技术介绍
中提出的技术问题，或至少部分解决上述
技术介绍
中提出的技术问题。第一方面，本专利技术实施例提供一种多设备位姿共享方法，包括：根据每个终端设备的设备信息确定视频帧分配方案；根据所述视频帧分配方案对各个所述终端设备进行视频帧的分配，得到每个终端设备所对应的分配后视频帧，以供每个终端设备对各自的分配后视频帧进行位姿估计，确定位姿估计信息，并将所述位姿估计信息广播到所有终端设备。更具体的，所述根据每个所述终端设备的设备信息确定视频帧分配方案的步骤，具体包括；根据每个终端设备的设备信息和各个终端设备采集的视频帧构建多个网络最大流模型；对每个网络最大流模型进行求解，得到最优的最大流匹配路径，以根据每个所述最优的最大流匹配路径确定视频帧分配方案；其中，所述网络最大流模型是在预设加权二分图的基础上分别增加虚源节点和虚目节点构建得到的；其中，所述预设加权二分图是终端设备采集的视频帧计算任务分发到其它终端设备上建模为加权的二分图模型。更具体的，所述对每个网络最大流模型进行求解，得到最优的最大流匹配路径的步骤，具体包括：在Ford-Fulkerson算法对每个网络最大流模型进行求解的计算量小于实时递归神经网络模型对每个网络最大流模型进行求解的计算量时，通过Ford-Fulkerson算法对每个网络最大流模型进行求解，得到多个最优的最大流匹配路径。第二方面，本专利技术实施例提供另一种多设备位姿共享方法，包括：终端设备获取云端服务器发送的视频分配方案，根据视频帧分配方案将所述终端设备采集的视频帧中待协作处理的待协作视频帧发送到目标终端；其中，所述视频分配方案是根据每个所述终端设备的计算能力、可用计算资源和网络带宽计算得到的；所述目标终端通过预设位姿估计模型对所述目标终端的本地视频帧和所述待协作视频帧进行位姿估计，得到本地位姿估计信息和待协作位姿估计信息，并将所述本地位姿估计信息和待协作位姿估计信息广播至所有终端设备；其中，所述预设位姿估计模型是根据带真实姿态信息标签的多张连续样本视频帧训练得到的。更具体的，在所述目标终端通过预设位姿估计模型对所述目标终端的本地视频帧和所述待协作视频帧进行位姿估计的步骤之前，所述方法还包括：构建位姿估计模块；获取带真实姿态信息的初始样本视频帧，将所述初始样本视频帧进行预处理，得到多张连续的样本视频帧；将连续时刻的两张样本视频帧作为一组训练样本，以真实姿态信息为标签，将带真实姿态信息标签的训练样本输入基于深度可分离卷积和时间移位模块的神经网络中，得到样本的预估向量；利用样本的预估向量和所述真实姿态信息标签构建的损失函数进行训练，当满足预设训练条件时，训练结束，得到预设位姿估计模型。更具体的，所述构建位姿估计模块的步骤，具体包括：采用深度可分离卷积构建位姿估计模块的骨干网络；将时间位移模块插入到骨干网络的残差分支中，完成位姿估计模块的构建。更具体的，所述将所述初始样本视频帧进行预处理，得到多张连续的样本视频帧的步骤，具体包括：将初始样本视频帧按照预设尺寸进行裁剪，得到裁剪后的样本视频帧；将裁剪后的样本视频帧除以预设RGB方差，得到样本视频帧；通过滑动窗口方式获取多张连续的样本视频帧；其中，所述预设RGB方差是指初始样本视频帧集合的平均RGB值；其中，所述预设尺寸具体为：图片宽度分辨率为512，图片高度分辨率为256，颜色通道数为3。第三方面，本专利技术实施例提供一种多设备位姿共享装置，包括：分配模块，用于根据每个终端设备的设备信息确定视频帧分配方案；共享模块，用于根据所述视频帧分配方案对各个所述终端设备进行视频帧的分配，得到每个终端设备所对应的分配后视频帧，以供每个终端设备对各自的分配后视频帧进行位姿估计，确定位姿估计信息，并将所述位姿估计信息广播到所有终端设备。第四方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第二方面所述多设备位姿共享本文档来自技高网...

【技术保护点】
1.一种多设备位姿共享方法，其特征在于，包括：/n根据每个终端设备的设备信息确定视频帧分配方案；/n根据所述视频帧分配方案对各个所述终端设备进行视频帧的分配，得到每个终端设备所对应的分配后视频帧，以供每个终端设备对各自的分配后视频帧进行位姿估计，确定位姿估计信息，并将所述位姿估计信息广播到所有终端设备。/n

【技术特征摘要】
1.一种多设备位姿共享方法，其特征在于，包括：
根据每个终端设备的设备信息确定视频帧分配方案；
根据所述视频帧分配方案对各个所述终端设备进行视频帧的分配，得到每个终端设备所对应的分配后视频帧，以供每个终端设备对各自的分配后视频帧进行位姿估计，确定位姿估计信息，并将所述位姿估计信息广播到所有终端设备。


2.根据权利要求1所述多设备位姿共享方法，其特征在于，所述根据每个所述终端设备的设备信息确定视频帧分配方案的步骤，具体包括；
根据每个终端设备的设备信息和各个终端设备采集的视频帧构建多个网络最大流模型；
对每个网络最大流模型进行求解，得到最优的最大流匹配路径，以根据每个所述最优的最大流匹配路径确定视频帧分配方案；
其中，所述网络最大流模型是在预设加权二分图的基础上分别增加虚源节点和虚目节点构建得到的；
其中，所述预设加权二分图是终端设备采集的视频帧计算任务分发到其它终端设备上建模为加权的二分图模型。


3.根据权利要求2所述多设备位姿共享方法，其特征在于，所述对每个网络最大流模型进行求解，得到最优的最大流匹配路径的步骤，具体包括：
在Ford-Fulkerson算法对每个网络最大流模型进行求解的计算量小于实时递归神经网络模型对每个网络最大流模型进行求解的计算量时，通过Ford-Fulkerson算法对每个网络最大流模型进行求解，得到多个最优的最大流匹配路径。


4.一种多设备位姿共享方法，其特征在于，包括：
终端设备获取云端服务器发送的视频分配方案，根据视频帧分配方案将所述终端设备采集的视频帧中待协作处理的待协作视频帧发送到目标终端；
其中，所述视频分配方案是根据每个所述终端设备的计算能力、可用计算资源和网络带宽计算得到的；
所述目标终端通过预设位姿估计模型对所述目标终端的本地视频帧和所述待协作视频帧进行位姿估计，得到本地位姿估计信息和待协作位姿估计信息，并将所述本地位姿估计信息和待协作位姿估计信息广播至所有终端设备；
其中，所述预设位姿估计模型是根据带真实姿态信息标签的多张连续样本视频帧训练得到的。


5.根据权利要求4所述多设备位姿共享方法，其特征在于，在所述目标终端通过预设位姿估计模型对所述目标终端的本...

【专利技术属性】
技术研发人员：周宏伟，陈利敏，乔秀全，黄亚坤，
申请(专利权)人：首都信息发展股份有限公司，北京国家速滑馆经营有限责任公司，北京邮电大学，
类型：发明
国别省市：北京;11