一种基于5G多视角的多人远程协作指导系统技术方案

本发明专利技术涉及远程指导技术领域，公开了一种基于5G多视角的多人远程协作指导系统，包括移动视频端、服务器端和指挥中心端，服务器端与移动视频端和指挥中心端通信连接，服务器端包括音视频服务模块、录像存储模块、业务管理模块和交互模块；移动视频端生成三维实时场景视频；指挥中心端用于远程指导人员对现场作业进行远程指导；音视频服务模块用于移动视频端和指挥中心端的三维实时场景视频传输；交互模块共享移动视频端和指挥中心端的三维实时场景视频画面。本发明专利技术提供的基于5G多视角的多人远程协作指导系统，通过服务器端与指挥中心端的专家指导人员进行远程的三维实时场景视频通信，能够及时定位作业现场的问题，提高作业现场的问题处理效率。场的问题处理效率。场的问题处理效率。

【技术实现步骤摘要】
一种基于5G多视角的多人远程协作指导系统


[0001]本专利技术涉及远程指导
，特别涉及一种基于5G多视角的多人远程协作指导系统。

技术介绍

[0002]一线人员的工作存在着设备多、任务重、操作繁琐、安全合规性要求高等特点，现有的作业监控手段是设立现场监护人员，但受限于现场监护人员及作业人员水平，不能解决所有的现场问题，同时连线专家指导人员只有传统的通讯方式，如电话、微信等，但是无论是电话还是微信，在通讯效果来看都存在效率低下的问题，使得作业现场的问题不能迅速定位，不能直观地为操作人员提供指导，也无法结合作业环境和进展状况实时地提供所需信息。需要多方协作时，受专家及相关人员到场时间、或远程沟通工具等因素的影响，问题处置滞后。

技术实现思路

[0003]本专利技术提供了一种基于5G多视角的多人远程协作指导系统，在移动视频端建立作业现场的三维实时场景视频，并通过服务器端与指挥中心端的专家指导人员进行远程的三维实时场景视频通信，能够及时定位作业现场的问题，使得专家指导人员能够直观的为作业人员提供指导，提高作业现场的问题处理效率。
[0004]本专利技术提供了一种基于5G多视角的多人远程协作指导系统，包括移动视频端、服务器端和指挥中心端，所述服务器端与所述移动视频端和指挥中心端通信连接，所述服务器端包括音视频服务模块、录像存储模块、业务管理模块和交互模块；
[0005]所述移动视频端设置在现场作业人的移动设备上，用于采集作业现场的图像、音频和视频数据，所述移动视频端连接多个视频采集设备，并将多个视频采集设备采集的图像序列视频与作业现场的场景融合生成关于作业现场的三维实时场景视频；
[0006]所述指挥中心端设置在远程指导人员的移动设备上，用于所述远程指导人员对现场作业进行远程指导，并与现场作业人员进行互动；
[0007]所述音视频服务模块采用基于Go语言的流媒体服务器，用于实现所述移动视频端和指挥中心端的三维实时场景视频传输；
[0008]所述录像存储模块用于为指导人员对现场作业人员的远程指导音视频数据添加时间戳，并按所述时间戳对所述远程指导音视频数据进行分类存储；
[0009]所述业务管理模块用于所述远程指导人员在远程指导过程中查询作业现场的作业设备的实时运行数据；
[0010]所述交互模块用于共享所述移动视频端和指挥中心端的三维实时场景视频画面，并自定义画笔标记，以使所述远程指导人员对所述三维实时场景视频画面的标记实时显示在所述移动视频端上。
[0011]进一步地，当所述指挥中心端具有多个时，所述录像存储模块还用于暂时存储所
述远程指导人员的指导录像，并在其他远程指导结束后为所述作业人员播放所述指导录像；其中，所述指导录像包括所述远程指导人员对所述视频画面的实时标记。(当指导人员时间紧迫无法等待前面的指导结束时)
[0012]进一步地，所述移动视频端将多个视频采集设备采集的图像序列视频与作业现场的场景融合生成关于作业现场的三维实时场景视频包括：对视频采集设备采集的多个视频进行畸变矫正，采用配准算法对视频图像进行分区域配准，根据采集设备和采集环境对视频的色彩进行归一化处理，并行处理拼接根据配准数据表对图像分块映射并进行边缘融合，对拼接后的视频根据作业人员的指令进行整体或分片输出。
[0013]进一步地，所述视频采集设备包括分布在多个安装位置的一组或多组摄像头，每组摄像头包括多个高清摄像头，且每组摄像头的数量相同。
[0014]进一步地，所述配准算法包括：获取参考视频图像A1和待配准视频图像A2，A1(x,y)，A2(x,y)表示位于点(x,y)处像素点的灰度值，图像A1，A2的配准关系表示为：A2(x,y)＝g(A1(f(x,y)))其中，g表示一维的灰度变换函数，f表示二维的几何变换函数。
[0015]进一步地，所述业务管理模块包括智能识别单元和调取单元，所述只能识别单元用于识别作业现场中作业设备的二维码以提取所述作业设备的信息，所述调取单元用于根据所述作业设备的信息调取所述作业设备的实时运行数据。
[0016]进一步地，所述远程指导人员的移动设备和现场作业人员的移动设备为能够运行Windows操作系统的移动设备，包括平板电脑、笔记本电脑。
[0017]本专利技术的有益效果为：
[0018]包括移动视频端、服务器端和指挥中心端，移动视频端采集作业现场的图像、音频和视频数据，其中视频包括多视角的视频，并将采集的图像序列视频与作业现场的场景融合生成关于作业现场的三维实时场景视频，以便能够与指挥中心端通过服务器端在三维实时场景视频的基础上进行通信，以便专家指导人员能够直观的为作业人员提供指导，业务管理模块和交互模块边缘专家指导人员在通信过程中根据设备的实时运行数据发现问题所在，并通过交互模块与现场作业人员进行快速指导，且录像存储模块为指导人员对现场作业人员的远程指导音视频数据添加时间戳，并按所述时间戳对所述远程指导音视频数据进行分类存储，便于后续出现同样的问题可以直接调取指导录像，无需重复通信；本专利技术使专家指导人员能够对现场作业实施有效的远程指导，现场作业人员能够在专家指导人员的远程指导下更加高效地定位和解决作业现场的问题，提高作业现场的问题处理效率。
附图说明
[0019]图1为本专利技术基于5G多视角的多人远程协作指导系统的结构示意图。
[0020]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0021]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0022]需要说明，本专利技术实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0023]另外，在本专利技术中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。
[0024]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0025]如图1所示，本专利技术提供管了一种基于5G多视角的多人远程协作指导系统，包括移动视频端、服务器端和指挥中心端，所述服务器端与所述移动视频端和指挥中心端通过5G通信连接，所述服务器端包括音视频服务模块、录像存储模块、业务管本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于5G多视角的多人远程协作指导系统，其特征在于，包括移动视频端、服务器端和指挥中心端，所述服务器端与所述移动视频端和指挥中心端通信连接，所述服务器端包括音视频服务模块、录像存储模块、业务管理模块和交互模块；所述移动视频端设置在现场作业人的移动设备上，用于采集作业现场的图像、音频和视频数据，所述移动视频端连接多个视频采集设备，并将多个视频采集设备采集的图像序列视频与作业现场的场景融合生成关于作业现场的三维实时场景视频；所述指挥中心端设置在远程指导人员的移动设备上，用于所述远程指导人员对现场作业进行远程指导，并与现场作业人员进行互动；所述音视频服务模块采用基于Go语言的流媒体服务器，用于实现所述移动视频端和指挥中心端的三维实时场景视频传输；所述录像存储模块用于为指导人员对现场作业人员的远程指导音视频数据添加时间戳，并按所述时间戳对所述远程指导音视频数据进行分类存储；所述业务管理模块用于所述远程指导人员在远程指导过程中查询作业现场的作业设备的实时运行数据；所述交互模块用于共享所述移动视频端和指挥中心端的三维实时场景视频画面，并自定义画笔标记，以使所述远程指导人员对所述三维实时场景视频画面的标记实时显示在所述移动视频端上。2.根据权利要求1所述的基于5G多视角的多人远程协作指导系统，其特征在于，当所述指挥中心端具有多个时，所述录像存储模块还用于暂时存储所述远程指导人员的指导录像，并在其他远程指导结束后为所述作业人员播放所述指导录像；其中，所述指导录像包括所述远程指导人员对所述视频画面的实时标记。(当指导人员时间紧迫无法等待前面的指导结束时) 。3.根据权利要求1所述的基于5...

【专利技术属性】
技术研发人员：彭灵利，廖伟焱，王雪锋，郑欣，高军伟，黄坤权，关俊乐，田柯，毛淦霖，李颂杰，
申请(专利权)人：广东电网有限责任公司广州供电局，
类型：发明
国别省市：