用于远程协助的方法、装置、系统及电子设备制造方法及图纸

本申请公开一种用于远程协助的方法、装置、系统及电子设备。涉及计算机信息处理领域，该方法包括：通过摄像装置获取当前图像；获取标记信息，所述标记信息包括标记图像信息与标记位置信息；根据所述标记信息对所述当前图像进行图像处理，获取识别数据；以及根据所述识别数据，将所述标记信息在显示屏幕的对应位置进行展示。本申请公开的用于远程协助的方法、装置、系统及电子设备，能够提高远程协助的准确度与工作效率。

Methods, devices, systems, and electronic devices for remote assistance

The present application discloses a method, a device, a system and an electronic device for remote assistance. Involved in the field of computer information processing, the method includes: through the imaging device to obtain the current image; get the marker information, the tag information including the marker image information and tag location information; according to the marking information on the current image processing, to obtain recognition data; and according to the identification data, the marker the information in the corresponding position of the display screen display. The application, device, system and electronic equipment for remote assistance, can improve the accuracy and efficiency of remote assistance.

【技术实现步骤摘要】
用于远程协助的方法、装置、系统及电子设备
本专利技术涉及计算机信息处理，具体而言，涉及一种用于远程协助的方法、装置、系统及电子设备。
技术介绍
中国作为一个制造大国，在各行各业中使用了大量机械设备，并通常高强度地持续运转，不可避免地会出现各种故障，然而专业维修技术人员缺乏，而且现场维修又必然带来时间和差旅费用上的大大增加，单靠语音和现场的固定摄像头沟通效率非常低下，虽然也出现过用手机拍摄照片和视频传输到后台，或者利用头戴式摄像头传输视频的方式，但由于操作麻烦，难以释放双手，拍摄方位难以校准，沟通不够实时等问题，多年来一直没有很好的手段解决远程维修的协助沟通问题。在远程医疗、远程教育等领域也存在相类似的指导沟通问题亟待解决。利用视频会议系统解决远程声像多人互动的问题已经有多年历史，但受限于网络条件和硬件限制，一直很少应用在设备维修远程指导领域。随着智能硬件技术和无线网络技术(比如：3G/4G通信网络)的发展，目前已经具备相应的技术条件。未来几年必将引来本应用的爆发式增长。现有技术方案通常利用AR眼镜作为现场采集设备，结合传统的远程视频会议系统实现实时交互式远程维修指导。除了语音通讯外，现场和远端都能看到对方的视频画面，或者现场和远端都看到现场的画面，但现场视频是传到网络服务器再传回现场的方式。还能通过白板将远端的笔迹或共享的数字材料传回到现场端的显示单元上。但该技术在运用过程中存在以下问题：1.现场和远端看到的是对方的实时画面，而实际现场并不需要看到远端的摄像头所对应的画面，这就浪费了一路视频的网络流量，增加了现场穿戴式硬件的图像解析性能损耗，也使得现场人员并不了解自己的摄像头是否对准了希望拍摄的物体。2.远端需要对现场进行指导时，现有的技术只能通过语音指示，偶有通过屏幕截取的方式，远端截取现场的瞬时画面，再在瞬时的静态画面上绘图后通过共享或白板的方式传回现场，异步指导现场进行操作，不具有实时性，操作步骤繁琐。难以在现场视频基础上或直接在现场环境中用增强现实叠加的方式解决实时沟通的问题。3.无法将远程传输的数字材料直接在现场端设备上打开查看。比如：图片、视频、3D模型等。远端无法完全控制现场显示的内容，导致现场人员在切换显示内容时需要频繁对穿戴设备进行操作，而穿戴设备通常不便于带着手套或手上有油污时进行操作。即使可以语音控制，但由于现场维修环境通常比较嘈杂，语音控制会出现困难。因此，需要一种新的用于远程协助的方法、装置、系统及电子设备。在所述
技术介绍
部分公开的上述信息仅用于加强对本专利技术的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
有鉴于此，本专利技术提供一种用于远程协助的方法、装置、系统及电子设备，能够提高远程协助的准确度与工作效率。本专利技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本专利技术的实践而习得。根据本专利技术的一方面，提出一种用于远程协助的方法，该方法包括：通过摄像装置获取当前图像；获取标记信息，标记信息包括标记图像信息与标记位置信息；根据标记信息对当前图像进行图像处理，获取识别数据；以及根据识别数据，将标记信息在显示屏幕的对应位置进行展示。在本公开的一种示例性实施例中，显示屏幕包括：可穿戴式显示设备的显示屏幕。在本公开的一种示例性实施例中，根据标记信息对当前图像进行图像处理，获取识别数据，包括：根据标记图像信息，确定当前图像中对应区域；对对应区域进行图像处理，确定对应目标；以及通过目标生成识别数据。在本公开的一种示例性实施例中，根据识别数据，将标记信息在显示屏幕的对应位置进行展示，包括：通过位置信息与识别数据，通过几何原理算法获取显示位置信息；以及通过显示位置信息，将标记信息在显示屏幕的对应位置进行展示。在本公开的一种示例性实施例中，根据识别数据，将标记信息在显示屏幕的对应位置进行展示，包括：设置显示屏幕为透明显示装置或半透明显示装置；以及根据识别数据，将标记信息在显示屏幕的对应位置进行展示。根据本专利技术的一方面，提出一种用于远程协助的方法，该方法包括：获取图像数据；在图像数据上进行标记操作，生成标记信息，标记信息包括标记图像信息与标记位置信息；将标记信息发送至预定端。在本公开的一种示例性实施例中，在图像数据上进行标记操作，生成标记信息，包括：在图像数据上进行动态标记操作，生成标记信息；以及在图像数据上进行静态标记操作，生成标记信息。在本公开的一种示例性实施例中，标记操作通过可穿戴式显示设备处理。在本公开的一种示例性实施例中，获取图像数据，包括：通过远端的移动显示设备获取图像数据；以及通过数据库获取图像数据。根据本专利技术的一方面，提出一种用于远程协助的方法，该方法包括：第一终端和第二终端建立远程连接；将由第一终端处获取的当前图像发送至第二终端；在第二终端处进行标记操作，生成标记信息，标记信息包括标记图像信息与标记位置信息；第二终端将标记信息发送至第一终端；以及将标记信息在第一终端的显示屏幕的对应位置进行展示。在本公开的一种示例性实施例中，第一终端，包括：可穿戴式显示设备。根据本专利技术的一方面，提出一种用于远程协助的系统，该系统包括：第一终端和第二终端建立远程连接；将由第一终端处获取的当前图像发送至第二终端；在第二终端处进行标记操作，生成标记信息，标记信息包括标记图像信息与标记位置信息；第二终端将标记信息发送至第一终端；以及将标记信息在第一终端的显示屏幕的对应位置进行展示。根据本专利技术的一方面，提出一种用于远程协助的装置，该装置包括：摄像模块，用于通过摄像装置获取当前图像；接收模块，用于获取标记信息，标记信息包括标记图像信息与标记位置信息；处理模块，用于根据标记信息对当前图像进行图像处理，获取识别数据；以及显示模块，用于根据识别数据，将标记信息在显示屏幕的对应位置进行展示。根据本专利技术的一方面，提出一种用于远程协助的装置，该装置包括：接收模块，用于获取图像数据；标记模块，用于在图像数据上进行标记操作，生成标记信息，标记信息包括标记图像信息与标记位置信息；发送模块，用于将标记信息发送至预定端。根据本专利技术的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。根据本专利技术的一方面，提出一种计算机可读介质，其上存储有计算机程序，其特征在于，程序被处理器执行时实现如上文中的方法。根据本专利技术的用于远程协助的方法、装置、系统及电子设备，能够提高远程协助的准确度与工作效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本专利技术。附图说明通过参照附图详细描述其示例实施例，本专利技术的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据一示例性实施例示出的一种用于远程协助的方法的流程图。图2是根据一示例性实施例示出的一种用于远程协助的方法的显示示意图。图3是根据另一示例性实施例示出的一种用于远程协助的方法的流程图。图4是根据另一示例性实施例示出的一种用于远程协助的方法的流程图。图5是根据一示例性实施例示本文档来自技高网...

【技术保护点】
一种用于远程协助的方法，其特征在于，包括：通过摄像装置获取当前图像；获取标记信息，所述标记信息包括标记图像信息与标记位置信息；根据所述标记信息对所述当前图像进行图像处理，获取识别数据；以及根据所述识别数据，将所述标记信息在显示屏幕的对应位置进行展示。

【技术特征摘要】
2016.08.31 CN 20161079772951.一种用于远程协助的方法，其特征在于，包括：通过摄像装置获取当前图像；获取标记信息，所述标记信息包括标记图像信息与标记位置信息；根据所述标记信息对所述当前图像进行图像处理，获取识别数据；以及根据所述识别数据，将所述标记信息在显示屏幕的对应位置进行展示。2.如权利要求1所述的方法，其特征在于，所述显示屏幕包括：可穿戴式显示设备的显示屏幕。3.如权利要求1所述的方法，其特征在于，所述根据所述标记信息对所述当前图像进行图像处理，获取识别数据，包括：根据所述标记图像信息，确定所述当前图像中对应区域；对所述对应区域进行图像处理，确定对应目标；以及通过所述目标生成识别数据。4.如权利要求1所述的方法，其特征在于，所述根据所述识别数据，将所述标记信息在显示屏幕的对应位置进行展示，包括：通过所述位置信息与所述识别数据，通过几何原理算法获取显示位置信息；以及通过所述显示位置信息，将所述标记信息在显示屏幕的对应位置进行展示。5.一种用于远程协助的方法，其特征在于，包括：获取图像数据；在所述图像数据上进行标记操作，生成标记信息，所述标记信息包括标记图像信息与标记位置信息；将所述标记信息发送至预定端。6.一种用于远程协助的方法，其特征在于，包括：第一终端和第二终端建立远程连接；将由所述第一终端处获取的当前图像发送至第二终端；在所述第二终端处进行标记操作，生成标记信息，所述标记信息包括标记图...

【专利技术属性】
技术研发人员：周北川，
申请(专利权)人：中科云创北京科技有限公司，
类型：发明
国别省市：北京,11