远程作业装置及其程序制造方法及图纸

通过对远处获得的影像进行适当的压缩而实现用户的目视确认性的提高。在远处的机器人(3)中，基于根据其位置及动作的检测数据和影像数据而导出的特征量，判定机器人(3)的行动场景，选择与判定出的上述行动场景对应的影像参数或者拍摄模式。而且，进行针对影像数据而调整上述选择出的影像参数的处理，或者针对照相机而设定上述选择出的拍摄模式的处理，将该处理后的影像数据经由网络(4)向用户侧的信息处理装置(2)输送，并在HMD(1)进行显示。并在HMD(1)进行显示。并在HMD(1)进行显示。

【技术实现步骤摘要】
【国外来华专利技术】远程作业装置及其程序


[0001]本专利技术的实施方式涉及例如能够与用户装置之间经由网络而通信的远程作业装置、以及在该远程作业装置中使用的程序。

技术介绍

[0002]开发了如下系统，即，用户一边观看从存在于远处的机器人经由网络而发送的影像，一边对机器人的动作进行远程控制。这种系统例如在用户的头部安装头戴式显示器(Head Mount Display：HMD)(此后也称为头戴式套件)。而且，以如下方式构成，即，用户一边利用头戴式套件观看存在于远处的机器人拍摄的影像，一边使自己的身体执行动作或者对控制器进行操作，由此对上述机器人的动作进行远程控制。
[0003]另外，关于这种系统，例如利用增强现实(Augmented Reality；AR)的技术或者虚拟现实(Virtual Reality：VR)的技术基于从机器人输送的影像而生成AR影像或者VR影像并在头戴式套件进行显示，由此能够使得用户获得高度的沉浸感。
[0004]专利文献1：日本特开2019
‑
106628号公报

技术实现思路

[0005]但是，当前的系统存在如下需要解决的问题。即，在经由网络而传送已拍摄的影像的情况下，在影像的压缩条件固定的简单的系统中，受到通信环境的影响。特别是在无线环境下，如果用户移动至电波较弱的环境，则能够在恒定时间内传送的通信频带缩窄，因此如果要传送高品质的影像，则例如帧缺失而变为不连贯的影像、或者噪声重叠、或者产生传送延迟等而导致传送品质的劣化。
[0006]为了解决上述问题，当前考虑了Adaptive Bitrate Streaming之类的方法。该方法对通信频带进行推定，以使其落入于上述范围内的方式对影像的压缩度进行变更。例如，进行降低影像的分辨率而削减数据的传送容量的应对。
[0007]然而，在该方法中，无论是需要积极地确保空间分辨率或时间分辨率的哪一个的影像，都会根据未考虑影像的种类的Adaptive Bitrate Streaming的安装系统的算法而实施压缩处理。因此，在如远程控制系统那样由远处的机器人对各种场景的影像进行拍摄，用户利用HMD等对上述影像进行视听的情况下，能够想到无法获得视听所需的影像品质而不适合于实际应用。
[0008]本专利技术就是着眼于上述情形而提出的，要提供一种能够针对在远处获得的影像进行适当的压缩而实现用户的目视确认性的提高的技术。
[0009]为了解决上述问题，本专利技术的第1方式是能够在与连接于显示部的用户装置之间经由网络而进行通信的远程作业装置，构成为具有：影像数据获取部，其从照相机获取由该照相机拍摄到的对象的影像数据；状态检测数据获取部，其从传感器获取由该传感器检测出的表示所述远程作业装置的位置以及动作的至少一者的状态检测数据；判定部，其基于获取到的所述影像数据以及所述状态检测数据而判定所述远程作业装置的行动场景；选择
部，其根据判定出的所述行动场景而选择调整对象的影像参数；控制部，其针对所述影像数据而调整所述选择出的影像参数；以及发送部，其将调整了所述影像参数之后的所述影像数据经由所述网络而向所述用户装置发送。
[0010]本专利技术的第2方式是能够在与连接于显示部的用户装置之间经由网络而进行通信的远程作业装置，其构成为具有：影像数据获取部，其从照相机获取由该照相机拍摄到的对象的影像数据；状态检测数据获取部，其从传感器获取利用该传感器检测出的表示所述远程作业装置的位置以及动作的至少一者的状态检测数据；判定部，其基于获取到的所述影像数据以及所述状态检测数据而判定所述远程作业装置的行动场景；选择部，其选择与判定出的所述行动场景对应的拍摄模式；控制部，其针对所述照相机而设定所述选择出的拍摄模式；以及发送部，其将由所述照相机利用所述设定的拍摄模式而拍摄到的所述影像数据，经由所述网络向所述用户装置发送。
[0011]专利技术的效果
[0012]根据本专利技术的第1方式，在远程作业装置中，基于该远程作业装置的位置或动作以及拍摄到的影像而判定远程作业装置的行动场景，根据判定出的上述行动场景而选择调整对象的影像参数。而且，针对影像数据调整上述选择出的影像参数，将调整后的影像数据向用户装置发送。因此，例如，针对读书场景、观看体育比赛场景等每个行动场景，利用与该行动场景对应的影像参数对影像数据进行调整，并向用户装置发送。因此，针对每个行动场景，将通过适合于该场景的影像参数进行了压缩的远程影像向用户装置传送，由此能够针对用户，提供对于远程作业装置的每个行动场景而言适合于该场景的视听性良好的远程影像。
[0013]根据本专利技术的第2方式，在远程作业装置中，基于该远程作业装置的位置或动作以及拍摄到的影像而判定远程作业装置的行动场景，根据判定出的上述行动场景而选择照相机的拍摄模式。而且，针对照相机设定所述选择出的拍摄模式，将通过该拍摄模式而拍摄到的影像数据经由网络而向用户装置传送。因此，例如，针对读书场景、观看体育比赛场景等每个行动场景，将通过与该行动场景对应的拍摄模式而拍摄到的影像数据向用户装置输送。因此，针对每个行动场景，将具有与该场景适合的品质的远程影像向用户装置传送，由此能够针对用户，提供对于远程作业装置的每个行动场景而言适合于该场景的视听性良好的远程影像。
[0014]即，根据本专利技术的各方式，能够提供一种通过对远处获得的影像进行适当的压缩而实现用户的目视确认性的提高的技术。
附图说明
[0015]图1是表示本专利技术的一个实施方式所涉及的远程控制系统的整体结构的图。
[0016]图2是表示图1所示的远程控制系统中用户佩戴的头戴式显示器的硬件结构的框图。
[0017]图3是表示图1所示的远程控制系统中作为用户装置而使用的信息处理装置的硬件结构的框图。
[0018]图4是表示图1所示的远程控制系统中作为远程作业装置而使用的机器人的硬件结构的框图。
[0019]图5是表示图1所示的远程控制系统中作为远程作业装置而使用的机器人的软件结构的框图。
[0020]图6是表示图5所示的基于机器人的处理次序及处理内容的流程图。
[0021]图7是表示图6所示的机器人的处理次序中的行动场景的判定处理以及影像参数的选择处理的处理次序以及处理内容的流程图。
[0022]图8是表示图5所示的存储部中存储的行动场景信息的一个例子的图。
[0023]图9是表示图5所示的存储部中存储的子场景信息的一个例子的图。
[0024]图10是表示图5所示的存储部中存储的影像参数信息的一个例子的图。
具体实施方式
[0025]下面，参照附图对本专利技术所涉及的实施方式进行说明。
[0026][一个实施方式][0027](结构例)
[0028](1)系统
[0029]图1是表示本专利技术的一个实施方式所涉及的远程控制系统的整体结构的图。
[0030]本专利技术的一个实施方式所涉及的远程控制系统具有：头戴式显示器(HMD)1；作为用户装置而执行动作的信息处理装置2本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种远程作业装置，其能够在与连接于显示部的用户装置之间经由网络而进行通信，其中，所述远程作业装置具有：影像数据获取部，其从照相机获取由该照相机拍摄到的对象的影像数据；状态检测数据获取部，其从传感器获取由该传感器检测出的表示所述远程作业装置的位置以及动作的至少一者的状态检测数据；判定部，其基于获取到的所述影像数据以及所述状态检测数据，判定所述远程作业装置的行动场景；选择部，其根据判定出的所述行动场景而选择调整对象的影像参数；控制部，其针对所述影像数据而调整所选择的影像参数；以及发送部，其将调整了所述影像参数之后的所述影像数据经由所述网络而向所述用户装置发送。2.一种远程作业装置，其能够在与连接于显示部的用户装置之间经由网络而进行通信，其中，所述远程作业装置具有：影像数据获取部，其从照相机获取由该照相机拍摄到的对象的影像数据；状态检测数据获取部，其从传感器获取由该传感器检测出的表示所述远程作业装置的位置以及动作的至少一者的状态检测数据；判定部，其基于获取到的所述影像数据以及所述状态检测数据，判定所述远程作业装置的行动场景；选择部，其选择与判定出的所述行动场景对应的拍摄模式；控制部，其针对所述照相机而设定所选择的所述拍摄模式；以及发送部，其将由所述照相机利用所述设定的拍摄模式而拍摄到的所述影像数据，经由所述网络向所述用户装置发送。3.根据权利要求1或2所述的远程作业装置，其中，所述判定部基于所述影像数据以及所述状态检测数据，判定所述行动场景是否是利用所述照相机主要对静止状态的对象进行拍摄的第1场景，在判定为所述行动场景是所述第1场景的情况下，所述选择部选择空间分辨率作为所述影像参数或者所述拍摄模式，所述控制部进行针对所述影像数据而调整所述选择出的空间分辨率的处理，或者针对所述照相机而设定用于获得所述选择出的空间分辨率的拍摄模式的处理。4.根据权利要求1或2所述的远程作业装置，其中，所述判定部基于所述影像数据以及所述状态检测数据，判定所述行动场景是否是利用所述照相机主要对移动状态的对象进行拍摄的第2场景，在判定为所述行动场景是所述第2场景的情况下，所述选择部选择时间分辨率作为所述影像参数或者...

【专利技术属性】
技术研发人员：中藏聪哉，
申请(专利权)人：NTT通信公司，
类型：发明
国别省市：