本公开涉及移动体控制系统、移动体控制方法、移动体远程支援系统。从远程支援的对象即移动体向远程支援装置传输影像时确保画质且降低延迟。移动体控制系统控制远程操作员的远程支援的对象即移动体。移动体控制系统获取由搭载于移动体的摄像机摄像得到且表示移动体的周边状况的影像。移动体控制系统将影像在空间上分割为多个分割影像。并且移动体控制系统以使由远程操作员注视的必要性高的分割影像的重要度高于注视的必要性低的分割影像的重要度的方式设定多个分割影像各自的重要度。然后移动体控制系统以使重要度高的分割影像的画质高于重要度低的分割影像的画质的方式对多个分割影像的各分割影像进行编码并发送到远程操作员侧的远程支援装置。远程操作员侧的远程支援装置。远程操作员侧的远程支援装置。
【技术实现步骤摘要】
移动体控制系统、移动体控制方法、移动体远程支援系统
[0001]本公开涉及一种从作为远程支援的对象的移动体向远程支援装置传输影像的技术。
技术介绍
[0002]专利文献1公开了具备发送装置和接收装置的影像数据传输系统。发送装置将构成影像的各帧的数据发送到传输线路。此时，发送装置按照规定的规则间除特定帧。接收装置具备帧插值单元。帧插值单元在被间除的特定帧的定时输出插值帧数据。
[0003]专利文献2公开了包括发送侧的第一装置和接收侧的第二装置的图像传输装置。第一装置获取由视频摄像机进行摄像得到的人脸等的图像，并将该图像发送到第二装置。第二装置将从第一装置接收到的图像显示在显示装置。另外，第二装置获取作为显示画面上的坐标的由操作员指定的坐标、或者操作员的视线方向的坐标，并将该坐标信息发送到第一装置。第一装置将包括由坐标信息表示的坐标的注视区域的画质设定得高，并发送图像。
[0004]专利文献1：日本特开2008
‑
252333号公报
[0005]专利文献2：日本特开平10
‑
112856号公报
技术实现思路
[0006]专利技术要解决的问题
[0007]考虑远程操作员通过远程来支援车辆、机器人等移动体的动作的状况。由搭载于移动体的摄像机进行摄像得到的影像从移动体被发送到远程操作员侧的远程支援装置。远程操作员参考从移动体发送的影像来进行对移动体的远程支援。此时，从移动体向远程支援装置的影像传输的延迟成为远程支援的精度下降的原因。期望减少影像传输的延迟，但是如果如上述的专利文献1那样在发送侧间除帧，则画质下降。如果画质下降，则结果是远程支援的精度下降。
[0008]本公开的一个目的在于，提供在从作为远程支援的对象的移动体向远程支援装置传输影像时能够确保画质、并且降低延迟的技术。
[0009]用于解决问题的方案
[0010]第一观点关于对作为远程操作员的远程支援的对象的移动体进行控制的移动体控制系统。
[0011]移动体控制系统具备一个或多个处理器。
[0012]一个或多个处理器构成为执行以下处理：
[0013]获取由搭载于移动体的摄像机进行摄像得到且表示移动体的周边状况的影像的处理；
[0014]影像分割处理，将影像在空间上分割为多个分割影像；
[0015]重要度设定处理，以使由远程操作员注视的必要性高的分割影像的重要度高于注
视的必要性低的分割影像的重要度的方式，设定多个分割影像各自的重要度；以及
[0016]分割发送处理，以使重要度高的分割影像的画质高于重要度低的分割影像的画质的方式，对多个分割影像的各分割影像进行编码，并发送到远程操作员侧的远程支援装置。
[0017]第二观点关于对作为远程操作员的远程支援的对象的移动体进行控制的移动体控制方法。
[0018]移动体控制方法包括以下处理：
[0019]获取由搭载于移动体的摄像机进行摄像得到且表示移动体的周边状况的影像的处理；
[0020]影像分割处理，将影像在空间上分割为多个分割影像；
[0021]重要度设定处理，以使由远程操作员注视的必要性高的分割影像的重要度高于注视的必要性低的分割影像的重要度的方式，设定多个分割影像各自的重要度；以及
[0022]分割发送处理，以使重要度高的分割影像的画质高于重要度低的分割影像的画质的方式，对多个分割影像的各分割影像进行编码，并发送到远程操作员侧的远程支援装置。
[0023]第三观点关于移动体远程支援系统。
[0024]移动体远程支援系统具备：
[0025]作为远程操作员的远程支援的对象的移动体；以及
[0026]远程操作员侧的远程支援装置。
[0027]移动体构成为执行以下处理：
[0028]获取由搭载于移动体的摄像机进行摄像得到且表示移动体的周边状况的影像的处理；
[0029]影像分割处理，将影像在空间上分割为多个分割影像；
[0030]重要度设定处理，以使由远程操作员注视的必要性高的分割影像的重要度高于注视的必要性低的分割影像的重要度的方式，设定多个分割影像各自的重要度；以及
[0031]分割发送处理，以使所要度高的分割影像的画质高于重要度低的分割影像的画质的方式，对多个分割影像的各分割影像进行编码，并发送到远程支援装置。
[0032]专利技术的效果
[0033]根据本公开，由搭载于移动体的摄像机进行摄像得到的影像被分割为多个分割影像。并且，设定多个分割影像各自的重要度。具体地说，由远程操作员注视的必要性高的分割影像的重要度被设定得高于注视的必要性低的分割影像的重要度。然后，以重要度高的分割影像的画质高于重要度低的分割影像的画质的方式对各分割影像编码并发送。
[0034]重要度高的分割影像的画质被设定得高，另一方面，重要度低的分割影像的画质被设定得低。由此，能够确保重要的部分的画质、并且削减整体的数据发送量。由于数据发送量被削减，因此影像传输的延迟得以抑制。即，能够确保重要的部分的画质、并且降低影像传输的延迟。其结果，远程支援的精度提高。并且，由于数据发送量被削减，因此通信成本也被削减。
附图说明
[0035]图1是表示本公开的实施方式所涉及的车辆远程支援系统的概念图。
[0036]图2是用于说明本公开的实施方式所涉及的远程支援的概要的概念图。
[0037]图3是表示本公开的实施方式所涉及的车辆控制系统的结构例的框图。
[0038]图4是表示本公开的实施方式所涉及的驾驶环境信息的一例的框图。
[0039]图5是表示本公开的实施方式所涉及的远程支援装置的结构例的框图。
[0040]图6是用于说明本公开的实施方式所涉及的分割影像传输的概要的概念图。
[0041]图7是表示本公开的实施方式所涉及的分割影像的重要度的设定例的概念图。
[0042]图8是表示与本公开的实施方式所涉及的分割影像画质控制关联的车辆控制系统的功能结构的一例的框图。
[0043]图9是用于说明本公开的实施方式所涉及的重要度设定处理的第一例的概念图。
[0044]图10是用于说明本公开的实施方式所涉及的重要度设定处理的第二例的概念图。
[0045]图11是用于说明本公开的实施方式所涉及的重要度设定处理的第三例的概念图。
[0046]图12是用于说明本公开的实施方式所涉及的重要度设定处理的第四例的概念图。
[0047]图13是用于说明本公开的实施方式所涉及的重要度设定处理的第五例的框图。
[0048]图14是用于说明本公开的实施方式所涉及的分割影像并行处理的一例的时序图。
[0049]图15是用于说明本公开的实施方式所涉及的分割影像并行处理的其它例的时序图。
[0050]图16是表示与本公开的实施方式所涉及的分割影像并行处理关联的车辆控制系统的功能结构的一例的框图。...
【技术保护点】
【技术特征摘要】
1.一种移动体控制系统，对作为远程操作员的远程支援的对象的移动体进行控制，其中，所述移动体控制系统具备一个或多个处理器，所述一个或多个处理器构成为执行以下处理：获取由搭载于所述移动体的摄像机进行摄像得到且表示所述移动体的周边状况的影像的处理；影像分割处理，将所述影像在空间上分割为多个分割影像；重要度设定处理，以使由所述远程操作员注视的必要性高的分割影像的重要度高于所述注视的所述必要性低的分割影像的重要度的方式，设定所述多个分割影像各自的所述重要度；以及分割发送处理，以使所述重要度高的分割影像的画质高于所述重要度低的分割影像的画质的方式，对所述多个分割影像的各分割影像进行编码，并发送到所述远程操作员侧的远程支援装置。2.根据权利要求1所述的移动体控制系统，其中，在所述重要度设定处理中，所述一个或多个处理器获取反映了所述移动体的预定移动方向的信息，所述一个或多个处理器基于所述移动体的所述预定移动方向设定所述多个分割影像各自的所述重要度。3.根据权利要求2所述的移动体控制系统，其中，所述一个或多个处理器将与所述预定移动方向相对近的分割影像的所述重要度设定得高于与所述预定移动方向相对远的分割影像的所述重要度。4.根据权利要求1所述的移动体控制系统，其中，在所述重要度设定处理中，所述一个或多个处理器将与所述影像中的消失点相对近的分割影像的所述重要度设定得高于与所述消失点相对远的分割影像的所述重要度。5.根据权利要求1所述的移动体控制系统，其中，特定物体包括人、自行车、其它车辆、信号灯以及标识中的至少一个，在所述重要度设定处理中，所述一个或多个处理器获取表示所述影像中的所述特定物体的位置的信息，所述一个或多个处理器将映现出所述特定物体的分割影像的所述重要度设定得高于未映现出所述特定物体的分割影像的所述重要度。6.根据权利要求1所述的移动体控制系统，其中，第一区域是在所述影像中存在道路和物体目标的区域，在所述重要度设定处理中，所述一个或多个处理器获取表示所述影像中的所述第一区域的位置的信息，所述一个或多个处理器...
【专利技术属性】
技术研发人员：渡边敏畅，
申请(专利权)人：欧温星球控股股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。