运动图像分发系统、运动图像分发方法以及显示终端技术方案

本技术涉及使得能够更可靠地执行运动图像分发的运动图像分发系统、运动图像分发方法和显示终端。提供一种运动图像分发系统，该运动图像分发系统设置有：图像获取单元，其从低分辨率相机获取低分辨率图像，并且从高分辨率相机获取高分辨率图像；异常确定单元，其确定指示低分辨率图像的第一信号或指示高分辨率图像的第二信号是否异常；以及发送控制单元，在确定不存在异常时，该发送控制单元向显示终端发送在低分辨率图像与高分辨率图像之间具有连续性的第一合成图像，并且在确定存在异常时，该发送控制单元将从低分辨率相机和高分辨率相机中的被确定为具有异常的相机获取的图像替换为与真实空间区域对应的替代图像，并且将基本上再现连续性的第二合成图像发送至显示终端。本技术可以应用于例如执行VR实时分发的系统。的系统。的系统。

【技术实现步骤摘要】
【国外来华专利技术】运动图像分发系统、运动图像分发方法以及显示终端


[0001]本技术涉及视频分发系统、视频分发方法和显示终端，具体涉及能够实现更可靠的视频分发的视频分发系统、视频分发方法和显示终端。

技术介绍

[0002]作为图像处理装置，已知合成由多个成像单元捕获的多个图像并且输出合成图像(例如，参见专利文献1)。
[0003]引用列表
[0004]专利文献
[0005]专利文献1：日本专利申请特许公开第2017
‑
69926号。

技术实现思路

[0006]本专利技术要解决的技术问题
[0007]同时，合成由多个成像单元捕获的多个图像以作为视频分发的情况下，如果来自多个成像单元中的一些成像单元的图像的输入丢失，则视频分发有时不能继续。因此，需要用于更可靠的视频分发的技术。
[0008]在这种情况下，产生本技术以能够实现更可靠的视频分发。
[0009]问题的解决方案
[0010]一种根据本技术的一个方面的视频分发系统包括：图像获取单元，其从低分辨率相机获取低分辨率图像，并且从高分辨率相机获取高分辨率图像，该高分辨率图像具有比低分辨率图像窄的视角、具有比低分辨率图像高的分辨率、以及表示在低分辨率图像中包括的真实空间的区域；异常确定单元，其确定在表示低分辨率图像的第一信号和表示高分辨率图像的第二信号中的任一信号中是否存在异常；以及发送控制单元，在确定不存在异常的情况下，发送控制单元将第一合成图像发送至显示终端，第一合成图像在低分辨率图像与高分辨率图像之间具有连续性，并且在确定存在异常的情况下，发送控制单元将第二合成图像发送至显示终端，该第二合成图像通过用与真实空间的区域对应的替代图像来替换从低分辨率相机与高分辨率相机之中被确定为具有异常的相机获取的图像来基本上再现连续性。
[0011]一种由根据本技术的一个方面的视频分发系统执行的视频分发方法包括：从低分辨率相机获取低分辨率图像，并且从高分辨率相机获取高分辨率图像，该高分辨率图像具有比低分辨率图像窄的视角、具有比低分辨率图像高的分辨率、以及表示在低分辨率图像中包括的真实空间的区域；确定表示低分辨率图像的第一信号和表示高分辨率图像的第二信号中的任一信号中是否存在异常；以及在确定不存在异常的情况下，将第一合成图像发送至显示终端，该第一合成图像在低分辨率图像与高分辨率图像之间具有连续性，并且在确定存在异常的情况下，将第二合成图像发送至显示终端，该第二合成图像通过用与真实空间的区域对应的替代图像来替换从低分辨率相机和高分辨率相机之中被确定为具有异
常的相机获取的图像来基本上再现连续性。
[0012]在根据本技术的一个方面的视频分发系统和视频分发方法中：从低分辨率相机获取低分辨率图像，并且从高分辨率相机获取高分辨率图像，该高分辨率图像具有比低分辨率图像窄的视角、具有比低分辨率图像高的分辨率、以及表示在低分辨率图像中包括的真实空间的区域；确定表示低分辨率图像的第一信号和表示高分辨率图像的第二信号中的任一信号中是否存在异常；以及在确定不存在异常的情况下，将第一合成图像发送至显示终端，该第一合成图像在低分辨率图像与高分辨率图像之间具有连续性，并且在确定存在异常的情况下，将第二合成图像发送至显示终端，该第二合成图像通过用与真实空间的区域对应的替代图像来替换从低分辨率相机和高分辨率相机之中被确定为具有异常的相机获取的图像来基本上再现连续性。
[0013]一种根据本技术的一个方面的显示终端包括：图像获取单元，其获取在从低分辨率相机获取的低分辨率图像与从高分辨率相机获取的高分辨率图像之间具有连续性的第一合成图像，该高分辨率图像具有比低分辨率图像窄的视角、具有比低分辨率图像高的分辨率、以及表示在低分辨率图像中包括的真实空间的区域；以及显示控制单元，其在表示低分辨率图像的第一信号和表示高分辨率图像的第二信号中的任一信号中不存在异常的情况下，在显示单元上显示第一合成图像，并且在存在异常的情况下，在显示单元上显示第二合成图像，该第二合成图像通过用与真实空间的区域对应的替代图像来替换从低分辨率相机和高分辨率相机之中的具有异常的相机中获取的图像来基本上再现连续性。
[0014]在根据本技术的一个方面的显示终端中：获取在从低分辨率相机获取的低分辨率图像与从高分辨率相机获取的高分辨率图像之间具有连续性的第一合成图像，高分辨率图像具有比低分辨率图像窄的视角、具有比低分辨率图像高的分辨率、以及表示在低分辨率图像中包括的真实空间的区域；以及在表示低分辨率图像的第一信号和表示高分辨率图像的第二信号中的任一信号不存在异常的情况下，在显示单元上显示第一合成图像，并且在存在异常的情况下，在显示单元上显示第二合成图像，该第二合成图像通过用与真实空间的区域对应的替代图像来替换从低分辨率相机和高分辨率相机之中的具有异常的相机中获取的图像来基本上再现连续性。
[0015]应注意，根据本技术的一个方面的显示终端可以是独立装置，或者可以是构成一个装置的内部块。
附图说明
[0016]图1是示出应用本技术的视频分发系统的配置的第一示例的图。
[0017]图2是示出工作站的配置的示例的图。
[0018]图3是示出其中来自一些相机的输入丢失的示例的图。
[0019]图4是示出将来自相机的丢失输入替换为黑色图像的情况的示例的图。
[0020]图5是示出应用本技术的视频分发系统中的主要部件的配置的示例的图。
[0021]图6是用于详细说明拼接处理的图。
[0022]图7是示出拼接图的示例的图。
[0023]图8是用于详细说明划分处理的图。
[0024]图9是示出透视投影变换的示例的图。
[0025]图10是示出在高分辨率图像的输入丢失时主要部件的配置的示例的图。
[0026]图11是示出高分辨率图像的示例的图。
[0027]图12是示出低分辨率图像的示例的图。
[0028]图13示出在高分辨率图像的输入丢失时的修整和尺寸调整处理以及阿尔法混合处理的示例。
[0029]图14是示出合成图像的第一示例的图。
[0030]图15是示出合成图像的第一示例的图。
[0031]图16是示出合成图像的第一示例的图。
[0032]图17是示出在低分辨率图像的输入丢失时主要部件的配置的示例的图。
[0033]图18是示出合成图像的第二示例的图。
[0034]图19是示出合成图像的第二示例的图。
[0035]图20是示出合成图像的第二示例的图。
[0036]图21是示出在高分辨率图像的输入丢失时用静止图像执行补充的情况下的主要部件的配置的示例的图。
[0037]图22是示出合成图像的第三示例的图。
[0038]图23是示出合成图像的第三示例的图。
[0039]图24是示出合成图像的第三示例的图。
[0040]图25是用于说明分发侧的图像处理流程的流程图。
[0041]图2本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频分发系统，包括：图像获取单元，其从低分辨率相机获取低分辨率图像，并且从高分辨率相机获取高分辨率图像，所述高分辨率图像具有比所述低分辨率图像窄的视角、具有比所述低分辨率图像高的分辨率、并且表示在所述低分辨率图像中包括的真实空间的区域；异常确定单元，其确定在表示所述低分辨率图像的第一信号和表示所述高分辨率图像的第二信号中的任一信号中是否存在异常；以及发送控制单元，其：在确定不存在异常的情况下将第一合成图像发送至显示终端，所述第一合成图像在所述低分辨率图像与所述高分辨率图像之间具有连续性，以及在确定存在异常的情况下将第二合成图像发送至所述显示终端，所述第二合成图像通过用与所述真实空间的区域对应的替代图像来替换从所述低分辨率相机和所述高分辨率相机之中被确定为具有所述异常的相机获取的图像来基本上再现所述连续性。2.根据权利要求1所述的视频分发系统，还包括：图像处理单元，其生成所述第一合成图像或所述第二合成图像。3.根据权利要求2所述的视频分发系统，其中，所述图像处理单元通过使用所述低分辨率图像和所述高分辨率图像进行拼接来再现所述低分辨率图像与所述高分辨率图像之间的所述连续性。4.根据权利要求3所述的视频分发系统，其中，所述替代图像包括所述低分辨率图像或预先准备的静止图像。5.根据权利要求4所述的视频分发系统，其中，在所述第二信号中存在所述异常的情况下，所述图像处理单元用所述低分辨率图像补充所述高分辨率图像丢失的区域。6.根据权利要求5所述的视频分发系统，其中，所述图像处理单元用透明图像来替换丢失的所述高分辨率图像，以及将通过使用所述高分辨率图像进行拼接而得到的高分辨率拼接图像阿尔法混合到通过使用所述低分辨率图像进行拼接而得到的低分辨率拼接图像上。7.根据权利要求6所述的视频分发系统，其中，所述图像处理单元对所述低分辨率拼接图像中的与所述高分辨率拼接图像对应的区域进行修整，并且将其尺寸调整成与所述高分辨率拼接图像对应的尺寸。8.根据权利要求4所述的视频分发系统，其中，在所述第一信号中存在所述异常的情况下，所述图像处理单元用与丢失的所述低分辨率图像对应的所述静止图像来补充所述低分辨率图像丢失的区域。9.根据权利要求8所述的视频分发系统，其中，所述静止图像包括预先捕获的背景图像或紧接所述低分辨率图像丢失之前的背景图像。10.根据权利要求1所述的视频分发系统，其中，提供一个或更多个所述低分辨率相机，
提供一个或更多个所述高分辨率相机，并且所述图像获取单元获取多个所述低分辨率图像和多个所述高分辨率图像。11.根据权利要求10所述的视频分发系统，其中，所述异常确定单元基于与多个所述低分辨率图像对应的多个第一输入信号以及与多个所述高分辨率图像对应的多个第二输入信号，在一个或更多个所述低分辨率相机中存在异常时确定在所述第一输入信号中存在所述异常，以及在一个或更多个所述高分辨率相机中存在异常时，确定在所述第二输入信号中存在所述异常。12.根据权利要求6所述的视频分发系统，其中，所述低分辨率拼接图像包括等距圆柱图像，并且所述高分辨率拼接图像包括局部等距圆柱图像。13.根据权利要求12所述的视频分发系统，其中，在所述第一合成图像或所述第二合成图像中，用所述等距圆柱图像来替换除了所述局部等距圆柱图像的区域之外的区域。14.根据权利要求1所述的视频分发系统，其中，所述显示终端包括头戴式显示器。15.一种由视频分发系统执行的视频分发方法，包括：从低分辨率相...

【专利技术属性】
技术研发人员：大井纯司，大井智博，乡原启生，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：