视频处理装置和视频处理方法制造方法及图纸

视频处理装置包括：组合单元，其组合多个视频的编码的流以产生由视频构成的多视频图像的编码的流，每个视频的每个编码的流具有被编码为片段的、在每个水平线上的编码单位；以及插入单元，其在多视频图像的观看区域移动时将插入流插入到由组合单元产生的多视频图像的编码的流中。该插入流是其中多视频图像中的所有编码单位被具有指示观看区域的移动方向和移动量的运动向量的跳跃宏块替代的编码的流。

【技术实现步骤摘要】
相关申请的交叉引用 本申请要求在2013年3月8日提交的日本优先权专利申请JP2013-046836的权益，其全部内容通过引用合并于此。
本公开涉及，更具体地，涉及配置为降低由多视频图像的观看区域的移动引起的处理负荷的。
技术介绍
由于内容数字化的进展以及视频传输基础结构的发展，通过因特网的视频分发在延伸。最近，除了个人计算机之外，网络可连接的电视接收机已经越来越多地作为接收侧设备，因此已经变得能够在电视接收机上观看分发的视频。此外，云服务近来的发展使得能够经由网络向观众提供各种频道，包括私有内容。因此，对于允许观众同时观看如图1所示的多个视频以便允许观众容易地搜索优选视频来观看的多视频再现系统已经存在越来越多的要求。 在图1的多视频再现系统中，在屏幕上显示的多视频图像由多个视频组成。在显示的视频之中，被认为主要观看的主视频以最大尺寸被布置在屏幕的中央。在该主视频周围，以比该主视频的尺寸更小的尺寸布置可选的(可切换的)视频。可选视频是例如TV广播频道、网屏幕、电影等的视频内容以及TV聊天屏幕，并且例如从云(网络)内获得。 在用于显示这样的多视频图像的方法之中，第一方法采用分别分发与多个视频相关联的多个编码的流的云中的服务器。客户端装置接收和解码该编码的流并对解码的流进行组合处理以便产生多视频图像。通过例子，日本未审查专利申请公开第2002-064818号公开了通过接收多个基本流(ES)并基于ES的显示优先级从较高优先级ES开始以降序的顺序向ES分配较大的观看区域而形成的多视频图像。 但是，多个编码的流的分发涉及充分宽的传输带。而且，客户端装置需要具有同时解码编码的流和对解码的流进行组合处理的能力，这使得客户端装置昂贵。 作为显示多视频图像的第二方法，存在其中服务器产生单个编码的流形式的多视频图像并且传递该流的方法，如图2所示。在此情况下，服务器解码要组合的多个视频，对视频调整大小，组合视频，然后重新编码组合的视频以便产生多视频图像的编码的流。这些处理对服务器施加了实质上巨大的处理负荷。
技术实现思路
当通过滚动或其它操作移动多视频图像的观看区域时，服务器需要解码该多视频图像的编码的流，改变运动向量，并且重新编码该解码的流。这些处理也对服务器施加了大的处理负荷。考虑到这些情况已经做出本公开，并且本公开使能够减少由多视频图像的观看区域的移动引起的处理负荷。 根据本公开的一个实施例的视频处理装置包括:组合单元，其组合多个视频的编码的流以产生由视频构成的多视频图像的编码的流，每个视频的每个编码的流具有在每个水平线上的被编码为片段的编码单位。该视频处理设备还包括插入单元，其在多视频图像的观看区域移动时将插入流插入到由组合单元产生的多视频图像的编码的流中，而该插入流是其中多视频图像中的所有编码单位被具有指示观看区域的移动方向和移动量的运动向量的跳跃宏块(skip macroblock)替代的编码的流。 根据本公开的一个实施例的视频处理方法与根据本公开的上述实施例的视频处理装置相关联。 在本公开的实施例中的视频处理方法包括:组合多个视频的编码的流以产生由视频构成的多视频图像的编码的流，每个视频的每个编码的流具有在每个水平线上的被编码为片段的编码单位。该视频处理方法还包括在多视频图像的观看区域移动时将插入流插入到通过组合处理产生的多视频图像的编码的流中，该插入流是其中多视频图像中的所有编码单位被具有指示观看区域的移动方向和移动量的运动向量的跳跃宏块替代的编码的流。根据本公开的实施例，可以降低由多视频图像的观看区域的移动引起的处理负荷。【附图说明】 图1图不图不了多视频再现系统； 图2图示图示了用于分发多视频图像的编码的流的方法的例子； 图3是根据一个实施例的应用本技术的多视频再现系统的示例性配置； 图4是图示图示图3中的分发服务器的示例配置的框图； 图5图示多视频图像的基于帧编码的流的产生； 图6图示当移动观看区域时的多视频图像； 图7图不插入流； 图8图示在插入流的片段(slice)数据未被更新的情况下的插入视频图像； 图9图示在插入流的片段数据被更新的情况下的插入视频图像； 图10图示如何插入插入流； 图11A、11B和IlC图不多视频图像的基于巾贞编码的流的更新； 图12是图示图4中的分发服务器如何进行产生处理的流程图； 图13是图示图12中的多视频图像更新处理的细节的流程图；以及 图14是图示计算机的示例性硬件配置的框图。【具体实施方式】 <实施例> [根据实施例的多视频再现系统的示例配置] 图3示出根据实施例的应用本技术的多视频再现系统的示例性配置。 多视频再现系统I用作视频处理装置，并且包括用于分发视频的分发服务器11以及经由网络12连接到该分发服务器11的接收设备13。多视频再现系统I分发由多个视频组成的多视频图像的编码的流以显示多视频图像。 具体地，视频的多个基于帧编码的流从外部源输入到多视频再现系统I的分发服务器11。分发服务器11基于指示观看区域的移动方向和移动量的并且从接收设备13发送的移动信息的历史从输入的视频的编码的流中选择要显示的视频的多个编码的流。分发服务器11以逐帧基础组合所选的视频的编码的流以产生多视频图像的基于帧编码的流。 如果移动信息指示的移动量是O，则分发服务器11将多视频图像的基于帧编码的流不改变地作为组合流发送到接收设备13。 另一方面，如果移动信息所指示的移动量是不同于O的，则分发服务器11基于该移动信息产生插入视频的编码的流，其与多视频图像的编码的流相关联并且是要插入在多视频图像的帧之间的多视频图像的一帧。所产生的插入视频的编码的流被称为插入流。然后，分发服务器11将该插入流插入到该多视频图像的基于帧编码的流中，并将作为组合流发送到接收设备13。 接收设备13经由诸如因特网之类的网络12接收由分发服务器11发送的组合流。接收设备13解码接收的组合流并在内置的液晶显示器或者其他类型的显示器上显示得到的多视频图像和插入视频图像。 在开始显示多视频图像之后，接收设备13响应于诸如滚动和光标移动之类的用户操作而产生移动信息，并将产生的移动信息发送到分发服务器11。因此，当移动量是不同于O时，要显示的视频的编码的流改变，因而观看区域偏移。 接收装置13不需要包括液晶显示器，而是可以在与其连接的显示设备上显示多视频图像。另外，接收设备13可以是例如具有网络连接功能的电视接收机、机顶盒(STP)、个人计算机或者可携式终端设备。 网络12可以配置为连接到多个接收设备13。在此情况下，分发服务器11将组合流多播(multicast)到接收设备13。 [分发服务器的示例性配置] 图4是图示图3中的分发服务器11的示例性配置的框图。 如图4所示,分发服务器11包括接收单元31、存储单元32、读取单元33、组合单元34、插入单元35和发送单元36。 分发服务器11的接收单元31经由图3所示的网络12接收从接收设备13发送的移动信息，并将该移动信息提供给读取单元33、组合单元34和插入单元35。存储单元32存储与指示不同于O的移动量的移动信息相关联的插入流。 读取单元33本文档来自技高网...

【技术保护点】
一种视频处理装置，包括：组合单元，其组合多个视频的编码的流以产生由视频构成的多视频图像的编码的流，每个视频的每个编码的流具有被编码为片段的、在每个水平线上的编码单位；以及插入单元，其在多视频图像的观看区域移动时将插入流插入到由组合单元产生的多视频图像的编码的流中，该插入流是其中多视频图像中的所有编码单位被具有指示观看区域的移动方向和移动量的运动向量的跳跃宏块替代的编码的流。

【技术特征摘要】
2013.03.08 JP 2013-0468361.一种视频处理装置，包括: 组合单元，其组合多个视频的编码的流以产生由视频构成的多视频图像的编码的流，每个视频的每个编码的流具有被编码为片段的、在每个水平线上的编码单位；以及 插入单元，其在多视频图像的观看区域移动时将插入流插入到由组合单元产生的多视频图像的编码的流中，该插入流是其中多视频图像中的所有编码单位被具有指示观看区域的移动方向和移动量的运动向量的跳跃宏块替代的编码的流。2.根据权利要求1的视频处理装置，其中 在所述视频中的周围区域中的一个或多个像素具有预定像素值。3.根据权利要求1的视频处理装置，其中 该插入单元用要在所述片段所位于的位置处显示的视频的内编码的片段替代处于所述插入流中的并且在多视频图像中没有参考片段的片段。4.根据权利要求3的视频处理装置，其中 当所述观看区域的移动方向是垂直方向并且所述观看区域的移动量是片段的整数倍时，所述插入单元用要在所述片段所位于的位置处显示的视频的内编码的片段替代处于所述插入流中的并且...

【专利技术属性】
技术研发人员：矢野幸司，藤本勇司，榎润一郎，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP