编码设备及其控制方法技术

本发明专利技术提供一种编码设备及其控制方法，该编码设备用于输入第一图像信号和来自与所述第一图像信号的输入源不同的输入源的第二图像信号，所述编码设备基于拍摄模式信息或者编码单元的编码的失真率，自适应地确定第一比特率和第二比特率，其中，将所述第一比特率和所述第二比特率分别分配给第一编码单元和第二编码单元，所述第一编码单元用于对所输入的第一图像信号进行编码，所述第二编码单元用于基于所述第一图像信号对所输入的第二图像信号进行编码。

【技术实现步骤摘要】

本专利技术涉及一种编码设备，尤其涉及一种用于多路复用多个编码流的编码设备、 编码方法和程序。
技术介绍
近年来，开始对通过使用盘介质、硬盘或存储器作为存储介质来进行高清晰度记录的摄像机进行产品化。由于这类摄像机如此小以至于便于携帯、并可以记录高图像质量的图像，所以认为这类摄像机在将来会越来越普及。在这类设备中，为了进行高清晰度记录，将图像存储在记录介质中，作为利用例如MPEG4part-10 :AVC(IS0/IEC 14496-10 ；另一名称为H. 264)压缩编码的视频流。根据这ー压缩编码方法，使用利用图像之间的相关性的帧间预测(间预測)和利用帧内的相关性的帧内预测(内预测)，并且还使用算术编码，从而实现高效率的压缩编码。被配置成输入左图像信号和右图像信号以形成3D图像的摄像机也已投入实际应ο日本特开平9-65372公开了ー种用于编码和记录各个右图像和左图像的设备。该公报提出了这样ー种设备，该设备根据右图像和左图像之间的相关性，以图片为单位自适应地设置在编码各图像时要分配的代码量，从而使得右图像和左图像的编码的劣化度一致。在如上述相关技术那样编码右图像和左图像的情况下，重要的问题是使得右图像和左图像的图像质量一致。尽可能地抑制右图像和左图像的编码的劣化、并保持高图像质量同样也很重要。因此，为了在有限的比特率内更有效地编码，除传统的帧间预测和算术编码以外，还进行使得可以根据右图像和左图像中的一个图像预测另一个图像的视差预測， 作为3D图像特有的技木。当开始右图像和左图像的记录吋，如果仅设置比特率和缓冲大小、并进行编码，则视差预测的编码效率根据输入图像的特征而变化，因而右图像和左图像的编码的劣化度不同。在相关技术的编码设备中，在这种情况下，通过使右图像和左图像的编码的劣化度与较大的劣化度相一致来降低作为3D图像的不自然性。然而，相关技术的编码设备具有这样的问题没有有效使用所设置的比特率，因而图像质量劣化。考虑到上述问题，本专利技术的ー个方面提供一种编码设备，在该编码设备中，在开始记录时适当分配与右图像和左图像的编码有关的比特率和缓冲大小，从而防止图像质量劣化、并使得能够有效进行编码。
技术实现思路
根据本专利技术的ー个方面，本专利技术的编码设备输入第一图像和来自不同于所述第一图像的输入源的输入源的第二图像，并且编码这些图像，所述编码设备被配置成基于拍摄模式信息或者编码单元的编码的失真率，自适应地确定第一比特率和第二比特率，其中，将所述第一比特率和所述第二比特率分別分配给第一编码单元和第二编码单元，所述第一编码单元用于编码所输入的第一图像，所述第二编码单元用于基于所述第一图像编码所输入的第二图像。通过以下參考附图对典型实施例的说明，本专利技术的其它特征将显而易见。 附图说明图1是根据本专利技术第一实施例的编码设备的结构图。图2是示出与拍摄模式有关的图像、帧间差分和视差差分之间的关系的图。图3是在图1的编码设备中所执行的比特率设置处理的流程图。图4是示出根据第一实施例所设置的比特率和拍摄模式之间的关系的图。图5是根据本专利技术第二实施例的编码设备的结构图。图6是在图5的编码设备中所执行的比特率设置处理的流程图。图7是示出通过图6的比特率设置处理所设置的比特率的设置值的例子的图。图8是本专利技术第三实施例的比特率设置处理的流程图。图9是示出通过图8的比特率设置处理所设置的比特率的例子的图。具体实施例方式下面将參考附图详细说明本专利技术的典型实施例。本专利技术的编码设备是这样ー种图像编码设备，可以使用该图像编码设备来编码例如摄像机等所拍摄的3D图像，并且可以通过用于控制整个照相机的控制单元来对该图像编码设备进行控制。在这种情况下，可以作为在照相机的控制单元的控制下工作的硬件、软件或者它们的组合来实现本专利技术的编码设备。本专利技术不局限于摄像机，自然地，本专利技术可应用于任何设备，只要该设备具有与图1中的图像输入単元101和103相对应的3D图像的拍摄功能即可。第一实施例图1是根据本实施例的编码设备的结构图。本实施例的编码设备具有这样的结构，在该结构中，输入右图像信号和左图像信号，并且通过多个不同的编码单元分别编码这些信号，从而形成ー个多路复用流。下面将參考图1说明本实施例的编码设备的结构和操作。编码处理图像输入単元101输入来自用于左眼的摄像元件(未示出)的图像信号(第一图像信号)，并且输出给编码単元102。编码单元102(第一编码单元)对输入的第一图像信号以每一宏块作为编码单位进行帧间运动预测和运动补偿，并且执行正交变换和量化。编码单元102对量化后的图像信号进行熵编码，形成编码流(第一编码流)，并且输出给多路复用单元105。图像输入单元103输入来自用于右眼的摄像元件(未示出)的图像信号(第二图像信号)，并且输出给编码单元104。编码单元104(第二编码单元)对输入的第二图像信号以每一宏块作为编码单位，通过使用对由编码单元102形成的编码流进行解码所获得的图像信号来进行使用右图像和左图像之间的视差的视差预测和视差补偿。随后，编码单元104执行正交变换和量化。此后，编码单元104对量化后的图像信号进行熵编码，形成编码流(第二编码流)，并且输出给多路复用单元105。多路复用单元105输入从编码单元102和104输出的编码流，通过诸如MPEG2-TS 或MOV等的已知格式对它们进行多路复用，并且将所形成的多路复用流记录在记录介质 108中。多路复用单元105包括随机存取存储器(RAM)，并且对RAM上的编码流进行多路复用(组合处理)。拍摄模式选择单元106选择多个拍摄模式中的想要的拍摄模式，并且向比特率设置单元107通知示出所选择的拍摄模式的信息。拍摄模式选择单元还具有下面的功能基于在所选择的拍摄模式下设想的拍摄图像，在图像输入单元101和103中适当设置由摄像元件所执行的摄像操作的快门速度、光圈和曝光等。拍摄模式选择单元106可以是与单元106分开设置的、通过拍摄模式选择单元所选择的拍摄模式的信息的获取单元(拍摄模式信息获取单元)。在这种情况下，通过例如摄像机的控制单元进行由摄像元件所执行的拍摄的条件设置，其中，本实施例的编码设备在该摄像机中工作。在这种情况下，图像输入单元101和103变成各自用于输入来自摄像元件(图像信号的输入源)的图像信号的单元，并且可以用作为诸如PC等的图像处理设备中的编码设备，而不局限于具有摄像单元等的照相机等。包括处理器(计算机)的比特率设置单元107根据从拍摄模式选择单元106所通知的拍摄模式，自适应地设置编码单元102中的第一比特率并自适应地设置编码单元104 中的第二比特率。在本专利技术中，假定第一比特率和第二比特率的和是恒定的(预定值)。在本实施例中，将该预定值预先设置成不会超过由多路复用单元105所形成的多路复用流的比特率的值。也就是说，在本实施例中，根据拍摄模式自适应地设置预定值内的第一比特率和第二比特率的分配比(对各编码单元的比特率的分配)。拍摄模式图2是示出从拍摄模式选择单元106通知给比特率设置单元107的拍摄模式、以及在各拍摄模式下设想的拍摄场景、帧间差分的大小和视差差分的大小之间的对应关系的表。风景模式201是在拍摄例如诸如山等的远视野处的被摄体时所使用的拍摄模式。在这一拍摄场景下，帧间差分小，并且本文档来自技高网...

【技术保护点】

【技术特征摘要】
...

【专利技术属性】
技术研发人员：磨田浩二，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：