发送装置、发送方法、接收装置和接收方法制造方法及图纸

本发明专利技术良好地发送正常帧速率和高帧速率图像数据。获取基本流，所述基本流包括通过以时间上相邻的两个图片为单位对高帧速率图像数据应用混合处理而获取的基本帧速率图像数据的编码的每个图片的图像数据作为存取单元，并且还获取增强流，所述增强流包括高帧速率图像数据的编码的每个图片图像数据作为存取单元。发送包括基本流和增强流的规定格式的容器。

【技术实现步骤摘要】
【国外来华专利技术】发送装置、发送方法、接收装置和接收方法
本专利技术涉及发送装置、发送方法、接收装置和接收方法，并且更具体地涉及例如一种发送高帧速率的运动图像数据的发送装置。
技术介绍
近来，用高速帧快门执行高帧速率拍摄的相机是众所周知的。例如，正常帧速率是例如60fps或者50fps，而高帧速率是高达正常帧速率的几倍、几十倍或者甚至几百倍的帧速率。在执行高帧速率服务的情况下，考虑将由高速帧快门拍摄的运动图像数据转换成频率低于运动图像数据的频率的运动图像序列，以便发送。然而，高速帧快门的图像对于运动模糊的改善和具有高清晰度的图像质量的实现具有效果，但是具有在接收和再现侧导致传统帧内插技术的图像质量问题的因素。使用由高速帧快门拍摄的具有高清晰度的图像的帧内插增加了运动矢量搜索适应的情况与运动矢量搜索不适应的情况之间的差异。因此，这两者之间的差异显示为明显的图像质量下降。为了改善在帧内插中的运动矢量搜索的精度，需要高负荷计算，然而这影响接收机的成本。本申请人先前已经提出了转换由高速帧快门拍摄的图像的材料的技术，以使得执行正常帧速率解码的传统接收机显示具有特定或更高水平的图像质量(参考专利文献1)。引用列表专利文献专利文献1：WO2015/076277
技术实现思路
本专利技术要解决的问题本技术的目的在于有利地传送正常帧速率的图像数据和高帧速率图像数据。解决问题的方案根据本技术的概念，一种发送装置包括：图像编码单元，被配置为获取基本流，所述基本流包括通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据中的每个图片的编码图像数据作为存取单元，所述图像编码单元被配置为获取增强流，所述增强流包括在高帧速率图像数据中的每个图片的编码图像数据作为存取单元；和发送单元，被配置为以预定格式发送容器，所述容器包括所述基本流和所述增强流。根据本技术，图像编码单元获取基本流和增强流。通过对在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行编码处理，来获取基本流。通过对高帧速率图像数据执行编码处理来获取增强流。发送单元以预定格式发送容器，容器包括基本流和增强流。根据本专利技术的技术，发送基本流，所述基本流包括通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据。因此，对基本帧速率图像数据能解码处理的接收机处理基本流，以获取基本帧速率图像数据，使得平滑的图像可以被显示作为运动图像，并且另外，通过显示处理中的低负荷计算的帧内插处理可以避免造成图像质量的问题。另外，根据本技术，发送包括高帧速率图像数据的增强流。因此，对高帧速率图像数据可解码处理的接收机处理增强流，以获取高帧速率图像数据，使得可以有利地执行高帧速率的图像显示。注意，根据本技术，例如，图像编码单元可以对基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，以便获取基本流。此外，图像编码单元可以以高帧速率图像数据对基本帧速率图像数据执行与混合处理相逆的处理，以便获取作为混合补偿后的图像数据的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述图像数据包括另一侧图片的图像数据。然后，所述图像编码单元可以利用混合补偿后的图像数据来对高帧速率图像数据执行预测编码处理，以便获取增强流。在这种情况下，由于在高帧速率图像数据的预测编码中将混合补偿后的图像数据作为参考图像数据，因此可以减少预测残差。在这种情况下，例如，图像编码单元可以针对高帧速率图像数据中的每个预测块，获取比预测块大的范围的图像数据，作为所述混合补偿后的图像数据。利用这种设置，甚至在将混合补偿后的图像数据作为参考图像数据的情况下，也可以有利地进行运动补偿。另外，根据本技术，例如，可以进一步设置信息插入单元，信息插入单元被配置为将混合处理中的混合比率信息插入到增强流的层中。在这种情况下，例如，基本流和增强流可以均具有NAL单元结构，并且信息插入单元可以将具有混合比率信息的SEINAL单元插入到增强流中，或者可以将混合比率信息插入到增强流的PPSNAL单元中。以这种方式将混合比率信息插入到增强流的层中，可以例如在接收侧利用混合比率信息容易且合适地执行与混合处理相逆的处理。另外，根据本技术，例如，可以进一步设置信息插入单元，信息插入单元被配置为向增强流的每个存取单元插入相位信息，指示存取单元对应于时间上连续的两个图片中的哪个图片。以这种方式将相位信息插入到增强流的每个存取单元中，可以例如在接收侧利用相位信息容易且适当地执行与混合处理相逆的处理。另外，根据本技术，例如，可以进一步设置信息插入单元，信息插入单元被配置为向容器的层中插入标识信息，指示包括在基本流中的图像数据包括通过执行混合处理而获取的图像数据。在这种情况下，在接收侧，可以容易地从标识信息中识别包括在基本流中的图像数据包括通过执行混合处理而获取的图像数据。另外，根据本技术的不同概念，一种接收装置包括：接收单元，被配置为接收预定格式的容器，所述容器包括基本流和增强流，对通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，来获取所述基本流，利用混合补偿后的图像数据来对高帧速率图像数据执行预测编码处理，来获取所述增强流，以高帧速率图像数据对基本帧速率图像数据执行与混合处理相逆的处理，来获取混合补偿后的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据；以及处理单元，被配置为仅处理所述基本流，以便获取基本帧速率图像数据，或者处理所述基本流和所述增强流，以便获取高帧速率图像数据，其中，当对所述增强流进行解码处理时，所述处理单元以通过所述增强流的处理所获取的高帧速率图像数据，对通过所述基本流的处理所获取的基本帧速率图像数据执行与混合处理相逆的处理，以便获取混合补偿后的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据，所述处理单元被配置为使用所述混合补偿后的图像数据作为参考图像数据。根据本技术，接收单元接收预定格式的容器，容器包括基本流和增强流。通过对在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，来获取所述基本流。另外，利用混合补偿后的图像数据来对高帧速率图像数据执行预测编码处理，来获取所述增强流，以高帧速率图像数据对基本帧速率图像数据执行与混合处理相逆的处理，来获取混合补偿后的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据。处理单元仅处理所述基本流，以便获取基本帧速率图像数据，或者处理所述基本流和所述增强流，以便获取高帧速率图像数据。当对所述增强流进行解码处理时，所述处理单元以通过所述增强流的处理所获取的高帧速率图像数据，对通过所述基本流的处理所获取的基本帧速率图像数据执行与混合处理相逆的处理，以便获取混合补偿后的图像数据，当高帧速率图像数据包括以时本文档来自技高网...

【技术保护点】
一种发送装置，包括：图像编码单元，被配置为获取基本流，所述基本流包括通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据中的每个图片的编码图像数据作为存取单元，并且所述图像编码单元被配置为获取增强流，所述增强流包括所述高帧速率图像数据中的每个图片的编码图像数据作为存取单元；以及发送单元，被配置为以预定格式发送容器，所述容器包括所述基本流和所述增强流。

【技术特征摘要】
【国外来华专利技术】2015.09.01 JP 2015-1724071.一种发送装置，包括：图像编码单元，被配置为获取基本流，所述基本流包括通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据中的每个图片的编码图像数据作为存取单元，并且所述图像编码单元被配置为获取增强流，所述增强流包括所述高帧速率图像数据中的每个图片的编码图像数据作为存取单元；以及发送单元，被配置为以预定格式发送容器，所述容器包括所述基本流和所述增强流。2.根据权利要求1所述的发送装置，还包括：信息插入单元，被配置为将混合处理中的混合比率信息插入到所述增强流的层中。3.根据权利要求2所述的发送装置，其中，所述基本流和所述增强流均具有NAL单元结构，并且所述信息插入单元将具有所述混合比率信息的SEINAL单元插入到增强流中。4.根据权利要求2所述的发送装置，其中，所述基本流和所述增强流均具有NAL单元结构，并且所述信息插入单元将所述混合比率信息插入到所述增强流的PPSNAL单元中。5.根据权利要求1所述的发送装置，还包括：信息插入单元，被配置为向所述增强流的每个存取单元插入相位信息，所述相位信息指示所述存取单元对应于时间上连续的两个图片中的哪个图片。6.根据权利要求1所述的发送装置，还包括：信息插入单元，被配置为向所述容器的层中插入标识信息，所述标识信息指示包括在所述基本流中的图像数据是通过执行混合处理而获取的图像数据。7.根据权利要求1所述的发送装置，其中，所述图像编码单元对所述基本帧速率图像数据执行用于所述基本帧速率图像数据的预测编码处理，以便获取所述基本流，并且所述图像编码单元被配置为利用所述高帧速率图像数据对所述基本帧速率图像数据执行与混合处理相逆的处理，以便获取图像数据作为混合补偿后的图像数据，当所述高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述图像数据包括另一侧图片的图像数据，所述图像编码单元被配置为利用所述混合补偿后的图像数据来对所述高帧速率图像数据执行预测编码处理，以便获取所述增强流。8.根据权利要求7所述的发送装置，其中，所述图像编码单元针对所述高帧速率图像数据中的每个预测块，获取比预测块大的范围的图像数据，作为所述混合补偿后的图像数据。9.一种发送方法，包括：图像编码步骤，用于获取基本流，所述基本流包括通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据中的每个图片的编码图像数据作为存取单元，并且获取增强流，所述增强流包括所述高帧速率图像数据中的每个图片的编码图像数据作为存取单元；以及发送步骤，用于通过发送单元以预定格式发送容器，所述容器包括所述基本流和所述增强流。10.一种接收装置，包括：接收单元，被配置为接收预定格式的容器，所述容器包括基本流和增强流，对通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，来获取所述基本流，利用混合补偿后的图像数据来对所述高帧速率图像数据执行预测编码处理，来获取所述增强流...

【专利技术属性】
技术研发人员：塚越郁夫，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP