使用至少评估后的视觉质量的视频编码方法和相关视频编码装置制造方法及图纸

一种视频编码方法包含利用视觉质量评估模块，用于基于涉及编码回路中的数据评估视觉质量；以及参考至少评估后的视觉质量用于决定视频编码中的率控制单元的目标比特分配。此外，一种示范视频编码装置包含视觉质量评估模块，用于基于涉及编码回路中的数据评估视觉质量；率控制器，参考至少评估后的视觉质量用于决定视频编码中的率控制单元的目标比特分配；以及编码电路，包含编码回路，编码电路用于根据所述目标比特分配编码所述率控制单元。

【技术实现步骤摘要】
【国外来华专利技术】使用至少评估后的视觉质量的视频编码方法和相关视频编码装置交叉参考相关引用本申请要求2013年3月11日提交的申请号为61/776,053的美国临时申请以及2014年3月10日提交的申请号为14/201,950的美国申请的优先权，上述申请参考并入本文。
所公开的本专利技术的实施例关于视频编码，且更特别地，关于使用由一个或多个视觉质量度量确定的至少评估后的视觉质量的视频编码方法和相关视频编码装置。
技术介绍
现有的视频编码标准通常采取基于块(或基于编码单元)的编码技术，以开发空间冗余。例如，基本方法是将整个来源帧分割为多个块(编码单元)，对每个块(编码单元)执行预测，使用离散余弦转换来转换每个块(编码单元)的残值，以及执行量化和熵编码。除此之外，重建帧在编码回路中生成，以提供参考像素数据用于编码后续块(编码单元)。对于某些视频编码标准，环路滤波器可用于增强重建帧的图像质量。例如，解块(de-blocking)滤波器包含于H.264编码回路，以及解块滤波器和样本自适应偏置(SampleAdaptiveOffset，SAO)滤波器包含于高效率视频编码(HighEfficiencyVideoCoding，HEVC)编码回路中。对于许多应用(例如，视频流应用)，使用中的传输信道通常具有有限的传输带宽。在此情况下，编码器的输出比特率必须调整以满足传输带宽要求。因此，率控制在视频编码中起到重要作用。一般而言，现有的率控制算法基于像素的失真(例如，即将被编码的来源帧的空间活动(图像复杂度))执行比特分配。然而，基于像素的失真仅仅考虑来源内容复杂度，且有些时候不关于从解码一个编码帧生成的重建后的帧的实际视觉质量。特别地，基于试验结果，从原始图像派生并具有相对于原始图像的相同失真(例如，相同的均方差MSE)的不同的处理后的图像，可为观看者呈现不同的视觉质量。即，较小的基于像素的失真不代表人类视觉系统中更好的视觉质量。因此，编码后的帧由于最小基于像素的失真值选择的基于视频编码模式而生成，且每个编码后的帧不保证从解码编码后的帧生成的重建帧具有最佳视觉质量。
技术实现思路
根据本专利技术的示范性实施例，提出一种使用由一个或多个视觉质量度量获得的至少评估后的视觉质量的视频编码方法和相关视频编码装置。根据本专利技术的第一个方面，揭示了一种示范视频编码方法。示范视频编码方法包含利用视觉质量评估模块，用于基于涉及编码回路中的数据评估视觉质量；以及参考至少评估后的视觉质量和基于像素的失真用于决定视频编码中的率控制单元的目标比特分配；根据所述评估后的视觉质量和所述基于像素的失真中的一个执行粗决定，以确定多个粗比特分配；以及根据所述评估后的视觉质量和所述基于像素的失真中的另一个执行细决定，以从所述粗比特分配中确定至少一个细比特分配，其中目标比特分配是从所述至少一个细比特分配派生的。根据本专利技术的第二个方面，揭示了一种示范视频编码装置。示范视频编码装置包含视觉质量评估模块，用于基于涉及编码回路中的数据评估视觉质量；率控制器，参考至少评估后的视觉质量和基于像素的失真用于决定视频编码中的率控制单元的目标比特分配；根据所述评估后的视觉质量和所述基于像素的失真中的一个执行粗决定，以确定多个粗比特分配，以及根据所述评估后的视觉质量和所述基于像素的失真中的另一个执行细决定，以从所述粗比特分配中确定至少一个细比特分配，其中目标比特分配是从所述至少一个细比特分配派生的；以及编码电路，包含编码回路，编码电路用于根据所述目标比特分配编码所述率控制单元。在阅读了图示于各种图和附图中的优先实施例的以下详细描述后，本专利技术的这些和其它目的将对本领域的普通技术人员变得明显。附图说明图1是根据本专利技术的实施例图示视频编码装置的方框图。图2是图示现有的基于失真的率控制器的示意图。图3是图示根据本专利技术的实施例的提出的率控制器的示意图。图4是图示根据本专利技术的实施例的另一提出的率控制器的示意图。图5是图示根据本专利技术的实施例的视频编码方法的流程图。具体实施方式遍及整篇描述和权利要求的某些术语用于指代特定部件。如本领域的技术人员意识到的，制造商可用不同的名称指代部件。此文档不打算区别名称不同但功能相同的部件。在权利要求和下文的描述中，术语“包括”和“包含”用于开放方式，且因此应该解释为意思是“包含，但不限于”。而且，术语“耦合”意于表示间接或直接电连接。因此，如果一个装置耦合到另一装置，那个连接可以通过直接电连接，或通过经由其它装置和连接的间接电连接。本专利技术的概念将人类视觉系统的特性并入视频编码过程，以改进视频压缩效率或视觉质量。更具体地，视觉质量评估涉及到视频编码过程，以便从解码一编码后的帧生成的重建帧能够具有增强的视觉质量。所提出的基于视觉质量的视频编码设计的进一步细节描述于下。图1是根据本专利技术的实施例图示视频编码装置的方框图。视频编码装置100用于编码来源帧IMGIN以生成承载对应于来源帧IMGIN的编码后的帧信息的比特流BS。在本实施例中，视频编码装置100包含编码电路102和视觉质量评估模块104。以示例的方式，但并非限制，编码电路102的架构可以基于任何现有的视频编码架构来配置。应该注意到，编码电路102可遵循现有的视频编码架构，以具有实施于其中的多个处理阶段；然而，此并非表示包含于编码电路102的每个处理阶段必须使用现有的设计来实施。例如，量化模块114由率控制器106控制，率控制器106基于本专利技术的率控制算法配置到推荐的视觉质量。因此，由量化模块114使用的用于量化率控制单元(例如，一个编码单元或一帧)的转换因子的量化步骤，是基于由率控制器106决定的率控制单元的比特分配来确定的。如图1所示，编码电路102包含由拆分模块111、减法器(即，用于执行减法操作的加法器)112、转换模块113、量化模块114、逆量化模块116、逆转换模块117、加法器118、解块滤波器119、样本自适应偏置(sampleadaptiveoffset,SAO)滤波器120、帧缓冲器121、帧间预测模块122、帧内预测模块123组成的编码回路，其中帧间预测模块122包含运动估计单元124和运动补偿单元125。编码电路102还包含熵编码模块115，用于通过对从量化模块114生成的量化后的因子执行熵编码，以生成比特流BS。应该注意到，解块滤波器119和SAO滤波器120的一个或所有可以省略/旁路以用于某些应用。即，依据实际设计要求，解块滤波器119和/或SAO滤波器120是可选的。本领域技术人员应该容易理解包含于编码电路102中的处理阶段的基本操作，为了简洁，此处省略进一步的描述。关于由视觉质量评估模块104确定的视觉质量影响/控制的率控制器106，进一步的描述将在下文给出。本专利技术的一个关键特征是使用视觉质量评估模块104，以基于涉及编码电路102的回路中的数据来评估视觉质量。在一个实施例中，涉及编码回路中并由视觉质量评估模块104的数据可以是来源帧IMGIN的原始数据。在另一实施例中，涉及编码回路中并由视觉质量评估模块104的数据可以是从来源帧IMGIN的原始数据派生的处理后的数据。例如，用于评估视觉质量的处理后的数据可以是由转换模块113生成的转换后的因子、由量化模块114生成的量化后的因子、在可选的解本文档来自技高网...

【技术保护点】
一种视频编码方法，其特征在于，包含：利用视觉质量评估模块以基于涉及编码回路中的数据来评估视觉质量；以及参考至少评估后的视觉质量，用于决定视频编码中的率控制单元的目标比特分配。

【技术特征摘要】
【国外来华专利技术】2013.03.11 US 61/776,053;2014.03.10 US 14/201,9501.一种视频编码方法，其特征在于，包含：利用视觉质量评估模块以基于涉及编码回路中的数据来评估视觉质量；参考至少评估后的视觉质量和基于像素的失真，用于决定视频编码中的率控制单元的目标比特分配；根据所述评估后的视觉质量和所述基于像素的失真中的一个执行粗决定，以确定多个粗比特分配；以及根据所述评估后的视觉质量和所述基于像素的失真中的另一个执行细决定，以从所述粗比特分配中确定至少一个细比特分配，其中目标比特分配是从所述至少一个细比特分配派生的。2.如权利要求1所述的视频编码方法，其特征在于，所述率控制单元是一个编码单元或一帧。3.如权利要求1所述的视频编码方法，其特征在于，涉及所述编码回路中的所述数据是来源帧的原始数据。4.如权利要求1所述的视频编码方法，其特征在于，涉及所述编码回路中的所述数据是从来源帧的原始数据派生的处理后的数据。5.如权利要求4所述的视频编码方法，其特征在于，所述处理后的数据包含转换后的因子、量化后的因子、重建后的像素数据、运动补偿后的像素数据或帧内预测后的像素数据。6.如权利要求1所述的视频编码方法，其特征在于，所述评估后的视觉质量是从检查影响人类视觉感觉的至少一个图像特性派生的，且所述至少一个图像特性包含锐利度、噪声、模糊、边缘、动态范围、阻挡伪迹、平均强度、色温、场景组合、人脸、动物出现、吸引更多或更少兴趣的图像内容、空间遮蔽、时间遮蔽或频率遮蔽。7.如权利要求1所述的视频编码方法，其特征在于，所述评估视觉质量的步骤包含：根据涉及所述编码回路中的所述数据计算单个视觉质量度量；以及仅仅基于所述单个视觉质量度量确定每个评估后的视觉质量。8.如权利要求1所述的视频编码方法，其特征在于，所述评估视觉质量的步骤包含：根据涉及所述编码回路中的所述数据计算多个不同的视觉质量度量；以及基于所述不同的视觉质量度量确定每个评估后的视觉质量。9.如权利要求8所述的视频编码方法，其特征在于，所述基于所述不同的视觉质量度量确定每个评估后的视觉质量的步骤包含：确定多个权重因素；以及根据所述权重因素通过结合所述不同的视觉质量度量，确定每个评估后的视觉质量。10.如权利要求9所述的视频编码方法，其特征在于，所述权重因素通过训练来确定。11.如权利要求1所述的视频编码方法，其特征在于：基于来源帧的原始数据的至少...

【专利技术属性】
技术研发人员：何镇在，朱启诚，陈鼎匀，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71