自适应视频处理制造技术

本发明专利技术公开了一种自适应视频处理方法和装置，该自适应视频处理方法和装置可通过解码流水线和/或编码流水线来实现。该自适应视频处理方法在处理视频内容并针对环境设置或环境中的目标显示面板对其进行再现时可将包括视频内容、显示特征和环境条件的信息考虑在内。该自适应视频处理方法可使用该信息来调整如被应用于视频数据的一个或多个视频处理功能，以根据周围环境或查看条件针对目标显示面板来对适用于显示面板的视频进行再现。

【技术实现步骤摘要】
【国外来华专利技术】
本公开整体涉及数字视频或图像处理和显示。
技术介绍
包括但不限于个人计算机系统、台式计算机系统、膝上型电脑和笔记本式计算机、平板电脑或平板设备、数码相机、数字视频录像机、和移动电话或智能电话的各种设备可包括可实施一种或多种视频处理方法的软件和/或硬件。例如，设备可包括可根据一种或多种视频处理方法来接收和处理来自一个或多个源的数字视频输入并输出经处理的视频帧的装置(例如集成电路(IC)，诸如片上系统(SOC)、或IC的子系统)。又如，可在设备上实施可根据一种或多种视频处理方法来接收和处理来自一个或多个源的数字视频输入并将经处理的视频帧输出至一个或多个目的地的软件程序。例如，视频编码器可被实现为其中数字视频输入根据视频编码方法被编码或转换为另一种格式例如压缩视频格式(诸如H.264/高级视频编码(AVC)格式或H.265高效视频编码(HEVC)格式)的装置或另选的软件程序。又如，视频解码器可被实现为其中压缩视频格式(诸如AVC或HEVC)的视频被接收并根据视频解码方法被解码或转换为另一(解压缩)格式例如显示设备所使用的显示格式的装置或另选的软件程序。H.264/AVC标准被ITU-T公布于标题为“ITU-T Recommendation H.264:Advanced video coding for generic audiovisual services”的文档中。H.265/HEVC标准被ITU-T公布于标题为“ITU-T Recommendation H.265:High Efficiency Video Coding”的文档中。在许多系统中，装置或软件程序可实现视频编码器部件和视频解码器部件两者；诸如装置或程序通常被称为编解码器。需注意，编解码器可对视频流中的视觉/图像数据和音频/声音数据两者进行编码/解码。常规地，在数字图像和视频处理中，数字图像(例如，视频图像或静态图像)被捕捉、再现并显示在有限的动态范围内，其被称为标准动态范围(SDR)成像。此外，常规地使用相对较窄的色域对图像进行再现以用于显示，其被称为标准色域(SCG)成像。扩展或高动态范围(HDR)成像是指在电子图像(例如，被显示在显示屏或显示设备上的)中产生比使用标准数字成像技术和工艺(被称为标准动态范围成像或SDR成像)所获取的更大范围亮度的技术和工艺。许多新的设备诸如图像传感器和显示器支持HDR成像以及广色域(WCG)成像。这些设备可被称为支持HDR的设备或被简称为HDR设备。
技术实现思路
本公开描述了用于数字图像内容例如视频帧或视频流的自适应处理、再现和显示的方法和装置的各种实施方案，其描述了可自适应地再现视频数据以用于显示给目标显示面板的视频处理方法和装置的实施方案。自适应视频处理方法在处理视频内容并针对环境设置或环境中的目标显示面板对其进行再现时可将各种信息考虑在内，该各种信息包括但不限于视频内容、显示特征和环境条件，该环境条件包括但不限于环境照明和查看者相对于显示面板的位置。自适应视频处理方法可使用该信息来调整如被应用于视频数据的一种或多种视频处理功能(例如，噪声/伪影消减、缩放、锐化、色调映射、色域映射、帧率转换、白点校正和/或黑点校正、色彩平衡等)，以根据周围环境或查看条件针对目标显示面板来对适用于显示面板的视频进行再现。在一些实施方案中，针对目标显示面板的自适应视频处理可在与目标显示面板相关联的解码/显示模块或流水线中实现或通过其实现。这些实施方案可被称为显示器侧自适应视频处理系统。在至少一些实施方案中，解码/显示流水线可接收经编码的视频流并对用于目标显示面板的该经编码的视频流进行解码。可分析经解码的视频内容以确定视频的帧内和/或帧间特征，例如亮度特征(例如，动态范围宽度)、色彩特征(例如，色彩范围)、帧间运动、镜面高光、对比度、亮区和暗区等。可获取用于目标显示面板的一个或多个显示特征。显示特征可包括但不限于以下各项中的一者或多者；所测量的响应、显示格式、显示动态范围、位深度、一个或多个背光水平、白点、黑光泄漏、反射率、局部对比增强或映射、当前显示控件设置等。可获取有关目标显示面板的当前环境的信息。例如，包括显示面板的设备可包括可用于从周围环境采集数据(例如，光照、查看者位置等)的一个或多个前向传感器和/或后向传感器；所采集的数据可被分析以确定一个或多个环境指标。然后解码/显示流水线根据内容特征、显示特征和当前环境信息来处理经解码的视频，以生成适用于目标显示面板和当前环境的视频。在一些实施方案中，针对目标显示面板的自适应视频处理可在服务器/编码流水线中实现或通过服务器/编码流水线实现。这些实施方案可被称为服务器侧自适应视频处理系统。在至少一些实施方案中，服务器/编码流水线可获取用于目标显示面板的视频内容。目标显示面板可支持高动态范围(HDR)和广色域(WCG)成像。服务器/编码流水线可获取或确定输入视频内容的一个或多个特征。服务器/编码流水线可获取目标显示面板的显示信息和/或环境信息，例如从目标显示面板在其上实现的示例性系统获取。显示信息可指示显示特征，该显示特征可包括但不限于以下各项中的一者或多者：所测量的响应、格式、分辨率、尺寸、动态范围、位深度、一个或多个背光水平、白点、黑光泄漏、反射率、局部对比增强或映射、当前显示控件设置等。环境信息可包括但不限于各种环境光照指标和查看者指标诸如查看者相对于目标显示面板的位置。服务器/编码流水线可根据色域映射技术来将视频内容映射到目标显示面板的色域。色域映射技术可根据所获取的信息而被选择、修改或调整。例如，可根据显示信息来将源数据的色域映射到目标显示面板的位深度和色域。又如，在色域映射技术中所使用的曲线、传递函数和/或查找表可基于一个或多个指标(包括但不限于由环境信息所指示的显示面板处的当前环境光照指标)来修改或调整。服务器/编码流水线可根据色调映射技术来将视频内容映射到目标显示面板的动态范围。色调映射技术可根据所获取的信息来调整。例如，可根据显示信息来将源数据的动态范围映射到目标显示面板的位深度。又如，在色调映射技术中所使用的色调曲线和/或传递函数可基于一个或多个指标(包括但不限于由环境信息所指示的显示面板处的当前环境光照指标)来修改或调整。在一些实施方案中，代替全局色调曲线或除此之外，还可将视频帧细分为多个区域，并且可至少部分地基于显示信息和/或环境信息来动态地选择针对每个区域的局部色调曲线。服务器/编码流水线可对视频内容进行编码并将经编码的视频内容传输至与目标显示面板相关联的解码/显示流水线。该解码/显示流水线对视频内容进行解码并显示。由于到由目标显示面板所支持的动态范围和色域的显示面板特有的色调和色域映射在服务器/编码侧执行，因此解码/显示流水线可无需任何更改或修改来支持HDR和/或WCG成像。一些实施方案可包括显示器亮度调整装置和方法，显示器的平均亮度可经由这些装置和方法使用非线性函数按比例增加或减小。在施加非线性函数来降低亮度的情况下，输出信号的对比度可不被降低，使得动态范围和高光区得以保持。例如响应于由一个或多个传感器所检测到的环境光线水平，非线性亮度调整本文档来自技高网...

【技术保护点】
一种系统，包括：一个或多个传感器，所述一个或多个传感器被配置为检测一个或多个环境条件；显示面板；和解码流水线，所述解码流水线被配置为：接收经编码的视频数据；对所述经编码的视频数据进行解码以生成视频内容；根据所述视频内容的一个或多个特征、所述显示面板的一个或多个特征、以及由所述一个或多个传感器所检测到的一个或多个当前环境条件来处理所述视频内容，以生成适用于在所述当前环境条件下在所述显示面板上查看的视频内容；以及将经处理的视频内容输出至所述显示面板以用于显示。

【技术特征摘要】
【国外来华专利技术】2014.02.25 US 61/944,484;2014.02.28 US 61/946,633;1.一种系统，包括：一个或多个传感器，所述一个或多个传感器被配置为检测一个或多个环境条件；显示面板；和解码流水线，所述解码流水线被配置为：接收经编码的视频数据；对所述经编码的视频数据进行解码以生成视频内容；根据所述视频内容的一个或多个特征、所述显示面板的一个或多个特征、以及由所述一个或多个传感器所检测到的一个或多个当前环境条件来处理所述视频内容，以生成适用于在所述当前环境条件下在所述显示面板上查看的视频内容；以及将经处理的视频内容输出至所述显示面板以用于显示。2.根据权利要求1所述的系统，其中所述解码流水线被配置为根据一个或多个视频处理技术来处理所述视频内容，其中所述视频处理技术中的至少一种视频处理技术根据所述当前环境条件被调整，以生成适用于在所述当前环境条件下在所述显示面板上查看的所述视频内容。3.根据权利要求2所述的系统，其中所述视频处理技术包括以下各项中的一者或多者：降噪、伪影消减、缩放、锐化、帧率转换、色彩空间转换、色域调整、动态背光调整、面板伽马校正、黑点校正、或白点校正。4.根据权利要求1所述的系统，其中为了处理所述视频内容，所述解码流水线被配置为将色域映射应用于所述视频内容，以将所述视频内容的色彩分量映射到所述显示面板的色彩空间和位深度中，并且其中所述解码流水线被配置为根据所述当前环境条件来调整被应用于所述视频内容的所述色域映射，以生成适用于在所述当前环境条件下在所述显示面板上查看的所述视频内容。5.根据权利要求1所述的系统，其中为了处理所述视频内容，所述解码流水线被配置为将色调映射应用于所述视频内容，以将所述视频内容的亮度映射到所述显示面板的色彩空间和位深度中，并且其中所述解码流水线被配置为根据所述当前环境条件来调整被应用于所述视频内容的所述色调映射，以生成适用于在所述当前环境条件下在所述显示面板上查看的所述视频内容。6.根据权利要求1所述的系统，其中为了处理所述视频内容，所述解码流水线被配置为：根据所述显示面板特征来确定所述显示面板的测量的响应亮度范围；根据所述当前环境条件来确定适用的人类视觉亮度范围；将所述视频内容映射到所述测量的响应亮度范围，以生成中间视频内容；以及将所述中间视频内容映射到所述适用的人类视觉亮度范围，以生成适用于在所述当前环境条件下在所述显示面板上查看的所述视频内容。7.根据权利要求1所述的系统，其中所述解码流水线被进一步配置为分析所述视频内容以确定所述一个或多个视频内容特征，其中所述视频内容特征包括所述视频内容的动态范围和色彩特征。8.根据权利要求1所述的系统，其中所述环境条件包括环境光照指标和人类查看者相对于所述显示面板的位置。9.根据权利要求1所述的系统，其中所述显示面板特征包括所述显示面板的一个或多个测量的特征，其中所述测量的特征包括以下各项中的一者或多者：所述显示面板的测量的响应、本机白点、漏光、反射光、或背光水平。10.根据权利要求1所述的系统，其中所述显示面板特征包括以下各项中的一者或多者：所述显示面板的色域、动态范围、位深度、或物理尺寸。11.根据权利要求1所述的系统，其中所述视频内容为标准动态范围(SDR)视频内容或高动态范围(HDR)，其中所述显示面板为支持高动
\t态范围(HDR)的显示面板，并且其中所述经处理的视频内容为HDR视频内容。12.根据权利要求1所述...

【专利技术属性】
技术研发人员：K·I·格林鲍姆，过海涛，潘昊，G·科泰，白英俊，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US