对跨分量线性模型的简化制造技术

一种计算装置通过以下操作执行对视频数据进行解码的方法：对与色度块对应的亮度块进行重建；按照预定义顺序搜索多个重建邻近亮度样点的子组以识别最大亮度样点和最小亮度样点；计算与所述最大亮度样点对应的下采样的最大亮度样点；计算与所述最小亮度样点对应的下采样的最小亮度样点；使用所述下采样的最大亮度样点、所述下采样最小的亮度样点、第一重建色度样点和第二重建色度样点来生成线性模型；从重建的所述亮度块的亮度样点计算下采样的亮度样点，其中，每个下采样的亮度样点与所述色度块的色度样点对应；并且通过将所述线性模型应用于对应的所述下采样的亮度样点来预测所述色度块的色度样点。

【技术实现步骤摘要】
【国外来华专利技术】对跨分量线性模型的简化
本申请总体涉及视频数据编码和解码，并且具体地，涉及在视频数据编码和解码期间使用跨分量线性模型来重建色度块的方法和系统。
技术介绍
各种电子装置(诸如数字电视、膝上型计算机或台式计算机、平板计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏机、智能手机、视频电话会议装置、视频流装置等)都支持数字视频。电子装置通过实施如由MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4、Part10、高级视频编码(AVC)、高效视频编码(HEVC)和通用视频编码(VVC)标准定义的视频压缩/解压缩标准来发送、接收、编码、解码和/或存储数字视频数据。视频压缩通常包括执行空间(帧内)预测和/或时间(帧间)预测来减少或移除视频数据中固有的冗余。对于基于块的视频编码，将视频帧分区为一个或更多个条带，其中，每个条带具有多个视频块，视频块也可被称为编码树单元(CTU)。每个CTU可包含一个编码单元(CU)或者递归地被划分为更小的CU直到达到预定义的最小CU尺寸为止。每个CU(也称为叶CU)包含一个或多个变换单元(TU)并且每个CU还包含一个或多个预测单元(PU)。可以以帧内、帧间或IBC模式对每个CU进行编码。视频帧的帧内编码(I)条带中的视频块使用关于同一视频帧内的相邻块中的参考样点的空间预测来进行编码。视频帧的帧间编码(P或B)条带中的视频块可使用关于同一视频帧内的相邻块中的参考样点的空间预测或关于其它先前参考视频帧和/或未来参考视频帧中的参考样点的时间预测。基于先前已被编码的参考块(例如，邻近块)的空间预测或时间预测生成用于待编码的当前视频块的预测块。找到参考块的处理可通过块匹配算法来完成。表示待编码的当前块与预测块之间的像素差的残差数据被称为残差块或预测误差。根据残差块和指向参考帧中的形成预测块的参考块的运动矢量来对帧间编码块进行编码。确定运动矢量的处理通常被称为运动估计。根据帧内预测模式和残差块对帧内编码块进行编码。为了进一步压缩，将残差块从像素域变换到变换域(例如，频域)，从而生成残差变换系数，其中，残差变换系数然后可被量化。最初以二维阵列布置的量化的变换系数可被扫描以生成变换系数的一维向量，然后被熵编码为视频比特流以实现进一步压缩。然后，将经编码的视频比特流保存于计算机可读存储介质(例如，闪存存储器)中以由具有数字视频能力的另一电子装置访问或者有线或无线地直接发送到电子装置。然后，电子装置通过例如对经编码的视频比特流进行解析来从比特流获得语义元素并且至少部分地基于从比特流获得的语义元素从经编码的视频比特流将数字视频数据重建为其原始格式以执行视频解压缩(其为与上文描述的视频压缩相反的处理)，并且在电子装置的显示器上呈现重建的数字视频数据。随着数字视频质量从高清变为4K×2K或甚至8K×4K，待编码/解码的视频数据量呈指数增长。在如何在保持解码视频数据的图像质量的同时能够更有效地对视频数据进行编码/解码方面，这是一个长久挑战。
技术实现思路
本申请描述了与视频数据编码和解码相关的实施方式，并且更具体地，描述了与在视频数据编码和解码期间使用跨分量线性模型重建色度块的系统和方法相关的实施方式。根据本申请的第一方面，一种对视频数据进行解码的方法在具有一个或更多个处理器和存储有将由所述一个或更多个处理器执行的多个程序的存储器的计算装置处被执行。一种计算装置执行以下方法：对与色度块对应的亮度块进行重建；按照预定义顺序搜索多个重建邻近亮度样点的子组以识别最大亮度样点和最小亮度样点；计算与所述最大亮度样点对应的下采样的最大亮度样点；计算与所述最小亮度样点对应的下采样的最小亮度样点；使用所述下采样的最大亮度样点、所述下采样的最小亮度样点、第一重建色度样点和第二重建色度样点来生成线性模型；从重建的所述亮度块的亮度样点计算下采样的亮度样点，其中，每个下采样的亮度样点与所述色度块的色度样点对应；并且通过将所述线性模型应用于对应的所述下采样的亮度样点来预测所述色度块的色度样点。根据本申请的第二方面，一种计算装置包括一个或更多个处理器、存储器和存储在存储器中的多个程序。所述程序在由所述一个或更多个处理器执行时使所述计算装置执行如上所述的操作。根据本申请的第三方面，一种非暂时性计算机可读存储介质存储由具有一个或更多个处理器的计算装置执行的多个程序。所述程序在由所述一个或更多个处理器执行时使所述计算装置执行如上所述的操作。附图说明被包括以提供对实施方式的进一步理解并且被并入本文并构成说明书的一部分的附图示出了所描述的实施方式，并且与所述描述一起用于解释基本原理。相似的附图标记表示相应的部分。图1是示出根据本公开的一些实施方式的示例性视频编码和解码系统的框图。图2是示出根据本公开的一些实施方式的示例性视频编码器的框图。图3是示出根据本公开的一些实施方式的示例性视频解码器的框图。图4A至图4D是示出根据本公开的一些实施方式的如何将帧递归地四叉树分区为不同尺寸的多个视频块的框图。图5A是示出根据本公开的一些实施方式的待编码的当前CU的空间相邻块位置和时间同位块位置的框图。图5B是示出根据本公开的一些实施方式的使用波前并行处理对图片的多个CTU的多个行进行多线程编码的框图。图6A和图6B是分别示出根据本专利技术的一些实施方式的示例性重建亮度块和示例性相关联色度块的框图。图7A至图7E示出根据本专利技术的一些实施方式的使用跨分量线性模型来推导亮度值与色度值之间的线性模型的各种方式。图8是示出根据本专利技术的一些实施方式的视频编解码器实现使用跨分量线性模型以基于来自亮度块的重建亮度样点来重建色度块的色度样点的技术的示例性处理的流程图。具体实施方式现在将详细参照具体实施方式，其中，在附图中示出具体实施方式的示例。在以下详细描述中，阐述了若干非限制性具体细节以便帮助理解本文呈现的主题。但是对于本领域普通技术人员显而易见的是，在不脱离权利要求的范围的情况下，可使用各种替代方案，并且可在没有这些具体细节的情况下实践所述主题。例如，对于本领域普通技术人员显而易见的是，本文呈现的主题可在具有数字视频能力的许多类型的电子装置上实现。图1是示出根据本公开的一些实施方式的用于并行地对视频块进行编码和解码的示例性系统10的框图。如图1中所示，系统10包括源装置12，源装置12生成并编码稍后将由目的装置14进行解码的视频数据。源装置12和目的装置14可包括各种各样的电子装置中的任一个，这些电子装置包括台式计算机或膝上型计算机、平板计算机、智能电话、机顶盒、数字电视、相机、显示器装置、数字媒体播放器、视频游戏机、视频流传输装置等。在一些实施方式中，源装置12和目的装置14配备有无线通信能力。在一些实施方式中，目的装置14可经由链路16接收待解码的编码视频数据。链路16可包括能够将编码视频数据从源装置12移动到目的装置14的任何类型的通信介质或装置。在一个示例中，链路16可包括能够使源装置12实时本文档来自技高网...

【技术保护点】
1.一种在计算装置处执行的用于对视频信号进行解码的方法，所述计算装置具有一个或更多个处理器和存储有将由所述一个或更多个处理器执行的多个程序的存储器，所述方法包括：/n对与色度块对应的亮度块进行重建，其中，所述亮度块与多个重建邻近亮度样点相邻，并且其中，所述色度块与多个重建邻近色度样点相邻；/n按照预定义顺序搜索所述多个重建邻近亮度样点的子组以识别至少一个最大亮度样点和至少一个最小亮度样点；/n计算与所述至少一个最大亮度样点对应的至少一个下采样的最大亮度样点，其中，所述至少一个最大下采样亮度样点与所述多个重建邻近色度样点中的第一重建色度样点对应；/n计算与所述至少一个最小亮度样点对应的至少一个下采样的最小亮度样点，其中，所述至少一个最小下采样亮度样点与所述多个重建邻近色度样点中的第二重建色度样点对应；/n使用所述至少一个最大下采样亮度样点、所述至少一个最小下采样亮度样点、第一重建色度样点和第二重建色度样点来生成线性模型；/n从重建的所述亮度块的亮度样点计算下采样的亮度样点，其中，每个下采样的亮度样点与所述色度块的色度样点对应；并且/n通过将所述线性模型应用于计算的对应下采样的亮度样点来预测所述色度块的色度样点。/n...

【技术特征摘要】
【国外来华专利技术】20181008 US 62/742,8061.一种在计算装置处执行的用于对视频信号进行解码的方法，所述计算装置具有一个或更多个处理器和存储有将由所述一个或更多个处理器执行的多个程序的存储器，所述方法包括：
对与色度块对应的亮度块进行重建，其中，所述亮度块与多个重建邻近亮度样点相邻，并且其中，所述色度块与多个重建邻近色度样点相邻；
按照预定义顺序搜索所述多个重建邻近亮度样点的子组以识别至少一个最大亮度样点和至少一个最小亮度样点；
计算与所述至少一个最大亮度样点对应的至少一个下采样的最大亮度样点，其中，所述至少一个最大下采样亮度样点与所述多个重建邻近色度样点中的第一重建色度样点对应；
计算与所述至少一个最小亮度样点对应的至少一个下采样的最小亮度样点，其中，所述至少一个最小下采样亮度样点与所述多个重建邻近色度样点中的第二重建色度样点对应；
使用所述至少一个最大下采样亮度样点、所述至少一个最小下采样亮度样点、第一重建色度样点和第二重建色度样点来生成线性模型；
从重建的所述亮度块的亮度样点计算下采样的亮度样点，其中，每个下采样的亮度样点与所述色度块的色度样点对应；并且
通过将所述线性模型应用于计算的对应下采样的亮度样点来预测所述色度块的色度样点。


2.根据权利要求1所述的方法，其中，所述色度块和所述亮度块使用4：2：0或4：2：2色度子采样方案被编码，并且其中，所述色度块和所述亮度块具有不同的分辨率。


3.根据权利要求1所述的方法，其中，所述多个重建邻近亮度样点包括位于重建的所述亮度块上方的亮度样点和/或位于重建的所述亮度块左侧的亮度样点。


4.根据权利要求1所述的方法，其中，计算所述至少一个下采样的最大亮度样点的步骤包括：对所述最大亮度样点的六个邻近亮度样点执行加权平均，并且其中，计算所述至少一个下采样的最小亮度样点的步骤包括：对所述最小亮度样点的六个邻近亮度样点执行加权平均。


5.根据权利要求1所述的方法，其中，生成线性模型的步骤包括：通过与所述至少一个下采样的最大亮度样点和第一重建色度样点相关联的至少一个数据点以及与所述至少一个下采样的最小亮度样点和第二重建色度样点相关联的至少一个数据点来拟合线性方程。


6.一种计算装置，包括：
一个或更多个处理器；
存储器，被耦合到所述一个或更多个处理器；以及
多个程序，被存储在存储器中，所述多个程序在由所述一个或更多个处理器执行时使所述计算装置执行包括以下操作的操作：
对与色度块对应的亮度块进行重建，其中，所述亮度块与多个重建邻近亮度样点相邻，并且其中，所述色度块与多个重建邻近色度样点相邻；
按照预定义顺序搜索所述多个重建邻近亮度样点的子组以识别至少一个最大亮度样点和至少一个最小亮度样点；
计算与所述至少一个最大亮度样点对应的至少一个下采样的最大亮度样点，其中，所述至少一个最大下采样亮度样点与所述多个重建邻近色度样点中的第一重建色度样点对应；
计算与所述至少一个最小亮度样点对应的至少一个下采样的最小亮度样点，其中，所述至少一个最小下采样亮度样点与所述多个重建邻近色度样点中的第二重建色度样点对应；
使用所述至少一个最大下采样亮度样点、所述至少一个最小下采样亮度样点、第一重建色度样点和第二重建色度样点来生成线性模型；
从重建的所述亮度块的亮度样点计算下采样的亮度样点，其中，每个下采样的亮度样点与所述色度块的色度样点对应；并且
通过将所述线性模型应用于计算的对应下采样的亮度样点来预测所述色度块的色度样点。


7.根据权利要求6所述的计算装置，其中，所述色度块和所述亮度块使用4：2：0或4：2：2色度子采样方案被编码，并且其中，所述色度块和所述亮度块具有不同的分辨率。


8.根据权利要求6所述的计算装置，其中，所述多个重建邻近亮度样点包括位于重建的所述亮度块上方的亮度样点和/或位于重建的所述亮度块左侧的亮度样点。


9.根据权利要求6所述的计算装置，其中，计算所述至少一个下采样的最大亮度样点的步骤包括：对所述最大亮度样点的六个邻近亮度样点执行加权平均，并且其中，计算所述至少一个下采样的最小亮度样点的步骤包括：对所述最小亮度样点的六个邻近亮度样点执行加权平均。


10.根据权利要求6所述的计算装置，其中，生成线性模型的步骤包括：通过与所述至少一个下采样的最大亮度样点和第一重建色度样点相关联的至少一个数据点以及与所述至少一个下采样的最小亮度样点和第二重建色度样点相关联的至少一个数据点来拟合线性方程。


11.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储由具有一个或更多个处理器的计算装置执行的多个程序，其中，所述多个程序在由所述一个或更多个处理器执行时使所述计算装置执行包括以下操作的操作：
对与色度块对应的亮度块进行重建，其中，所述亮度块与多个重建邻近亮度样点相邻，并且其中，所述色度块与多个重建邻近色度样点相邻；
按照预定义顺序搜索所述多个重建邻近亮度样点的子组以识别至少一个最大亮度样点和至少一个最小亮度样点；
计算与所述至少一个最大亮度样点对应的至少一个下采样的最大亮度样点，其中，所述至少一个最大下采样亮度样点与所述多个重建邻近色度样点中的第一重建色度样点对应；
计算与所述至少一个最小亮度样点对应的至少一个下采样的最小亮度样点，其中，所述至少一个最小下采样亮度样点与所述多个重建邻近色度样点中的第二重建色度样点对应；
使用所述至少一个最大下采样亮度样点、所述至少一个最小下采样亮度样点、第一重建色度样点和第二重建色度样点来生成线性模型；
从重建的所述亮度块的亮度样点计算下采样的亮度样点，其中，每个下采样的亮度样点与所述色度块的色度样点对应；并且
通过将所述线性模型应用于计算的对应下采样的亮度样点来预测所述色度块的色度样点。


12.根据权利要求11所述的非暂时性计算机可读存储介质，其中，所述色度块和所述亮度块使用4：2：0或4：2：2色度子采样方案被编码，并且其中，所述色度块和所述亮度块具有不同的分辨率。


13.根据权利要求11所述的非暂时性计算机可读存储介质，其中，所述多个重建邻近亮度样点包括位于重建的所述亮度块上方的亮度样点和/或位于重建的所述亮度块左侧的亮度样点。


14.根据权利要求11所述的非暂时性计算机可读存储介质，其中，计算所述至少一个下采样的最大亮度样点的步骤包括：对所述最大亮度样点的六个邻近亮度样点执行加权平均，并且其中，计算所述至少一个下采样的最小亮度样点的步骤包括：对所述最小亮度样点的六个邻近亮度样点执行加权平均。


15.根据权利要求11所述的非暂时性计算机可读存储介质，其中，生成线性模型的步骤包括：通过与所述至少一个下采样的最大亮度样点和第一重建色度样点相关联的至少一个数据点以及与所述至少一个下采样的最小亮度样点和第二重建色度样点相关联的至少一个数据点来拟合线性方程。


16.一种在计算装置处执行的用于对视频信号进行解码的方法，所述计算装置具有一个或更多个处理器和存储有将由所述一个或更多个处理器执行的多个程序的存储器，所述方法包括：
对与色度块对应的亮度块进行重建，其中，所述亮度块与多个重建邻近亮度样点相邻，并且其中，所述色度块与多个重建邻近色度样点相邻；
按照预定义顺序搜索所述多个重建邻近色度样点的子组以识别最大邻近色度样点和最小邻近色度样点；
识别所述多个重建邻近亮度样点中与所述最大邻近色度样点对应的第一亮度样点和所述多个重建邻近亮度样点中与所述最小邻近色度样点对应的第二亮度样点；
计算与第一亮度样点对应的下采样的最大亮度样点和与第二亮度样点对应的下采样的最小亮度样点；
使用所述下采样的最大亮度样点、所述下采样的最小亮度样点、所述最大邻近色度样点和所述最小邻近色度样点来产生线性模型；
从重建的所述亮度块的亮度样点计算下采样的亮度样点，其中，每个下采样的亮度样点与所述色度块的色度样点对应；并且
通过将所述线性模型应用于对应下采样的亮度样点来预测所述色度块的样点。


17.根据权利要求16所述的方法，其中，所述色度块和所述亮度块使用4：2：0或4：2：2色度子采样方案被编码，并且其中，所述色度块和所述亮度块具有不同的分辨率。


18.根据权利要求16所述的方法，其中，所述多个重建邻近亮度样点包括位于重建的所述亮度块上方的亮度样点和/或位于重建的所述亮度块左侧的亮度样点。


19.根据权利要求16所述的方法，其中，计算与第一亮度样点对应的下采样的最大亮度样点的步骤包括：对所述下采样的最大亮度样点的六个邻近亮度样点执行加权平均，并且其中，计算与第二亮度样点对应的下采样的最小亮度样点的步骤包括：对所述下采样的最小亮度样点的六个邻近亮度样点执行加权平均。


20.根据权利要求16所述的方法，其中，生成线性模型的步骤包括分别通过与所述下采样的最大亮度样点和所述最大邻近色度样点相关联的数据点以及与所述下采样的最小亮度样点和所述最小邻近色度样点相关联的数据点来拟合线性方程。


21.一种计算装置，包括：
一个或更多个处理器；
存储器，被耦合到所述一个或更多个处理器；以及
多个程序，被存储在存储器中，所述多个程序在由...

【专利技术属性】
技术研发人员：陈漪纹，王祥林，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11