图形处理单元中的高阶滤波制造技术

本发明专利技术描述用于在图形处理单元GPU中执行高阶滤波的技术。在本发明专利技术的实例中，可在GPU的经修改的纹理引擎上使用单个着色器指令来实施高阶滤波。所述经修改的纹理引擎可经配置以获取所述高阶滤波所需的所有源像素，并将其连同预加载的滤波权重混合。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于图形处理的技术，且更具体来说，涉及用于高阶滤波的技术。
技术介绍
用于显示的视觉内容(例如用于图形用户接口和视频游戏的内容)可由图形处理单元(GPU)产生。GPU可将二维或三维(3D)对象转换成可显示的二维(2D)像素表示。将关于3D对象的信息转换成可显示的位图被称为像素渲染，且需要相当大的存储器和处理能力。在过去，3D图形能力仅可用于强大工作站上。然而，现在3D图形加速器常见于个人计算机(PC)中以及嵌入式装置中，例如智能电话、平板计算机、便携式媒体播放器、便携式视频游戏控制台等。通常，嵌入式装置相比于常规PC具有较少计算能力和存储器容量。因而，当在嵌入式系统上实施此类技术时，3D图形渲染技术中增加的复杂性带来困难。GPU所执行的其它任务包含用于图像处理的滤波任务。此类滤波任务通常是硬件和存储器密集型的，特别是针对移动环境下的GPU操作。
技术实现思路
本专利技术描述用于在图形处理单元(GPU)中执行高阶滤波的技术。在本专利技术的实例中，可在GPU的经修改的纹理引擎上使用单个着色器指令来实施高阶滤波。所述经修改的纹理引擎可经配置以获取源像素的高阶滤波所需的所有像素，并将其连同预加载的滤波权重混合。在本专利技术的一个实例中，一种用于在图形处理单元(GPU)中执行高阶滤波的方法包括：通过GPU接收着色器指令以对源像素进行滤波；响应于所述着色器指令，通过所述GPU的纹理引擎来确定滤波器；基于所述所确定的滤波器，通过所述GPU的所述纹理引擎来检索相邻像素；以及通过所述GPU的所述纹理引擎，使用所述所确定的滤波器、所述源像素和所述检索到的相邻像素来对所述源像素进行滤波。在本专利技术的另一实例中，一种经配置以执行高阶滤波的设备包括：存储器，其经配置以存储图形数据；以及GPU，其经配置以响应于指令GPU对源像素进行滤波的着色器指令而对所述图形数据执行高阶滤波，所述GPU进一步包括纹理引擎，其经配置以响应于所述着色器指令而确定滤波器，基于所述所确定的滤波器来检索相邻像素，且使用所述所确定的滤波器、所述源像素和所述检索到的相邻像素来对所述源像素进行滤波。在本专利技术的另一实例中，一种经配置以执行高阶滤波的设备包括：用于接收对源像素进行滤波的着色器指令的装置；用于响应于所述着色器指令来确定滤波器的装置；用于基于所述所确定的滤波器来检索相邻像素的装置；以及用于使用所述所确定的滤波器、所述源像素和所述检索到的相邻像素来对所述源像素进行滤波的装置。在本专利技术的另一实例中，一种经配置以响应于着色器指令来执行高阶滤波的GPU包括：存储器，其经配置以存储图形数据；以及纹理引擎，其经配置以响应于所述着色器指令来确定滤波器，基于所述所确定的滤波器来检索相邻像素，且使用所述所确定的滤波器、所述源像素和所述检索到的相邻像素来对所述源像素进行滤波。在本专利技术的另一实例中，一种在GPU中进行滤波的方法包括：通过所述GPU来接收对源像素进行滤波的指令；基于所述指令，通过所述GPU来检索相邻像素；通过所述GPU，填充所述源像素以及在RGBA色彩格式数据结构中检索到的相邻像素的亮度值；通过所述GPU，使用RGBA色彩格式数据结构，对所述源像素和所述检索到的相邻像素的亮度值执行滤波，其中针对每一RGBA色彩格式数据结构，对四个亮度值进行滤波。在本专利技术的另一实例中，一种经配置以执行滤波的设备包括：存储器，其经配置以存储图形数据；以及GPU，其经配置以对所述图形数据执行滤波，所述GPU进一步经配置以：接收对源像素进行滤波的指令，基于所述指令来检索相邻像素，填充所述源像素和在RGBA色彩格式数据结构中检索到的相邻像素的亮度值，且使用所述RGBA色彩格式数据结构来对所述源像素和所述检索到的相邻像素的亮度值执行滤波，其中针对每一RGBA色彩格式数据结构，对四个亮度值进行滤波。在本专利技术的另一实例中，一种经配置以执行滤波的设备包括：用于接收对源像素进行滤波的指令的装置；用于基于所述指令来检索相邻像素的装置；用于填充所述源像素和在RGBA色彩格式数据结构中检索到的相邻像素的亮度值的装置；以及用于使用所述RGBA色彩格式数据结构来对所述源像素和所述检索到的相邻像素的亮度值执行滤波的装置，其中针对每一RGBA色彩格式数据结构，对四个亮度值进行滤波。在另一实例中，本专利技术描述一种存储指令的计算机可读存储媒体，所述指令在被执行时，致使经配置以执行滤波的装置的一或多个处理器：接收对源像素进行滤波的指令；基于所述指令来检索相邻像素；填充所述源像素和在RGBA色彩格式数据结构中检索到的相邻像素的亮度值；以及使用所述RGBA色彩格式数据结构来对所述源像素和所述检索到的相邻像素的亮度值执行滤波，其中针对每一RGBA色彩格式数据结构，对四个亮度值进行滤波。在附图和下文描述中陈述本专利技术的一或多个实例的细节。本专利技术的其它特征、目标和优点将从所述描述和图式以及所附权利要求书显而易见。附图说明图1是示出经配置以使用本专利技术的技术的实例计算装置的框图。图2是更详细地示出图1的组件的框图。图3是示出经配置以实施本专利技术的技术的实例纹理引擎的框图。图4是示出具有子像素偏移的滤波器权重的导出的概念图。图5是说明镜像滤波器权重的概念图。图6A和6B是示出对称滤波器的核心中心的概念图。图7A和7B是示出具有子像素偏移的对称滤波器的核心中心的概念图。图8是示出本专利技术的像素获取技术的概念图。图9是示出本专利技术的技术的硬件成本优点的概念图。图10是示出本专利技术的技术的存储器获取优点的概念图。图11是示出用于RGBA像素格式的卷积滤波技术的概念图。图12是示出用于基于亮度的像素格式的卷积滤波技术的概念图。图13是示出本专利技术的亮度填充技术的概念图。图14是示出本专利技术的亮度重排技术的概念图。图15是示出使用本专利技术的亮度填充技术的针对基于亮度的像素格式的卷积滤波技术的概念图。图16是示出本专利技术的实例方法的流程图。图17是示出本专利技术的实例方法的流程图。具体实施方式对高品质和高分辨率数字图像的需求持续增加。由于高品质和高分辨率数字图像通常具有较大的数据大小，因此用于执行图像处理任务的硬件效率变得更重要。一个此类图像处理任务是图像滤波。一种常见类型的图像滤波是卷积滤波。在卷积滤波中，将二维(2D)滤波器掩码应用于中心像素和周围像素的像素值(例如色彩值)。就是说，滤波器掩码是滤波器权重的2D矩阵，且将所述滤波器掩码中的每一滤波器权重应用于对应像素(例如当前滤波的像素在中心)。通常，滤波器掩码的形状是正方形。滤波器掩码的大小被称作核心大小。在卷积滤波中，使每一滤波器权重乘以对应的像素色彩值，且将这些乘法中的每一者的结果加在一起，作为当前像素的经滤波值。在一些实例中，经滤波值可被除和/或具有添加到其的偏置值。可通过改变滤波器掩码中的滤波器权重的值来实现不同类型的滤波。实例类型的滤波包含锐化、边缘寻找、模糊、压印等。高阶滤波(HOF)是对较大核心大小使用一般化滤波公式(例如可为非线性)的卷积滤波。较大核心大小可被定义为大于2×2(例如大于4个滤波器系数)的任何滤波器核心。由此，执行HOF需要相对较大数目的滤波器权重以及当前像素周围的大量像素。另外，HOF可需要子像素分辨率支持。在给定对HOF的这些要求的情况下，现有解决方案的主要问题是硬件本文档来自技高网...

【技术保护点】
一种用于在图形处理单元GPU中执行高阶滤波的方法，所述方法包括：通过所述GPU接收对源像素进行滤波的着色器指令；响应于所述着色器指令，通过所述GPU的纹理引擎来确定滤波器；通过所述GPU的所述纹理引擎，基于所述所确定的滤波器来检索相邻像素；以及通过所述GPU的所述纹理引擎，使用所述所确定的滤波器、所述源像素和所述检索到的相邻像素来对所述源像素进行滤波。

【技术特征摘要】
【国外来华专利技术】2014.08.05 US 14/452,2811.一种用于在图形处理单元GPU中执行高阶滤波的方法，所述方法包括：通过所述GPU接收对源像素进行滤波的着色器指令；响应于所述着色器指令，通过所述GPU的纹理引擎来确定滤波器；通过所述GPU的所述纹理引擎，基于所述所确定的滤波器来检索相邻像素；以及通过所述GPU的所述纹理引擎，使用所述所确定的滤波器、所述源像素和所述检索到的相邻像素来对所述源像素进行滤波。2.根据权利要求1所述的方法，其中所述着色器指令是识别待滤波的所述源像素的单个着色器指令。3.根据权利要求1所述的方法，其中确定所述滤波器包括：从权重表寄存器检索滤波器类型；从所述权重表寄存器检索滤波器核心大小；以及基于所述滤波器核心类型和所述滤波器核心大小，从所述权重表寄存器检索预计算的滤波器权重。4.根据权利要求3所述的方法，其中基于所述所确定的滤波器来检索所述相邻像素包括：基于所述滤波器核心大小来检索所述相邻像素。5.根据权利要求3所述的方法，其中所述权重表寄存器中的所述滤波器类型包含可分离滤波器的指示、各向同性滤波器的指示、子像素滤波器的指示和对称滤波器的指示中的一或多者。6.根据权利要求5所述的方法，其中从所述权重表寄存器检索到的预计算的滤波器权重的总数取决于可分离滤波器的所述指示、各向同性滤波器的所述指示、子像素滤波器的所述指示和所述对称滤波器的所述指示中的一或多者。7.根据权利要求6所述的方法，其进一步包括：在检索到的预计算的滤波器权重的所述总数小于所述核心大小的情况下，基于所述检索到的预计算的滤波器权重和所述所确定的滤波器类型来导出额外滤波器权重。8.根据权利要求1所述的方法，其中滤波包括将卷积滤波应用于所述源像素和在RGBA色彩格式数据结构中检索到的相邻像素，所述方法进一步包括：将所述源像素和所述检索到的相邻像素的亮度值填充在所述RGBA色彩格式数据结构中，其中针对每一RGBA色彩格式数据结构，对四个亮度值进行滤波。9.根据权利要求8所述的方法，其进一步包括：将所述源像素和检索到的相邻像素从RGBA色彩格式转换为使用所述亮度值的色彩格式。10.一种经配置以执行高阶滤波的设备，所述设备包括：存储器，其经配置以存储图形数据；以及图形处理单元GPU，其经配置以响应于指令所述GPU对源像素进行滤波的着色器指令来对所述图形数据执行高阶滤波，所述GPU进一步包括：纹理引擎，其经配置以响应于所述着色器指令来确定滤波器，基于所述所确定的滤波器来检索相邻像素，且使用所述所确定的滤波器、所述源像素和所述检索到的相邻像素来对所述源像素进行滤波。11.根据权利要求10所述的设备，其中所述着色器指令是识别待滤波的所述源像素的单个着色器指令。12.根据权利要求10所述的设备，其进一步包括权重表寄存器，且其中所述纹理引擎经配置以通过从所述权重表寄存器检索滤波器类型、从所述权重表寄存器检索滤波器核心大小，且基于所述滤波器核心类型和所述滤波器核心大小从所述权重表寄存器检索预计算的滤波器权重，来确定所述滤波器。13.根据权利要求12所述的设备，其中所述纹理引擎经配置以基于所述滤波器核心大小来检索所述相邻像素。14.根据权利要求12所述的设备，其中所述权重表寄存器中的所述滤波器类型包含可分离滤波器的指示、各向同性滤波器的指示、子像素滤波器的指示和对称滤波器的指示中的一或多者。15.根据权利要求14所述的设备，其中从所述权重表寄存器检索到的预计算的滤波器权重的总数取决于可分离滤波器的所述指示、各向同性滤波器的所述指示、子像素滤波器的所述指示和所述对称滤波器的所述指示中的一或多者。16.根据权利要求15所述的设备，其中...

【专利技术属性】
技术研发人员：李亮，焦国方，孔云山，J·I·希拉多，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US