视觉处理加速器及其加速方法、芯片、计算设备技术

本申请实施例提供了一种视觉处理加速器及其加速方法、芯片、计算设备，其中，视觉处理加速器与处理器核合封于通用计算芯片中，且挂载于所述通用计算芯片的总线上；所述视觉处理加速器通过所述总线与所述处理器核交互，以根据所述处理器核的指令，对图像的编码过程和/或解码过程进行加速处理。通过本申请实施例，有效提升了针对图像或视频帧的计算效果和计算速度，较好地满足了视觉处理需求。较好地满足了视觉处理需求。较好地满足了视觉处理需求。

【技术实现步骤摘要】
视觉处理加速器及其加速方法、芯片、计算设备


[0001]本申请实施例涉及芯片
，尤其涉及一种视觉处理加速器及视觉处理加速方法、芯片、及计算设备。

技术介绍

[0002]视觉处理是通用计算芯片的典型应用之一，一张有200万像素点的图像，在计算中每个像素点往往都会经历基本一样的处理过程，这使得视觉处理具备计算量大、重复性强的特点。
[0003]传统的通用计算芯片都是利用CPU(Central Processing Unit，中央处理器)核中的ALU(Arithmetic Logic Unit，算术逻辑单元)完成视觉计算，而这种仅通过CPU的通用处理能力进行视觉处理计算的方式，每时钟周期至多能进行数十次计算，导致计算效果和计算速度都较差，不能有效满足视觉处理需求。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种视觉处理加速方案，以至少部分解决上述问题。
[0005]根据本申请实施例的第一方面，提供了一种视觉处理加速器，所述视觉处理加速器与处理器核合封于通用计算芯片中，且挂载于所述通用计算芯片的总线上；所述视觉处理加速器通过所述总线与所述处理器核交互，以根据所述处理器核的指令，对图像的编码过程和/或解码过程进行加速处理。
[0006]根据本申请实施例的第二方面，提供了一种通用计算芯片，包括：处理器核和如第一方面所述的视觉处理加速器；所述视觉处理加速器挂载于所述通用计算芯片的总线上，且通过所述总线与所述处理器核交互。
[0007]根据本申请实施例的第三方面，提供了一种计算设备，包括：如第一方面所述的通用计算芯片，以及，存储器、通信接口和通信总线；所述通用计算芯片、所述存储器和所述通信接口通过所述通信总线完成相互间的通信。
[0008]根据本申请实施例的第四方面，提供了一种视觉处理加速方法，所述方法包括：通过通用计算芯片的处理器核，接收对视频图像进行解码和/或编码的指令；根据所述指令，在对视频图像进行解码过程和/或编码过程中，通过挂载于所述通用计算芯片的总线上的视觉处理加速器，对解码过程和/或编码过程进行加速处理；其中，所述视觉处理加速器与所述处理器核合封于所述通用计算芯片中。
[0009]根据本申请实施例的第五方面，提供了另一种视觉处理加速方法，所述方法包括：通过通用计算芯片的处理器核，接收对视频流进行视频转码的指令；根据所述指令，在基于所述视频流进行视频转码的过程中，通过挂载于所述通用计算芯片的总线上的视觉处理加速器，对视频转码过程中的前处理部分、内容自适应分析部分和编码部分中的至少一者进行加速处理；其中，所述视觉处理加速器与所述处理器核合封于所述通用计算芯片中。
[0010]根据本申请实施例提供的方案，通过在通用计算芯片内部设置用于视觉处理加速
的硬件加速器，即视觉处理加速器，该视觉处理加速器通过总线与通用计算芯片中的处理器核进行交互，以对图像的编解码过程进行加速处理。通过这种方式，一方面，因视觉处理加速器虽通过外设方式挂载于总线上，但其仍与处理器核处于同一通用计算芯片中，对通用计算芯片的架构改变较小，具备更高的可实现性。另一方面，因视觉处理加速器和处理器核合封于同一通用计算芯片中，相较于在通用计算芯片外部挂载加速器的传统方案，本申请实施例的方案中，视觉处理加速器和处理器核因处于同一通用计算芯片中，因此，两者之间可以进行更为频繁的数据交互，且延迟更小、带宽更高，从而有效提升了针对图像或视频帧的计算效果和计算速度，较好地满足了视觉处理需求。
附图说明
[0011]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0012]图1为适用本申请实施例方案的一种通用计算芯片的简单结构示意图；
[0013]图2A为根据本申请实施例一的一种视觉处理加速器的结构示意图；
[0014]图2B为图2A所示实施例中的视觉处理加速器应用于视频转码过程的示意图；
[0015]图2C为图2B所示过程中的处理器核与视觉加速器的交互示意图；
[0016]图3为根据本申请实施例二的一种通用计算芯片的结构框图；
[0017]图4为根据本申请实施例三的一种计算设备的结构示意图；
[0018]图5为根据本申请实施例四的一种视觉处理加速方法的流程示意图；
[0019]图6为根据本申请实施例五的一种视觉处理加速方法的流程示意图。
具体实施方式
[0020]为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
[0021]下面结合本申请实施例附图进一步说明本申请实施例具体实现。
[0022]参照图1，示出了一种适用本申请实施例方案的通用计算芯片的简单结构示意图。由图1中可见，该通用计算芯片至少包括一个或多个处理器核102，本示例中示意为多个，处理器核102是通用计算芯片的核心单元，用于负责各种指令和运算；存储系统104，可以实现为内存、缓存等任意可用于通用计算芯片内部的存储部件，用于存储各种运算的中间或结果数据；外设控制部件106，用于控制与该通用计算芯片连接的外部设备，如外部I/O(Input/Output,输入输出)设备等；上述处理器核102、存储系统104和外设控制部件106通过总线108进行数据交互，实现通用计算芯片内部的片上互联。传统方式中，当将该通用计算芯片用于视觉处理计算时，其可通过处理器核102进行视觉处理计算，但计算能力有限，视觉处理效果较差。
[0023]为此，本申请实施例中，对上述通用计算芯片的架构进行了微调，设置了片内的视
觉处理加速器，以进行相应的视觉计算处理，提升通用计算芯片的视觉处理性能。以下，通过实施例，对本申请提供的视觉处理加速器，及基于该视觉处理加速器的处理器、芯片、计算设备等进行说明。
[0024]实施例一
[0025]参照图2A，示出了根据本申请实施例一的一种视觉处理加速器的结构示意图。
[0026]如图2A所示，本实施例中，视觉处理加速器110挂载于通用计算芯片的总线108上，且与处理器核102合封于通用计算芯片中。该视觉处理加速器110可以通过总线108与处理器核102交互，以根据处理器核102的指令，对图像的编码过程和/或解码过程进行加速处理。
[0027]其中，对图像的编码过程和/或解码过程均可遵循相关的编码和解码标准实现，示例性地，如X264或X265标准等，本申请实施例对编码过程和解码过程的具体实现不作限制。
[0028]在图像的编码和解码过程中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉处理加速器，其特征在于，所述视觉处理加速器与处理器核合封于通用计算芯片中，且挂载于所述通用计算芯片的总线上；所述视觉处理加速器通过所述总线与所述处理器核交互，以根据所述处理器核的指令，对图像的编码过程和/或解码过程进行加速处理。2.根据权利要求1所述的视觉处理加速器，其特征在于，所述加速处理包括以下至少之一：分辨率转换处理、最小可容忍失真处理、运动估计处理。3.根据权利要求2所述的视觉处理加速器，其特征在于，所述视觉处理加速器通过相互独立的、用于分辨率转换处理的第一计算单元、用于最小可容忍失真处理的第二计算单元、用于运动估计处理的第三计算单元，来进行相对应的分辨率转换处理、最小可容忍失真处理、运动估计处理中的至少一种。4.根据权利要求3所述的视觉处理加速器，其特征在于，当将所述视觉处理加速器用于视频转码时，所述第一计算单元通过所述总线，从所述通用计算芯片的存储系统中读取视频解码数据；对所述视频解码数据进行分辨率转换处理，以获得满足预设分辨率的视频解码数据并写回所述存储系统；所述处理器核通过所述总线，从所述存储系统中读取满足预设分辨率的视频解码数据并进行处理。5.根据权利要求3或4所述的视觉处理加速器，其特征在于，当将所述视觉处理加速器用于视频转码时，所述第二计算单元通过所述总线，从所述通用计算芯片的存储系统中读取满足预设分辨率的视频解码数据；对所述视频解码数据进行最小可容忍失真处理，并将处理结果写回所述存储系统；所述处理器核通过所述总线，从所述存储系统中读取所述处理结果，并基于所述处理结果进行所述视频解码数据的内容自适应编码处理，以确定用于视频转码的编码参数和编码方式。6.根据权利要求3或4所述的视觉处理加速器，其特征在于，当将所述视觉处理加速器用于视频转码时，所述第三计算单元通过所述总线，从所述通用计算芯片的存储系统中读取进行了内容自适应编码处理后获得的自适应编码数据；对所述自适应编码数据进行运动估计处理，并将运动估计处理结果写回所述存储系统；所述处理器核通过所述总线，从所述存储系统中读取所述运动估计处理结果，并根据用于视频转码的编...

【专利技术属性】
技术研发人员：陆彦珩，徐淑淞，刘子豪，李思成，缪泽翔，余国生，王豪，黄林峰，范益波，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：