用于执行生成对抗网络的处理装置及应用其进行机器创作的方法制造方法及图纸

本披露一种用于执行生成对抗网络的处理装置和应用其的方法。其中，处理装置包括：存储器，用于接收输入数据，所述输入数据包括随机噪声和参考数据，以及存储判别器神经网络参数与生成器神经网络参数；运算器，用于将随机噪声输入数据传入生成器神经网络进行运算，得到噪声生成结果；还用于将噪声生成结果和参考数据共同输入判别器神经网络进行运算，得到判别结果；还用于根据所述判别结果更新所述判别器神经网络参数与生成器神经网络参数。本披露的处理装置能针对对抗网络的具体实现方式规划更加合理的硬件结构以及指令类型，使得整体实现变得快速高效，实现了时间复杂度和功耗的同时降低。

A processing device for executing the generation countermeasure network and a method for machine creation by using it

【技术实现步骤摘要】
用于执行生成对抗网络的处理装置及应用其进行机器创作的方法
本披露涉及信息处理
，具体涉及一种用于执行生成对抗网络的处理装置及应用其进行机器创作的方法。
技术介绍
现有技术为人工或者图像(视频)处理软件进行图像(视频)创作，人工或者固定格式的文字输入装置进行文学创作，人工或者人声合成软件或者音频处理软件进行音频创作。其中图像(视频)处理软件通过某些固定模式的图像色彩模式进行图像(视频)作品的创作，文字输入装置通过文字段落的整体剪切、复制或者替换进行文字作品的生成，人声合成软件和音频处理软件都是通过数字音频信号的混合、剪切等处理进行音频的创作。现有技术的问题在于人工创作或修改费时费力，且某些重复的创作过程不能很好的节省人力资源；而通过软件进行各种图像(视频)、文字与音频创作时，由于软件没有学习能力，只能按照固定模式应用于各种不同的应用场景，而且还是需要人工进行干预指导，造成创作的实现效果差，普适性不强且未能更大程度解放人力资源，没有自我学习机制等各种缺点。
技术实现思路
(一)要解决的技术问题有鉴于此，本披露的目的在于提供一种用于执行生成对抗网络的处理装置及应用其进行机器创作的方法，以至少部分解决上述技术问题。(二)技术方案根据本披露的一方面，提供一种用于执行生成对抗网络的处理装置，包括：存储器，用于接收输入数据，所述输入数据包括随机噪声和参考数据，以及存储判别器神经网络参数与生成器神经网络参数；运算器，用于将随机噪声输入数据传入生成器神经网络进行运算，得到噪声生成结果；还用于将噪声生成结果和参考数据共同输入判别器神经网络进行运算，得到判别结果；还用于根据所述判别结果更新所述判别器神经网络参数与生成器神经网络参数。根据本披露的另一方面，提供一种应用上述处理装置进行机器创作的方法，包括：输入随机噪声和参考数据至存储器；运算器将随机噪声输入数据传入生成器神经网络进行运算，得到噪声生成结果；通过运算器将噪声生成结果和参考数据共同输入判别器神经网络进行运算，得到判别结果；通过运算器，根据所述判别结果更新所述判别器神经网络参数与生成器神经网络参数。根据本披露的再一方面，提供一种电子设备，包括权上述的处理装置。(三)有益效果本披露的有益效果主要体现在以下两点：本披露提出了利用对抗网络(generativeadversarialnets)进行高效的视频图像、语音音频、文字表述类型的机器创作的方法，大大减少了相关领域人工处理或创作的复杂度，并且基于机器学习的创作方式相对于以往的软件实现更加能够体现抽象创作的艺术感，能够更加契合人们对于机器创作结果的期望；本披露将上述方法实现结合本披露的处理装置，并针对对抗网络的具体实现方式规划更加合理的硬件结构以及指令类型，使得整体实现变得快速高效，实现了时间复杂度和功耗的同时降低。附图说明图1是本披露实施例的用于执行生成对抗网络的处理装置的基本方块图。图2本披露又一实施例的用于执行生成对抗网络的处理装置的基本方块图。图3是本披露实施例的进行机器创作的方法的流程图。具体实施方式为使本披露的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本披露作进一步的详细说明。在本披露中所述的“存储器”可以集成在用于执行生成对抗网络的处理装置的内部，也可以是一个单独的器件，作为外部存储器与用于执行生成对抗网络的处理装置进行数据传输。根据本披露的基本构思，提供一种用于执行生成对抗网络的处理装置，包括：存储器110，用于接收输入数据，所述输入数据包括随机噪声和参考数据，以及存储判别器神经网络参数与生成器神经网络参数；运算器120，用于将随机噪声输入数据传入生成器神经网络进行运算，得到噪声生成结果；还用于将噪声生成结果和参考数据共同输入判别器神经网络进行运算，得到判别结果；还用于根据所述判别结果更新所述判别器神经网络参数与生成器神经网络参数。本披露实施例的处理装置，针对对抗网络的具体实现方式规划出合理的运算器以及存储器相配合的硬件结构，提高了计算效率。用于执行生成对抗网络的处理装置的存储器110接收输入数据，输入数据包括随机噪声和参考数据(包括但不限于真实图片、语音或文字)。参考数据包括但不仅限于一组包含一个或多个关键特征的图片，一组包含一个或多个关键采样点的音频，一组包含一个或多个具有词性标签的词组或短语；运算器120根据输入数据进行训练，得到一组生成函数参数，根据该生成函数参数和参考数据(例如参考图像)得到噪声生成结果(如创作图像)。其中输入数据可以是原始输入数据，也可以是对原始数据进行预处理后得到的结果。在一些实施例中，所述存储器还用于存储计算指令，所述处理装置还包括控制器130，该控制器130用于根据提取所述计算指令并解析为运算指令，并发送至所述运算器。具体的，控制器130用于从所述存储器提取计算指令，解析该计算指令得到多个运算指令，将该多个运算指令以及输入数据发送给所述运算器。如图2所示，所述存储器110包括：判别器参数存储单元112，用于存储判别器神经网络参数；生成器参数存储单元113，用于存储生成器神经网络参数；判别器指令存储单元114，用于存储进行判别器神经网络运算的计算指令；生成器指令存储单元115，用于存储进行生成器神经网络运算的计算指令；以及数据存储单元111，用于存储数据，这里的数据存储单元包括随机噪声、噪声生成结果(即负样本，例如随机噪声生成的图片)以及参考数据(从外部获得的真实图片、语音或文字等。此处结构主要是为了适应gan(对抗生成网络)具有的生成器与判别器的结构特点，故而可以将生成器与判别器的权值存储进行物理区分，更加高效的利用存储资源，同时为了适应这种存储结构可以对I/O指令进行修改，以区分判别器I/O指令与生成器I/O指令。其中，数据存储单元111，用于获取并存储数据，进一步的还可以包括获取并存储网络模型(包括判别器神经网络和生成器神经网络)以及计算指令。可选的，还包括输入/输出单元150，用于获取外部数据以及将内部计算结果输出至外部设备或其他部件。可选的，还包括DMA140，把生成器神经网络参数从存储器转发给运算器120，通过DMA把随机噪声和参考数据从数据存储单元111转发给运算器120。可选的，存储器还可以包括存储介质，存储介质可以为片外存储器，当然在实际应用中，也可以为片内存储器，用于存储数据块，该数据块具体可以为n维数据，n为大于等于1的整数，例如，n＝1时，为1维数据，即向量，如n＝2时，为2维数据，即矩阵，如n＝3或3以上时，为多维张量。在一些实施例中，上述控制器130包括：指令缓存单元110、指令存储单元111和存储队列单元113。指令缓存单元110，用于存储所述网络模型关联的计算指令；所述指令处理单元111，用于对所述计算指令解析得到多个运算指令；存储本文档来自技高网...

【技术保护点】
1.一种用于执行生成对抗网络的处理装置，其特征在于，包括：/n存储器，用于接收输入数据，所述输入数据包括随机噪声和参考数据，以及存储判别器神经网络参数与生成器神经网络参数；/n运算器，用于将随机噪声输入数据传入生成器神经网络进行运算，得到噪声生成结果；还用于将噪声生成结果和参考数据共同输入判别器神经网络进行运算，得到判别结果；还用于根据所述判别结果更新所述判别器神经网络参数与生成器神经网络参数。/n

【技术特征摘要】
1.一种用于执行生成对抗网络的处理装置，其特征在于，包括：
存储器，用于接收输入数据，所述输入数据包括随机噪声和参考数据，以及存储判别器神经网络参数与生成器神经网络参数；
运算器，用于将随机噪声输入数据传入生成器神经网络进行运算，得到噪声生成结果；还用于将噪声生成结果和参考数据共同输入判别器神经网络进行运算，得到判别结果；还用于根据所述判别结果更新所述判别器神经网络参数与生成器神经网络参数。


2.根据权利要求1所述的处理装置，其特征在于，所述存储器还用于存储计算指令，所述处理装置还包括：
控制器，用于根据提取所述计算指令并解析为运算指令，并发送至所述运算器。


3.根据权利要求1所述的处理装置，其特征在于，所述存储器包括：
判别器参数存储单元，用于存储判别器神经网络参数；
生成器参数存储单元，用于存储生成器神经网络参数；
判别器指令存储单元，用于存储进行判别器神经网络运算的计算指令；
生成器指令存储单元，用于存储进行生成器神经网络运算的计算指令；
数据存储单元，用于存储噪声生成结果、随机噪声以及参考数据。


4.根据权利要求2所述的处理装置，其特征在于，所述控制器包括：
指令缓存单元，用于缓存进行判别器神经网络运算的计算指令和/或进行生成器神经网络运算的计算指令；
指令处理单元，用于对计算指令解析得到多个运算指令；
存储队列单元，用于存储多个运算指令形成的指令队列，该指令队列包括：按该队列的前后顺序待执行的多个运算指令或计算指令；
依赖关系处理单元，用于在具有多个运算指令时，确定第一运算指令与所述第一运算指令之前的第零运算指令是否存在关联关系，如所述第一运算指令与所述第零运算指令存在关联关系，则将所述第一运算指令缓存在所述指令存储单元内，在所述第零运算指令执行完毕后，从所述指令存储单元提取所述第一运算指令传输至所述运算器；
优选的，所述确定该第一运算指令与第一运算指令之前的第零运算指令是否存在关联关系包括：
依据所述第一运算指令提取所述第一运算指令中所需数据的第一存储地址区间，依据所述第零运算指令提取所述第零运算指令中所需矩阵的第零存储地址区间，如所述第一存储地址区间与所述第零存储地址区间具有重叠的区域，则确定所述第一运算指令与所述第零运算指令具有关联关系，如所述第一存储地址区间与所述第零存储地址区间不具有重叠的区域，则确定所述第一运算指令与所述第零运算指令不具有关联关系。


5.根据权利要求1所述的处理装置，其特征在于，所述参考数据包括图片、视频、语音和/或文字；优选的，所述处理装置还包括输入/输出单元，用于获取外部数据以及将内部计算结果输出至外部设备。


6.根据权利要求2所述的处理装置，其特征在于，所述计算指令包括操作码和至少一个操作域；
所述计算指令包括：
CONFIG指令，在每层人工神经网络计算开始前配置当前层计算需要的各种常数；
COMPUTE指令，完成每层人工神经网络的算术逻辑计算；
IO指令，实现从外部地址空间读入计算需要的输入数据以及在计算完成后将数据存回至外部空间；
NOP指令，负责清空当前装至内部所有微指令缓存队列中的微指令，保证NOP指令之前的所有指令全部指令完毕；
JUMP指令，负责控制器将要从指令存储单元读取的下一条指令地址的跳转，用来实现控制流的跳转；
MOVE指令，负责将装置内部地址空间某一地址的数据搬运至装置内部地址空间的另一地址，该过程独立于运算单元，在执行过程中不占用运算单元的资源；
所述COMPUTE指令包括一个操作码和五个操作域，五个操作域分别对应输入数据起始地址、输入数据长度、权值起始地址、权值长度和激活函数插值表地址；
所述IO指令包括一个操作码和三个操作域，三个操作域分别对应数据外部存储地址、数据长度和数据内部存储器地址；
所述JUMP指令包括一个操作码和一个操作域，一个操作域对应目标地址；
所述MOVE指令包括一个操作码和三个操作域，三个操作域分别对应输入地址、数据大小和输出地址。


7.根据权利要求1所述的处理装置，其特征在于，还包括DMA，用于将生成器神经网络参数从存储器转发给运算器，还用于把随机噪声和参考数据从转发给运算器。


8.应用权利要求1-7任一所述处理装置进行机器创作的方法，其特征在于包括：
输入随机噪声和参考数据至存储器；
运算器将随机噪声输入数据和生成器神经网络参数进行生成器神经网络运算，得到噪声生成结果；
运算器将噪声生成结果和参考数据进行判别器神经网络运算，得到判别结果；
运算器根据所述判别结果更新所...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海寒武纪信息科技有限公司，
类型：发明
国别省市：上海;31