用于控制神经网络电路的数据输入和输出的设备制造技术

公开用于控制神经网络电路的数据输入和输出的设备。所述控制设备包括：存储器；编码电路，被配置为：接收数据序列，生成压缩的数据序列，在压缩的数据序列中，数据序列的位串中的连续无效位被压缩成压缩的数据序列的单个位，生成指示压缩的数据序列的位串中的有效位和无效位的有效性确定序列，以及将压缩的数据序列和有效性确定序列写入到存储器；以及解码电路，被配置为：从存储器读取压缩的数据序列和有效性确定序列，以及基于有效性确定序列，确定压缩的数据序列的位串中的被设置用于发送到神经网络电路的位，使得神经网络电路省略关于非连续无效位的操作。于非连续无效位的操作。于非连续无效位的操作。

【技术实现步骤摘要】
用于控制神经网络电路的数据输入和输出的设备
[0001]本申请要求于2019年12月27日提交到韩国知识产权局的第 10-2019-0176097号韩国专利申请的权益，所述韩国专利申请的全部公开出于 所有目的通过引用包括于此。


[0002]以下描述涉及用于控制神经网络电路的数据输入和输出的方法和设备。

技术介绍

[0003]与传统的基于规则的智能系统不同，人工智能(AI)系统可以是使得机 器能够学习和判断并且变得智能的计算机系统。随着AI系统被使用越多， AI系统可具有提高的识别率并且可更准确地理解用户的偏好。
[0004]AI技术可包括机器学习(例如，深度学习)和利用机器学习的元素技术 (element techniques)。机器学习可以是对输入数据的特征进行分类/学习的算 法技术，元素技术可以是通过使用机器学习算法(诸如，深度学习)来实现 功能(诸如，认知和判断)的技术，并且可在诸如语言理解、视觉理解、推 断/预测、知识表示和运动控制的
中实施。
[0005]人工智能技术可应用于如下的各种领域。语言理解可以是识别和应用/ 处理语言/字符的技术，并且可包括自然语言处理、机器翻译、对话系统、问 答和语音识别/合成。视觉理解可以是像视觉一样识别和处理对象的技术，并 且可包括对象识别、对象追踪、图像检索、人物识别、场景理解、空间理解 和图像增强。推断/预测可以是判断信息并执行逻辑推断和预测的技术，并且 可包括基于知识/概率的推断、优化预测、基于偏好的规划和推荐。知识表示 可以是将人类经验信息自动处理成知识数据的技术，并且可包括知识构造(数 据生成/分类)和知识管理(数据利用)。运动控制可以是控制车辆的自主驾 驶和机器人的移动的技术，作为非限制性示例，可包括例如移动控制(导航、 碰撞、驾驶)和操作控制(动作控制)。

技术实现思路

[0006]提供本
技术实现思路
以便以简化的形式介绍将在下面的具体实施方式中进一 步描述的构思的选择。本
技术实现思路
不意图确定要求权利的主题的关键特征或 必要特征，也不意图用于帮助确定要求权利的主题的范围。
[0007]在一个总体方面，一种神经网络深度学习数据控制设备包括：存储器； 编码电路，被配置为：接收数据序列，生成压缩的数据序列，在压缩的数据 序列中，数据序列的位串中的连续无效位被压缩成压缩的数据序列的单个位， 生成指示压缩的数据序列的位串中的有效位和无效位的有效性确定序列，以 及将压缩的数据序列和有效性确定序列写入到存储器；以及解码电路，被配 置为：从存储器读取压缩的数据序列和有效性确定序列，以及基于有效性确 定序列，确定压缩的数据序列的位串中的被设置为发送到神经网络电路的位， 使得神经网络电路省略关于非连续无效位的操作。
[0008]压缩的数据序列的所述单个位可指示数据序列的位串中的连续无效位的 数量。
[0009]解码电路可包括：缓冲器，被配置为顺序地存储压缩的数据序列和有效 性确定序列，并且解码电路可被配置为：存储第一指针和第二指针，第一指 针指示将被发送到神经网络电路的压缩的数据序列的当前位存储在缓冲器中 的位置，第二指针指示在当前位的下一循环将被发送到神经网络电路的压缩 的数据序列的下一位存储在缓冲器中的位置。
[0010]为了确定被设置为发送到神经网络电路的所述位，解码电路可被配置为： 基于有效性确定序列确定与第一指针对应的当前位是否有效；响应于当前位 无效，跳过向神经网络电路发送当前位；以及响应于当前位有效，将当前位 发送到神经网络电路。
[0011]解码电路可被配置为：基于有效性确定序列确定与第二指针对应的下一 位是否有效；响应于下一位有效，将第一指针移动到下一位存储在缓冲器中 的位置；以及响应于下一位无效，将第一指针移动到在下一位的下一循环将 被发送到神经网络电路的位存储在缓冲器中的位置。
[0012]解码电路可被配置为：基于有效性确定序列确定与第二指针对应的下一 位是否有效；响应于下一位有效，将第二指针移动到在下一位的下一循环将 被发送到神经网络电路的位存储在缓冲器中的位置；以及响应于下一位无效， 将第二指针移动到在下一位的下下个循环将被发送到神经网络电路的位存储 在缓冲器中的位置。
[0013]解码电路可被配置为：基于有效性确定序列来确定跳过神经网络电路的 操作处理。
[0014]解码电路可被配置为：基于与第二指针对应的下一位来判断是否跳过神 经网络电路的操作处理。
[0015]解码电路可被配置为：基于有效性确定序列确定与第二指针对应的下一 位是否有效；响应于下一位有效，不跳过神经网络电路的操作处理；以及响 应于下一位无效，跳过神经网络电路的操作处理。
[0016]解码电路可被配置为：响应于下一位无效，将神经网络电路的操作处理 跳过下一位的位值。
[0017]解码电路可被配置为：响应于下一位无效，将神经网络电路的操作处理 跳过通过将值1与下一位的位值相加而获得的值。
[0018]解码电路可被配置为：存储第三指针，第三指针指示压缩的数据序列和 有效性确定序列将被存储在缓冲器中的位置。
[0019]有效位可以是具有大于预定阈值的位值的位，无效位可以是具有小于或 等于预定阈值的位值的位。
[0020]有效性确定序列中的与压缩的数据序列中的有效位的位置对应的位置处 的位值可以是“1”，有效性确定序列中的与压缩的数据序列中的无效位的位 置对应的位置处的位值可以是“0”。
[0021]解码电路可被配置为使用有效性确定序列作为时钟门控信号来执行神经 网络电路的操作。
[0022]缓冲器可包括环形缓冲器。
[0023]编码电路可被配置为：通过将数据序列的位串中的具有相同位值的连续 有效位压缩成压缩的数据序列的另一单个位来生成压缩的数据序列。
[0024]解码电路可被配置为：响应于数据序列包括多个重用数据，存储用于标 识所述多
个重用数据的第四指针。
[0025]解码电路可被配置为：当并行地读取多个压缩的数据序列时，针对所述 多个压缩的数据序列添加位以具有相同的长度。
[0026]数据序列可指示神经网络电路的神经网络的节点之间的边的连接强度。
[0027]所述设备可包括神经网络电路，其中，神经网络电路被配置为：响应于 接收到压缩的数据序列的确定的位串，通过重新确定连接强度中的一个或多 个以进行丢弃操作来训练神经网络。
[0028]在另一总体方面，一种神经网络系统，包括神经网络电路和用于控制神 经网络电路的数据输入和输出的控制设备。
[0029]在一个总体方面，一种训练用于识别图像的神经网络的方法，包括：获 得训练图像数据；以及基于训练图像数据对神经网络执行训练。在针对神经 网络的当前层的训练操作之前，原始用于当前层的操作的数据序列被处理， 处理后的数据序列被应用于当前层的训练操作，使得在当前层的训练操作中 省略关于无效位的操作。对原始用于当前层的操作的数据序列进行处理的步 骤包括：基于原始用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于控制神经网络电路的数据输入和输出的控制设备，包括：存储器；编码电路，被配置为：接收数据序列，生成压缩的数据序列，在压缩的数据序列中，数据序列的位串中的连续无效位被压缩成压缩的数据序列的单个位，生成指示压缩的数据序列的位串中的有效位和无效位的有效性确定序列，以及将压缩的数据序列和有效性确定序列写入到存储器；以及解码电路，被配置为：从存储器读取压缩的数据序列和有效性确定序列，以及基于有效性确定序列，确定压缩的数据序列的位串中的被设置为发送到神经网络电路的位，使得神经网络电路省略关于无效位的操作。2.根据权利要求1所述的控制设备，其中，压缩的数据序列的所述单个位指示数据序列的位串中的连续无效位的数量。3.根据权利要求1或权利要求2所述的控制设备，其中，解码电路包括：缓冲器，被配置为顺序地存储压缩的数据序列和有效性确定序列，并且解码电路还被配置为：存储第一指针和第二指针，第一指针指示将被发送到神经网络电路的压缩的数据序列的当前位存储在缓冲器中的位置，第二指针指示在当前位的下一循环将被发送到神经网络电路的压缩的数据序列的下一位存储在缓冲器中的位置。4.根据权利要求3所述的控制设备，其中，为了确定被设置为发送到神经网络电路的所述位，解码电路还被配置为：基于有效性确定序列确定与第一指针对应的当前位是否有效；响应于当前位无效，跳过向神经网络电路发送当前位；以及响应于当前位有效，将当前位发送到神经网络电路。5.根据权利要求3所述的控制设备，其中，解码电路还被配置为：基于有效性确定序列确定与第二指针对应的下一位是否有效；响应于下一位有效，将第一指针移动到下一位存储在缓冲器中的位置；以及响应于下一位无效，将第一指针移动到在下一位的下一循环将被发送到神经网络电路的位存储在缓冲器中的位置。6.根据权利要求3所述的控制设备，其中，解码电路还被配置为：基于有效性确定序列确定与第二指针对应的下一位是否有效；响应于下一位有效，将第二指针移动到在下一位的下一循环将被发送到神经网络电路的位存储在缓冲器中的位置；以及响应于下一位无效，将第二指针移动到在下一位的下下个循环将被发送到神经网络电路的位存储在缓冲器中的位置。7.根据权利要求1或权利要求2所述的控制设备，其中，解码电路还被配置为：基于有效性确定序列来确定跳过神经网络电路的操作处理。8.根据权利要求3所述的控制设备，其中，解码电路还被配置为：基于与第二指针对应的下一位来判断是否跳过神经网络电路的操作处理。
9.根据权利要求3所述的控制设备，其中，解码电路还被配置为：基于有效性确定序列确定与第二指针对应的下一位是否有效；响应于下一位有效，不跳过神经网络电路的操作处理；以及响应于下一位无效，跳过神经网络电路的操作处理。10.根据权利要求9所述的控制设备，其中，解码电路还被配置为：响应于下一位无效而将神经网络电路的操作处理跳过下一位的位值。11.根据权利要求9所述的控制设备，其中，解码电路还被配置为：响应于下一位无效，将通过将值1与下一位的位值相加而获得的值发送到地址计数器。12.根据权利要求3所述的控制设备，其中，解码电路还被配置为：存储第三指针，第三指针指示压缩的数据序列和有效性确定序列将被存储在缓冲器中的位置。13.根据权利要求1或权利要求2所述的控制设备，其中，有效位是具有大于预定阈值的位值的位，无效位是具有小于或等于预定阈值的位值的位。14.根据权利要求1或权利要求2所述的控制设备，其中，有效性确定序列中的与压缩的数据序列中的有效位的位置对应的位置处的位值是“1”，有效性确定序列中的与压缩的数据序列中的无效位的位置对应的位置处的位值是“0”。15.根据权利要求1或权利要求2所述的控制设备，其中，解码电路还被配置为：使用有效性确定序列作为时钟门控信号来执行神经网络电路的操作。16.根据权利要求3所述的控制设备，其中，缓冲器包括环形缓冲器。17.根据权利要求1或权利要求2所述的控制设备，其中，编码电路还被配置为：通过将数据序列的位串中的具有相同位值的连续有效位压缩成压缩的数据序列的另一单个位来生成压缩的数据序列。18.根据权利要求1或权利要求2所述的控制设备，其中，解码电路还被配置为：响应于数据序列包括多个重用数据，存储用于标识所述多个重用数据的第...

【专利技术属性】
技术研发人员：权亨达，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：